Do Composed Image Retrieval Benchmarks Require Multimodal Composition?

Riepilogo Tecnico: I Benchmark per il Recupero di Immagini Composte Richiedono una Composizione Multimodale?

Enunciato del Problema
Il Recupero di Immagini Composte (CIR) è un compito multimodale in cui una query è composta da un'immagine di riferimento e una modifica testuale, con l'obiettivo di recuperare un'immagine target che soddisfi l'intento combinato. Il campo presuppone che le prestazioni elevate sui benchmark CIR (come CIRR, FashionIQ, LaSCo e CIRCO) richiedano una genuina composizione multimodale—la capacità di integrare informazioni complementari da entrambe le modalità in una rappresentazione unificata. Tuttavia, lavori precedenti in domini correlati (ad esempio, la Risposta alle Domande Visive) hanno dimostrato che i modelli spesso sfruttano "segnali scorciatoia", risolvendo i compiti utilizzando una singola modalità dominante piuttosto che un vero ragionamento cross-modale. Questo articolo indaga se i benchmark CIR attuali soffrano di problemi simili, dove un'alta accuratezza nel recupero possa riflettere la dipendenza da scorciatoie unimodali o dal rumore nei dataset piuttosto che dal ragionamento compositivo inteso.

Metodologia
Gli autori conducono un audit in due fasi su quattro benchmark CIR ampiamente utilizzati, utilizzando un pool di undici modelli di Embedding Multimodale Generalista (GME).

1. Audit delle Scorciatoie Unimodali:
   Gli autori valutano ogni query in tre condizioni: (i) Multimodale (query completa), (ii) Solo testo (l'immagine di riferimento sostituita da una maschera nera) e (iii) Solo immagine (la modifica testuale rimossa). Una query è classificata come ammissibile a una "scorciatoia unimodale" se qualsiasi degli undici GME testati può recuperare il target ground-truth tra i primi 10 risultati utilizzando una sola modalità. Le query in cui nessuna singola modalità ha successo ma l'input multimodale ha successo sono etichettate come "Richiede composizione". Le query in cui fallisce persino l'input multimodale sono etichettate come "Non risolte".

2. Audit di Validazione Umana:
   Riconoscendo che la rimozione delle query risolvibili tramite scorciatoie è insufficiente se il set rimanente contiene istanze ambigue o mal poste, gli autori conducono uno studio di validazione umana su 4.741 query prive di scorciatoie. Gli annotatori valutano la validità della tripletta composta da immagine di riferimento, modifica testuale e immagine target. Identificano specifici modi di fallimento:

   • Testo/Riferimento/Target Invalidi: Modifiche illeggibili, immagini di bassa qualità o target non corrispondenti.
   • Query Eccessivamente Ampie: Casi in cui più immagini nella galleria soddisfano plausibilmente la modifica, rendendo il target ground-truth non unico.
     Questo processo produce la suite CIRCUS (Composed Image Retrieval Cleaned of Unimodal Shortcuts), in particolare il sottoinsieme CIRCUSV (validato) contenente solo query ben formate e prive di scorciatoie.

3. Rivalutazione:
   Gli autori rivalutano i GME sui benchmark originali, sul sottoinsieme privo di scorciatoie (CIRCUSSF) e sul sottoinsieme validato (CIRCUSV). Analizzano i cali di prestazioni e calcolano un "Gap di Composizione" (differenza normalizzata tra multimodale e la baseline unimodale più forte) per quantificare la dipendenza dall'integrazione multimodale.

Contributi Chiave

1. Quantificazione delle Scorciatoie Unimodali: Lo studio rivela che una frazione pervasiva di query nei benchmark CIR standard può essere risolta utilizzando una singola modalità. Nello specifico, l'83,6% delle query CIRR, il 32,2% di FashionIQ, il 38,7% di LaSCo e il 74,5% di CIRCO sono risolvibili tramite scorciatoie unimodali.
2. Identificazione del Rumore nel Dataset: Attraverso la validazione umana, gli autori dimostrano che anche tra le query prive di scorciatoie, una porzione significativa è mal posta. Solo il 35,6% delle query prive di scorciatoie auditate (1.689 su 4.741) è stato considerato un'istanza CIR valida. Il problema dominante è la "Query Eccessivamente Ampia", dove la modifica non identifica univocamente un target.
3. Suite di Benchmark CIRCUS: Gli autori rilasciano CIRCUS, una suite di valutazione pulita composta da sottoinsiemi privi di scorciatoie e validati. Questa suite fornisce un test più diagnostico per la composizione multimodale, costringendo i modelli a combinare input di immagine e testo per avere successo.

Risultati

• Discrepanza nelle Prestazioni: La rivalutazione dei modelli su CIRCUS comporta un netto calo delle prestazioni riportate. Ad esempio, il Recall@10 di Qwen3-VL-8B su CIRR scende dal 70,1% sul benchmark originale al 24,1% sul sottoinsieme validato CIRCUSV.
• Dipendenza dalla Modalità: Sebbene le prestazioni assolute diminuiscano, la dipendenza dalle informazioni multimodali aumenta significativamente. Il Gap di Composizione (che indica la necessità di combinare le modalità) aumenta sostanzialmente su CIRCUSV rispetto ai benchmark originali. Ad esempio, su CIRR, il Gap di Composizione medio aumenta da 0,137 (Completo) a 0,361 (CIRCUSV).
• Prevalenza delle Scorciatoie: L'analisi conferma che lo sfruttamento delle scorciatoie è una proprietà a livello di dataset piuttosto che un artefatto specifico del modello, poiché il pattern si mantiene attraverso diverse famiglie e architetture di modelli.
• Specifiche dei Benchmark: CIRR e CIRCO mostrano alti tassi di scorciatoie, mentre LaSCo è dominato da casi non risolti (che suggeriscono difficoltà generale nel recupero o errori di annotazione). FashionIQ ha il tasso di scorciatoie più basso, ma soffre comunque di rumore significativo nel residuo privo di scorciatoie.

Significato
Il paper sostiene che i benchmark CIR attuali confondono query risolvibili tramite scorciatoie, rumorose e genuinamente compositive, portando a una sovrastima delle capacità dei modelli nella composizione multimodale. Gli autori affermano che fare affidamento su questi benchmark potrebbe suggerire falsamente progressi nel ragionamento compositivo quando i modelli stanno semplicemente sfruttando segnali unimodali. Introducendo CIRCUS, il lavoro fornisce una valutazione più fedele di quanto bene i modelli combinino realmente immagine e testo. Gli autori concludono che i progressi futuri in CIR dovrebbero essere misurati dall'estensione in cui i recuperatori integrano genuinamente le modalità, rendendo necessario l'uso di sottoinsiemi puliti e validati per evitare metriche di prestazioni gonfiate guidate da artefatti del dataset.