Do Composed Image Retrieval Benchmarks Require Multimodal Composition?

Technische Samenvatting: Vereisen Benchmarks voor Gecomposeerde Beeldretrieval Mult模ale Composities?

Probleemstelling
Gecomposeerde Beeldretrieval (CIR) is een multimodale taak waarbij een query bestaat uit een referentiebeeld en een tekstuele wijziging, met als doel een doelbeeld op te halen dat aan de gecombineerde intentie voldoet. Het vakgebied gaat ervan uit dat sterke prestaties op CIR-benchmarks (zoals CIRR, FashionIQ, LaSCo en CIRCO) echte multimodale composities vereisen—het vermogen om complementaire informatie uit beide modaliteiten te integreren in een verenigde representatie. Echter, eerder werk in gerelateerde domeinen (bijvoorbeeld Visuele Vraagbeantwoording) heeft aangetoond dat modellen vaak "shortcut-signalen" exploiteren, waarbij taken worden opgelost met behulp van één dominante modality in plaats van echte cross-modale redenering. Dit artikel onderzoekt of huidige CIR-benchmarks lijden onder vergelijkbare problemen, waarbij hoge ophaalprecisie mogelijk een afhankelijkheid weerspiegelt van unimodale shortcuts of datasetruis in plaats van de beoogde compositieve redenering.

Methodologie
De auteurs voeren een audit in twee fasen uit van vier veelgebruikte CIR-benchmarks met behulp van een pool van elf Generalist Multimodal Embedding (GME)-modellen.

1. Audit van Unimodale Shortcuts:
   De auteurs evalueren elke query onder drie voorwaarden: (i) Multimodaal (volledige query), (ii) Alleen tekst (het referentiebeeld vervangen door een zwart masker) en (iii) Alleen beeld (de tekstuele bewerking verwijderd). Een query wordt geclassificeerd als toelaatbaar voor een "unimodale shortcut" als enige van de elf geteste GME's het ground-truth doel binnen de top-10 resultaten kan ophalen met behulp van slechts één modality. Queries waarbij geen enkele modality slaagt maar de multimodale input wel, worden gelabeld als "Compositie vereist". Queries waarbij zelfs de multimodale input faalt, worden gelabeld als "Onopgelost".

2. Audit van Menselijke Validatie:
   Wetende dat het verwijderen van met shortcuts oplosbare queries onvoldoende is als de resterende set ambigu of slecht gestelde instanties bevat, voeren de auteurs een menselijke validatiestudie uit op 4.741 shortcut-vrije queries. Annotators beoordelen de geldigheid van het triplet bestaande uit referentiebeeld, tekstuele bewerking en doelbeeld. Zij identificeren specifieke faalmodi:

   • Ongeldige Tekst/Referentie/Doel: Verward bewerkingen, beelden van lage kwaliteit of niet-overeenkomende doelen.
   • Te Brede Query: Gevallen waarbij meerdere afbeeldingen in de galerij plausibel voldoen aan de wijziging, waardoor het ground-truth doel niet uniek is.
     Dit proces levert de CIRCUS-suite (Composed Image Retrieval Cleaned of Unimodal Shortcuts) op, specifiek de CIRCUSV-subset (gevalideerd) die alleen goed gevormde, shortcut-vrije queries bevat.

3. Her-evaluatie:
   De auteurs her-evalueren de GME's op de originele benchmarks, de shortcut-vrije subset (CIRCUSSF) en de gevalideerde subset (CIRCUSV). Zij analyseren prestatiedalingen en berekenen een "Compositiegap" (genormaliseerd verschil tussen multimodaal en de sterkste unimodale baseline) om de afhankelijkheid van multimodale integratie te kwantificeren.

Belangrijkste Bijdragen

1. Kwantificering van Unimodale Shortcuts: De studie onthult dat een pervasief deel van de queries in standaard CIR-benchmarks met één modality kan worden opgelost. Specifiek zijn 83,6% van de CIRR-, 32,2% van de FashionIQ-, 38,7% van de LaSCo- en 74,5% van de CIRCO-queries oplosbaar via unimodale shortcuts.
2. Identificatie van Datasetruis: Via menselijke validatie tonen de auteurs aan dat zelfs onder shortcut-vrije queries een significant deel slecht gesteld is. Slechts 35,6% van de geauditeerde shortcut-vrije queries (1.689 van de 4.741) werd beschouwd als geldige CIR-instanties. Het dominante probleem is "Te Brede Query", waarbij de wijziging niet uniek een doel identificeert.
3. CIRCUS Benchmark Suite: De auteurs publiceren CIRCUS, een opgeschoonde evaluatiesuite bestaande uit shortcut-vrije en gevalideerde subsets. Deze suite biedt een meer diagnostische test voor multimodale composities, waarbij modellen worden gedwongen beeld- en tekstinput te combineren om te slagen.

Resultaten

• Prestatieverschil: Her-evaluatie van modellen op CIRCUS resulteert in een scherpe daling van de gerapporteerde prestaties. Bijvoorbeeld, de Recall@10 van Qwen3-VL-8B op CIRR daalt van 70,1% op de originele benchmark naar 24,1% op de gevalideerde CIRCUSV-subset.
• Afhankelijkheid van Modaliteit: Hoewel de absolute prestaties dalen, neemt de afhankelijkheid van multimodale informatie aanzienlijk toe. De Compositiegap (die de noodzaak aangeeft om modaliteiten te combineren) stijgt substantieel op CIRCUSV in vergelijking met de originele benchmarks. Bijvoorbeeld, op CIRR stijgt de gemiddelde Compositiegap van 0,137 (Volledig) naar 0,361 (CIRCUSV).
• Prevalentie van Shortcuts: De analyse bevestigt dat het exploiteren van shortcuts een eigenschap op datasetniveau is in plaats van een model-specifiek artefact, aangezien het patroon consistent blijft over diverse model-families en architecturen.
• Benchmarkspecifieke Kenmerken: CIRR en CIRCO vertonen hoge shortcut-rates, terwijl LaSCo wordt gedomineerd door onopgeloste gevallen (wat wijst op algemene ophaalschwakheid of annotatiefouten). FashionIQ heeft de laagste shortcut-rate, maar lijdt nog steeds aan aanzienlijke ruis in de shortcut-vrije rest.

Betekenis
Het artikel betoogt dat huidige CIR-benchmarks met shortcuts oplosbare, ruizige en genuanceerd compositieve queries vermengen, wat leidt tot een overschatting van modelcapaciteiten in multimodale composities. De auteurs stellen dat het vertrouwen op deze benchmarks ten onrechte vooruitgang in compositieve redenering kan suggereren, terwijl modellen slechts unimodale signalen exploiteren. Door CIRCUS in te voeren, biedt het werk een meer trouwe beoordeling van hoe goed modellen beeld en tekst werkelijk combineren. De auteurs concluderen dat toekomstige vooruitgang in CIR moet worden gemeten aan de mate waarin ophaalsystemen modaliteiten werkelijk integreren, wat het gebruik van opgeschoonde, gevalideerde subsets vereist om geinflatieerde prestatie-metrics te vermijden die worden gedreven door dataset-artefacten.