Do Composed Image Retrieval Benchmarks Require Multimodal Composition?

Technische Zusammenfassung: Erfordern Benchmarks für zusammengesetzte Bildsuche multimodale Komposition?

Problemstellung
Die zusammengesetzte Bildsuche (Composed Image Retrieval, CIR) ist eine multimodale Aufgabe, bei der eine Abfrage aus einem Referenzbild und einer textlichen Modifikation besteht, mit dem Ziel, ein Zielbild zu finden, das der kombinierten Absicht entspricht. Das Feld geht davon aus, dass eine hohe Leistung bei CIR-Benchmarks (wie CIRR, FashionIQ, LaSCo und CIRCO) eine echte multimodale Komposition erfordert – die Fähigkeit, komplementäre Informationen aus beiden Modalitäten in eine einheitliche Repräsentation zu integrieren. Bisherige Arbeiten in verwandten Domänen (z. B. Visuelle Fragebeantwortung) haben jedoch gezeigt, dass Modelle oft „Shortcut-Signale" ausnutzen und Aufgaben mithilfe einer einzigen dominanten Modalität lösen, anstatt echte cross-modale Schlussfolgerungen zu treffen. Diese Arbeit untersucht, ob aktuelle CIR-Benchmarks unter ähnlichen Problemen leiden, bei denen eine hohe Suchgenauigkeit möglicherweise auf die Abhängigkeit von unimodalen Shortcuts oder Rauschen in den Datensätzen zurückzuführen ist, anstatt auf die intendierte kompositorische Schlussfolgerung.

Methodik
Die Autoren führen eine zweistufige Prüfung von vier weit verbreiteten CIR-Benchmarks unter Verwendung eines Pools von elf Generalist Multimodal Embedding (GME)-Modellen durch.

1. Audit unimodaler Shortcuts:
   Die Autoren bewerten jede Abfrage unter drei Bedingungen: (i) Multimodal (vollständige Abfrage), (ii) Nur Text (Referenzbild durch eine schwarze Maske ersetzt) und (iii) Nur Bild (textliche Bearbeitung entfernt). Eine Abfrage wird als Zulassung eines „unimodalen Shortcuts" klassifiziert, wenn irgendeines der elf getesteten GME-Modelle das Ground-Truth-Zielbild innerhalb der Top-10-Ergebnisse unter Verwendung nur einer einzigen Modalität findet. Abfragen, bei denen keine einzelne Modalität erfolgreich ist, die multimodale Eingabe jedoch erfolgreich ist, werden als „Komposition erforderlich" gekennzeichnet. Abfragen, bei denen selbst die multimodale Eingabe fehlschlägt, werden als „Ungelöst" gekennzeichnet.

2. Audit der menschlichen Validierung:
   In Anbetracht dessen, dass das Entfernen shortcut-lösbarer Abfragen unzureichend ist, wenn der verbleibende Satz mehrdeutige oder schlecht gestellte Instanzen enthält, führen die Autoren eine Studie zur menschlichen Validierung an 4.741 shortcut-freien Abfragen durch. Annotatoren bewerten die Gültigkeit des Tripels aus Referenzbild, textlicher Bearbeitung und Zielbild. Sie identifizieren spezifische Fehlermodi:

   • Ungültiger Text/Referenz/Ziel: Unleserliche Bearbeitungen, Bilder niedriger Qualität oder nicht übereinstimmende Ziele.
   • Zu breite Abfrage: Fälle, in denen mehrere Bilder in der Galerie die Modifikation plausibel erfüllen, wodurch das Ground-Truth-Ziel nicht eindeutig ist.
     Dieser Prozess ergibt die CIRCUS-Suite (Composed Image Retrieval Cleaned of Unimodal Shortcuts), speziell die validierte Teilmenge CIRCUSV, die nur wohlgeformte, shortcut-freie Abfragen enthält.

3. Neubewertung:
   Die Autoren bewerten die GME-Modelle erneut auf den ursprünglichen Benchmarks, der shortcut-freien Teilmenge (CIRCUSSF) und der validierten Teilmenge (CIRCUSV). Sie analysieren Leistungseinbrüche und berechnen eine „Kompositions-Lücke" (normierte Differenz zwischen multimodal und der stärksten unimodalen Baseline), um die Abhängigkeit von der multimodalen Integration zu quantifizieren.

Hauptbeiträge

1. Quantifizierung unimodaler Shortcuts: Die Studie zeigt, dass ein durchdringender Anteil der Abfragen in Standard-CIR-Benchmarks unter Verwendung einer einzigen Modalität lösbar ist. Konkret sind 83,6 % der CIRR-, 32,2 % der FashionIQ-, 38,7 % der LaSCo- und 74,5 % der CIRCO-Abfragen über unimodale Shortcuts lösbar.
2. Identifizierung von Datensatz-Rauschen: Durch menschliche Validierung demonstrieren die Autoren, dass selbst unter shortcut-freien Abfragen ein signifikanter Anteil schlecht gestellt ist. Nur 35,6 % der geprüften shortcut-freien Abfragen (1.689 von 4.741) wurden als gültige CIR-Instanzen eingestuft. Das dominierende Problem ist die „Zu breite Abfrage", bei der die Modifikation kein Ziel eindeutig identifiziert.
3. CIRCUS-Benchmark-Suite: Die Autoren veröffentlichen CIRCUS, eine bereinigte Evaluierungssuite, die shortcut-freie und validierte Teilmengen umfasst. Diese Suite bietet einen diagnostischeren Test für multimodale Komposition und zwingt Modelle, Bild- und Texteingaben zu kombinieren, um erfolgreich zu sein.

Ergebnisse

• Leistungsdiskrepanz: Die Neubewertung von Modellen auf CIRCUS führt zu einem starken Rückgang der berichteten Leistung. Beispielsweise sinkt der Recall@10 von Qwen3-VL-8B auf CIRR von 70,1 % auf dem ursprünglichen Benchmark auf 24,1 % auf der validierten CIRCUSV-Teilmenge.
• Abhängigkeit von Modalitäten: Während die absolute Leistung abnimmt, steigt die Abhängigkeit von multimodalen Informationen signifikant an. Die Kompositions-Lücke (die die Notwendigkeit der Kombination von Modalitäten anzeigt) steigt auf CIRCUSV im Vergleich zu den ursprünglichen Benchmarks erheblich. Auf CIRR beispielsweise steigt die durchschnittliche Kompositions-Lücke von 0,137 (Voll) auf 0,361 (CIRCUSV).
• Verbreitung von Shortcuts: Die Analyse bestätigt, dass die Ausnutzung von Shortcuts eine Eigenschaft auf Datensatzebene und kein modellspezifisches Artefakt ist, da das Muster über verschiedene Modellfamilien und Architekturen hinweg konsistent bleibt.
• Benchmark-spezifische Details: CIRR und CIRCO weisen hohe Shortcut-Raten auf, während LaSCo von ungelösten Fällen dominiert wird (was auf allgemeine Suchschwierigkeiten oder Annotationsfehler hindeutet). FashionIQ hat die niedrigste Shortcut-Rate, leidet jedoch immer noch unter signifikantem Rauschen im shortcut-freien Rest.

Bedeutung
Die Arbeit argumentiert, dass aktuelle CIR-Benchmarks shortcut-lösbare, verrauschte und genuin kompositorische Abfragen vermischen, was zu einer Überschätzung der Modellfähigkeiten in der multimodalen Komposition führt. Die Autoren behaupten, dass die Abhängigkeit von diesen Benchmarks fälschlicherweise Fortschritte in der kompositorischen Schlussfolgerung suggerieren könnte, wenn Modelle lediglich unimodale Signale ausnutzen. Durch die Einführung von CIRCUS bietet die Arbeit eine treuere Bewertung dafür, wie gut Modelle Bild und Text tatsächlich kombinieren. Die Autoren schließen, dass zukünftige Fortschritte in der CIR durch das Ausmaß gemessen werden sollten, in dem Suchsysteme Modalitäten genuin integrieren, was die Verwendung bereinigter, validierter Teilmengen erfordert, um aufgeblähte Leistungsmetriken zu vermeiden, die durch Datensatzartefakte getrieben werden.