🤖 AI

Never Seen Before: Benchmarking Genuine Zero-Shot Composed Image Retrieval with Consistent Video-Sourced Datasets

Dieses Paper stellt ZeroSight vor, einen neuartigen Benchmark für echtes Zero-Shot Composed Image Retrieval, der Post-CLIP-Trainingsvideodaten nutzt, um echte Zero-Shot-Bedingungen und konsistente Referenz-Ziel-Paare zu gewährleisten, sowie eine Plug-and-Play-SC4CIR-Methode, die eine übersteigerte Leistung in bestehenden Datensätzen und Modellen aufdeckt.

Ursprüngliche Autoren: Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhenyu Yang, Zemin Du, Shengsheng Qian, Changsheng Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein bestimmtes Foto in einer riesigen digitalen Bibliothek zu finden. Sie suchen nicht einfach mit einem Schlagwort wie „Hund“. Stattdessen zeigen Sie dem Bibliothekar ein Bild eines braunen Hundes und sagen: „Finden Sie mir ein Bild eines weißen Hundes.“ Dies wird als Composed Image Retrieval (CIR) bezeichnet.

Seit Jahren versuchen Forscher, Computerprogramme zu entwickeln, die dies können. Aber laut diesem Paper sind die „Prüfungen“, die sie zur Bewertung dieser Programme verwenden, fehlerhaft. Die Autoren, Zhenyu Yang und sein Team, haben einen brandneuen, viel schwierigeren Test namens ZeroSight und einen neuen „Lernleitfaden“ namens SC4CIR entwickelt, um den Computern zu helfen, diesen zu bestehen.

Hier ist die Aufschlüsselung ihrer Arbeit in einfachen Worten:

1. Das Problem: Die alten Tests waren „Betrug“

Die Autoren argumentieren, dass die bisherigen Tests für diese Bildsuchprogramme in zwei wesentlichen Punkten fehlerhaft waren:

Das „Fake-Freunde“-Problem: In alten Datensätzen waren das „Referenzfoto“ (der braune Hund) und das „Zielfoto“ (der weiße Hund) oft nur zufällige Bilder von Hunden aus dem Internet. Sie waren eigentlich nicht miteinander verwandt. Es war so, als würde man einen Schüler bitten, ein Bild eines „roten Autos“ basierend auf einem Bild eines „blauen Autos“ zu finden, aber die beiden Autos stammten von völlig unterschiedlichen Herstellern, aus verschiedenen Ländern und hatten keine Verbindung außer dem Fakt, dass sie Autos waren. Der Computer konnte die Antwort erraten, indem er einfach nur wusste, wie ein „weißer Hund“ aussieht, ohne die eigentliche Veränderung vom ersten Bild wirklich zu verstehen.
Das „Für die Prüfung gelernt“-Problem: Die Computer (speziell Modelle wie CLIP) hatten die Bilder, die in diesen Tests verwendet wurden, bereits während ihres ursprünglichen Trainings gesehen. Es ist, als würde man einem Schüler eine Matheprüfung geben, bei der die Fragen identisch mit den Hausaufgaben sind, die er letzte Woche gemacht hat. Der Schüler erzielt eine perfekte Punktzahl, aber er hat nicht wirklich gelernt, wie man neue Probleme löst.

2. Die Lösung: ZeroSight (Der neue Test)

Um dies zu beheben, baute das Team ZeroSight, einen neuen Benchmark, der wie eine faire, strenge Prüfung fungiert.

Der Video-Trick: Anstatt zufällige Fotos aus dem Internet zu nehmen, haben sie Frames aus Videos verwendet. Stellen Sie sich ein Video einer gehenden Person vor. Ein Frame zeigt sie in einem roten Hemd; der nächste (Sekunden später) zeigt sie in einem blauen Hemd. Da diese Bilder aus demselben Video stammen, sind sie garantiert „Freunde“ – sie teilen dieselbe Umgebung, dasselbe Licht und dieselbe Person. Das Einzige, was sich geändert hat, ist die Bildunterschrift, nach der gesucht wird. Dies stellt sicher, dass der Computer die spezifische Änderung verstehen muss und nicht nur auf Basis von allgemeinem Wissen rät.
Die „Frische-Daten“-Regel: Sie haben sichergestellt, dass sie Videos verwenden, die nach dem 31. März 2022 veröffentlicht wurden. Warum? Weil das populäre KI-Modell CLIP etwa zu diesem Zeitpunkt aufgehört hat, aus dem Internet zu lernen. Durch die Verwendung von Daten aus der Zeit nach diesem Datum garantieren sie, dass der Computer diese Bilder noch nie gesehen hat. Dies ist ein echter „Zero-Shot“-Test: Der Computer muss es vor Ort herausfinden, ohne vorheriges Studium.
Die „Hard Negative“-Falle: In ihrem Test bauen sie auch „Lockvögel“ ein. Das sind Bilder, die fast wie die richtige Antwort aussehen, aber nicht ganz stimmen. Es ist, als würde man ein Bild eines weißen Hundes zeigen, das aber eigentlich ein Wolf ist. Der Computer muss klug genug sein, den Unterschied zu erkennen.

3. Das neue Werkzeug: SC4CIR (Der smarte Lernleitfaden)

Selbst mit einem fairen Test hatten die Computer Schwierigkeiten. Deshalb entwickelten die Autoren eine neue Methode namens SC4CIR (Symmetric Consistency for CIR).

Betrachten Sie dies als ein Doppel-Check-System:

Vorwärts-Suche: Der Computer betrachtet den „braunen Hund“ und die Anweisung „mache ihn weiß“ und wählt einen Kandidaten für den „weißen Hund“ aus.
Rückwärts-Check 1: Der Computer nimmt diesen „weißen Hund“-Kandidaten und fragt: „Wenn ich dies zurück in das Original verwandle, erhalte ich dann den 'braunen Hund', mit dem ich angefangen habe?“
Rückwärts-Check 2: Der Computer fragt: „Wenn ich den 'braunen Hund' und den 'weißen Hund'-Kandidaten betrachte, passt die Differenz zwischen ihnen zur Anweisung 'mache ihn weiß'?“

Wenn der Computer die Änderung nicht in beide Richtungen erklären kann, weiß er, dass er die falsche Antwort gewählt hat. Diese Methode ist „Plug-and-Play“, was bedeutet, dass sie an fast jedes bestehende Bildsuchprogramm angehängt werden kann, um es intelligenter zu machen, ohne das gesamte System neu trainieren zu müssen.

4. Die Ergebnisse: Die Wahrheit kommt ans Licht

Als sie 27 verschiedene Computerprogramme auf diesem neuen ZeroSight-Test ausführten:

Die Punktzahlen sanken: Viele Programme, die auf den alten, fehlerhaften Tests wie Genies wirkten, erzielten auf ZeroSight viel niedrigere Punktzahlen. Dies bewies, dass die alten Tests ihre Fähigkeiten künstlich aufblähten.
„Hard Negatives“ sind wichtig: Die neue Metrik (PNR-mAP) zeigte, dass viele Programme durch die „Lockvogel“-Bilder verwirrt wurden. Sie wählten den „Wolf“ anstelle des „weißen Hundes“.
SC4CIR half: Als sie das SC4CIR-Doppel-Check-System hinzufügten, stiegen die Punktzahlen signifikant an, insbesondere bei den Programmen, die kein zusätzliches Training erforderten.

Zusammenfassung

Das Paper behauptet, dass das Feld der „Composed Image Retrieval“ fehlerhafte Tests verwendet hat, die die KI besser aussehen lassen, als sie eigentlich ist. Sie haben einen neuen, ehrlichen Test (ZeroSight) unter Verwendung von frischen Videodaten gebaut, um sicherzustellen, dass die KI wirklich lernt, und sie haben ein neues Werkzeug (SC4CIR) bereitgestellt, das der KI hilft, ihre eigenen Antworten zu verifizieren, um Fehler zu vermeiden. Ihr Ziel ist es, den „Betrug“ zu stoppen und Systeme zu bauen, die tatsächlich in der Lage sind, reale Bildveränderungen zu verarbeiten.

Technisches Resümee: ZeroSight und SC4CIR

Problemstellung
Zero-Shot Composed Image Retrieval (ZS-CIR) zielt darauf ab, ein Zielbild basierend auf einer Abfrage zu finden, die aus einem Referenzbild und einer relativen Bildunterschrift besteht, ohne dabei auf aufgabenspezifische Trainingsbeispiele zurückzugreifen. Die Autoren identifizieren zwei kritische Mängel bestehender ZS-CIR-Benchmarks (z. B. CIRR, CIRCO, FashionIQ):

Inkonsistenz: Bestehende Datensätze leiden häufig unter visuellen und semantischen Inkonsistenzen zwischen Referenz- und Zielbildern. Da diese Datensätze aus verrauschten, Crowdsourcing-basierten oder abstrakten Bildsammlungen (wie NLVR2 oder MS COCO) erstellt wurden, können die Referenz- und Zielbilder nur abstrakte Konzepte teilen (z. B. „eine Krawatte“), während sie sich im visuellen Inhalt signifikant unterscheiden. Dies macht die Retrieval-Aufgabe eher durch Standard-Text-zu-Bild-Techniken lösbar als durch echtes zusammengesetztes Retrieval.
Scheinbare Zero-Shot-Szenarien: Die meisten bestehenden Datensätze nutzen öffentliche Bildquellen (z. B. MS COCO), die Teil der Pre-Training-Daten dominanter Vision-Language-Modelle (VLMs) wie CLIP waren. Folglich sind die Modelle nicht wirklich „zero-shot“, sondern nutzen memorisierte Assoziationen, was zu überhöhten Leistungsmetriken führt, die die Fähigkeiten aktueller Methoden übertreiben.

Methodik
Um diese Herausforderungen anzugehen, führen die Autoren ZeroSight, einen neuartigen Benchmark, und SC4CIR, eine trainingsfreie Retrieval-Methode, ein.

ZeroSight Datensatz-Konstruktion:
- Quelle: Im Gegensatz zu bisherigen Arbeiten extrahiert ZeroSight Frame-Bilder aus Videos, die nach dem 31. März 2022 veröffentlicht wurden (nach dem Release von LAION-2B), wodurch sichergestellt wird, dass die Daten nicht im Pre-Training von CLIP enthalten waren.
- Konsistenz: Durch die Extraktion von Frames aus einem einzelnen Video garantieren die Autoren, dass Referenz-Ziel-Paare visuell und semantisch konsistent sind und sich nur in den durch die Bildunterschrift beschriebenen spezifischen Modifikationen unterscheiden.
- Pipeline: Eine mehrstufige, LLM-gestützte Pipeline (unter Verwendung von Modellen wie GPT-4o) konstruiert den Datensatz. Sie umfasst:
  1. Auswahl nicht-redundanter Referenzbilder aus Video-Teilmengen.
  2. Filtern von Kandidaten-Zielbildern basierend auf visuellen und semantischen Ähnlichkeitsschwellenwerten (unter Verwendung von ViT und CLIP).
  3. Generierung relativer Bildunterschriften, die die Transformation vom Referenz- zum Zielbild beschreiben.
- Skalierung & Struktur: Der Datensatz umfasst 12.048 diverse Videos, was zu einem Retrieval-Pool von 197.313 Bildern und 54.740 Abfragen führt. Einzigartig ist, dass er für jede Abfrage mehrere Ground-Truth-positive Targets und „Hard Negative“-Targets (Bilder, die dem Ziel ähnlich sind, aber die Kriterien der Bildunterschrift nicht erfüllen) enthält.
- Abfrage-Kategorien: Abfragen werden in sechs Kategorien klassifiziert, um spezifische Retrieval-Fähigkeiten zu testen: Addition, Subtraktion, Hintergrundänderung, Ansichtswinkeländerung, Attributänderung und relative Aussage.
SC4CIR (Symmetric Consistency for CIR):
- Konzept: Eine trainingsfreie, Plug-and-Play-Methode, die durch Multimodale Large Language Models (MLLMs) gesteuert wird, um „Hard Negative“-Targets zu identifizieren und zu bestrafen, die dem Ground Truth visuell ähnlich, aber semantisch inkorrekt sind.
- Mechanismus: Es verwendet drei symmetrische Konsistenzprüfungen:
  1. Forward Retrieval: $I_r + T \rightarrow I_t$ (Standard-Retrieval).
  2. Reverse Process 1: $I_t - T \rightarrow I_r$ (Generiert eine inverse Instruktion $T'$ , um das Kandidatenbild zurück zum Referenzbild zu transformieren).
  3. Reverse Process 2: $I_t - I_r \rightarrow T$ (Generiert eine Beschreibung des Unterschieds zwischen dem Kandidaten und dem Referenzbild, um diese mit der ursprünglichen Bildunterschrift $T$ zu vergleichen).
- Re-Ranking: Das finale Scoring kombiniert die Forward-Ähnlichkeit mit den beiden Reverse-Konsistenz-Scores ( $S = S_1 + S_2 + S_3$ ), um die Ergebnisse durch Re-Ranking zu optimieren und Hard Negatives zu unterdrücken.

Wesentliche Beiträge

ZeroSight Benchmark: Der erste ZS-CIR-Datensatz, der echte Zero-Shot-Bedingungen (kein CLIP-Pre-Training-Überlapp) und hohe visuelle/semantische Konsistenz durch Video-basierte Daten gewährleistet. Er ist der erste, der mehrere Ground Truths und Hard-Negative-Targets einschließt.
SC4CIR Methode: Ein neuartiger, trainingsfreier, MLLM-gestützter Ansatz, der die Retrieval-Leistung verbessert, indem er die symmetrische Konsistenz verifiziert und so Hard Negatives effektiv filtert, ohne ein Retraining des Modells zu erfordern.
Neue Evaluierungsmetrik (PNR-mAP): Die Autoren schlagen die Positive-Negative Ranking mAP vor, welche die Platzierung von negativen Targets relativ zu positiven Targets berücksichtigt und so die Einschränkung der Standard-mAP adressiert, die die Präsenz von Hard Negatives ignoriert.
Umfassende Evaluierung: Das Paper evaluiert 27 State-of-the-Art-Methoden und zeigt auf, dass bestehende Benchmarks überhöhte Ergebnisse liefern.

Experimentelle Ergebnisse

Benchmark-Leistung: Experimente auf ZeroSight zeigen, dass aktuelle ZS-CIR-Methoden auf diesen Daten signifikant schlechter abschneiden als auf bestehenden Datensätzen (z. B. CIRCO), was die Schwierigkeit und Validität des neuen Benchmarks bestätigt. Beispielsweise sank beispielsweise der mAP@5 für SEIZE von 32,46 auf CIRCO auf 16,63 auf ZeroSight.
Metrik-Diskrepanz: Der durchschnittliche mAP über alle Methoden hinweg war auf ZeroSight um 22,93 % höher als der PNR-mAP, was zeigt, dass Standardmetriken die Leistung durch das Ignorieren der Platzierung von Hard Negatives künstlich aufblähen.
SC4CIR Effektivität: Die Integration von SC4CIR verbesserte die Leistung über alle getesteten Methoden hinweg signifikant. Für trainingsfreie Methoden verbesserte sich der durchschnittliche PNR-mAP um 25,66 %. Die Methode ist besonders effektiv bei LLM-basierten ZS-CIR-Ansätzen und verbessert deren Leistung um 9,12 %.
Generalisierbarkeit: SC4CIR zeigte auch Robustheit bei der Anwendung auf bestehende verrauschte Datensätze (CIRCO, CIRR, FashionIQ), wobei es die Baselines konsistent übertraf und sogar Zero-Shot-Methoden half, die Leistung von trainierten CIR-Methoden auf FashionIQ zu erreichen.

Bedeutung
Das Paper argumentiert, dass die aktuelle ZS-CIR-Forschung durch Datensätze behindert wird, die keine echten Zero-Shot-Szenarien widerspiegeln und eine mangelnde visuelle Konsistenz aufweisen, was zu einer Überschätzung der Modellfähigkeiten führt. ZeroSight etabliert einen neuen Standard für die Evaluierung von CIR-Methoden, indem es strikte Datenkonsistenz und echte Zero-Shot-Bedingungen erzwingt. Die Einführung von SC4CIR zeigt, dass die Nutzung von MLLM-Reasoning für Konsistenzprüfungen die Retrieval-Genauigkeit signifikant verbessern kann, ohne zusätzliches Training. Die Autoren kommen zu dem Schluss, dass ihr Benchmark und ihre Methode einen zuverlässigeren Rahmen für die Entwicklung generalisierbarer und robuster zusammengesetzter Bildabrufsysteme bieten, insbesondere für Anwendungen, bei denen hohe Präzision und subtile visuelle Unterschiede entscheidend sind.

1. Das Problem: Die alten Tests waren „Betrug“

2. Die Lösung: ZeroSight (Der neue Test)

3. Das neue Werkzeug: SC4CIR (Der smarte Lernleitfaden)

4. Die Ergebnisse: Die Wahrheit kommt ans Licht

Zusammenfassung

Mehr davon