FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

Technische Zusammenfassung: FlowCIR

Problemstellung
Zero-Shot Composed Image Retrieval (ZS-CIR) zielt darauf ab, ein Zielbild durch die Bearbeitung eines Referenzbildes basierend auf einer natürlichen Sprachanweisung zu finden, ohne dabei auf domänenspezifische annotierte Tripletts angewiesen zu sein. Bestehende ZS-CIR-Methoden verlassen sich überwiegend auf Textual Inversion, welche das Referenzbild in einen kleinen Satz von Pseudo-Text-Tokens übersetzt und diese mit der Anweisung im Text-Embedding-Raum kombiniert. Die Autoren argumentieren, dass dieser Ansatz für feingranulare Semantik verlustbehaftet und fragil ist, da die Komprimierung eines reichhaltigen Bildes in wenige Tokens zwangsläufig visuelle Merkmale verwirft. Darüber hinaus erfordert das Erlernen effektiver Inversions-Projektoren oft erhebliche Rechenressourcen (z. B. Multi-GPU-Training auf Web-Scale-Daten). Zudem haben Vision-Language Models (VLMs) wie CLIP Schwierigkeiten mit Negationen (z. B. „kein Hund“ oder „entferne Streifen“), was oft dazu führt, dass affirmative und negierte Konzepte geometrisch im Embedding-Raum kollabieren, was zu Fehlern bei der Abfrage führt, die viele Negationen enthalten.

Methodik: FlowCIR
Das Paper schlägt FlowCIR vor, ein neues Paradigma, das ZS-CIR als bedingten semantischen Transport innerhalb des Embedding-Raums vortrainierter VLMs neu definiert.

1. Bedingter semantischer Transport via Flow Matching:
   Anstatt statischer Token-Manipulation behandelt FlowCIR die Komposition als ein kontinuierliches Transportproblem. Es lernt ein leichtgewichtiges bedingtes Geschwindigkeitsfeld (eine neuronale ODE), das das relative Instruktions-Embedding ($x_{Tr}$) in Richtung eines ziel-ausgerichteten Text-Embeddings ($x_{Tt}$) transformiert, konditioniert auf das Referenzbild-Embedding ($x_{Ir}$).

   • Training: Das Modell wird auf synthetisierten Tripletts mittels Conditional Flow Matching (CFM) trainiert. Es minimiert den Regressionsverlust zwischen dem vorhergesagten Geschwindigkeitsfeld und der Ground-Truth-Konstanten Geschwindigkeit ($x_{Tt} - x_{Tr}$) entlang eines linearen Pfades.
   • Retrieval-Ziel: Ein kontrastiver Retrieval-Loss (InfoNCE) wird hinzugefügt, bei dem das vorhergesagte Ziel-Text-Embedding gegen das Ground-Truth-Zielbild-Embedding gematcht wird, wobei Top-$K$ Hard-Negatives aus dem Batch verwendet werden, um die Diskriminierung zu schärfen.
   • Effizienz: Das Modell operiert auf vor-extrahierten VLM-Embeddings und trainiert nur ein kleines Transportmodul (ein tiefes Residual-MLP), ohne die Bild- oder Text-Encoder zu aktualisieren. Dies ermöglicht ein Training in etwa 0,5 Stunden auf einer einzelnen GPU.

2. Multi-Negative Steering (Inferenz-only):
   Um die geometrische Mehrdeutigkeit von Negationen in VLMs zu adressieren, schlagen die Autoren eine Inferenz-only-Strategie vor.

   • Mechanismus: Beim Erhalt einer Instruktion, die eine Negation enthält (z. B. „entferne X“), zerlegt ein leichtgewichtiger Parser die Instruktion in eine affirmative Intention und negierte Konzepte.
   • Steering: Die Methode konstruiert ein gesteuertes Instruktions-Embedding, das mit der affirmativen Intention ausgerichtet bleibt, aber explizit von den geometrischen Richtungen der negierten Konzepte (modelliert als hypersphärische Kappen) abgestoßen wird. Dies drückt die Repräsentation vor Beginn des Transportprozesses weg von dem in CLIP-Räumen häufigen „negierten Kollaps“.

Wesentliche Beiträge

1. FlowCIR-Paradigma: Einführung von bedingtem semantischem Transport via Flow Matching als Mechanismus für Zero-Shot CIR, welcher die statische Textual Inversion durch einen kontinuierlichen, referenzgesteuerten Kompositionsprozess ersetzt.
2. Multi-Negative Steering: Vorschlag einer Inferenz-only-Strategie, um den Ausfallmodus von VLMs beim Umgang mit Negationen und Entfernungs-Instruktionen zu mildern, was die Robustheit bei negationsreichen Abfragen signifikant verbessert.
3. Trainingseffizienz: Demonstration eines recheneffizienten Trainingsprotokolls, das mit einem nur ca. 0,5 Stunden auf einer einzelnen GPU trainierten, leichtgewichtigen Transportmodul eine konkurrenzfähige Performance erreicht – im Gegensatz zu den Multi-Tage- und Multi-GPU-Anforderungen früherer Inversions-basierter Methoden.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden auf drei Standard-Benchmarks durchgeführt: CIRR, CIRCO und Fashion-IQ, unter Verwendung von CLIP ViT-B/32 und ViT-L/14 Backbones.

• Performance: FlowCIR erzielt eine starke und konkurrenzfähige Performance und übertrifft oft vorherige Textual-Inversion-basierte Methoden (z. B. SEARLE, Pic2Word) sowie generative Methoden (z. B. Compo-Diff).
  • Auf CIRR (ViT-L/14) verbessert es den Recall@1 um 2,3 % gegenüber dem bisher besten Public-Data-Baseline.
  • Auf CIRCO (ViT-L/14) verbessert es mAP@5 um 14,6 % (von 13,0 auf 14,9).
  • Auf Fashion-IQ erreicht es den besten durchschnittlichen Recall@10 und gleicht den besten Recall@50.
• Effizienz: Wie in der Performance-vs.-Cost-Analyse des Papers illustriert, erreicht FlowCIR Spitzenleistungen mit einem Bruchteil der Trainingszeit (0,5 h auf einer einzelnen RTX 3090) im Vergleich zu Baselines, die hunderte GPU-Stunden oder massive TPU-Cluster erfordern.
• Ablationsstudien:
  • Conditional Flow Matching wird als primärer Treiber der Performance identifiziert, was beweist, dass die Modellierung der Komposition als semantischer Transport der direkten Regression oder rein textbasierten Baselines überlegen ist.
  • Multi-Negative Steering liefert konsistente, komplementäre Gewinne, insbesondere bei negationsreichen Abfragen.
  • Target Space: Der Transport in Richtung des Ziel-Text-Embeddings (anstatt des Bild-Embeddings) liefert bessere Ergebnisse, da dies ein semantisch zentrierteres Signal und eine homogenere Abbildung bereitstellt.

Bedeutung und Behauptungen
Das Paper behauptet, dass FlowCIR einen prinzipiengetreuen und trainingseffizienten Mechanismus für die cross-modale Komposition bietet, der die Fallstricke der Textual Inversion und die hohen Kosten generativer Ansätze vermeidet. Durch die Formulierung von CIR als bedingten semantischen Transport bewahrt die Methode besser feingranulare Semantik und ermöglicht einen progressiven, referenzgesteuerten Kompositionsprozess. Die Autoren positionieren diese Arbeit als einen Schritt hin zu einem neuen Paradigma für das cross-modale Retrieval, das über die statische Komposition hinausgeht, und heben hervor, dass Flow-basierte Methoden eine hohe Genauigkeit mit minimalem Rechenaufwand erreichen können. Die Multi-Negative Steering Strategie wird als praktische Lösung für eine bekannte Schwäche von CLIP-ähnlichen Modellen hervorgehoben, die die Treue des Retrievals verbessert, ohne zusätzliche Trainingsdaten oder Modell-Updates zu erfordern.