FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

Technische Samenvatting: FlowCIR

Probleemstelling
Zero-Shot Composed Image Retrieval (ZS-CIR) beoogt een doelafbeelding te extraheren door een referentieafbeelding te bewerken op basis van een natuurlijke taalinstructie, zonder te vertrouwen op domeinspecifieke geannoteerde triplets. Bestaande ZS-CIR-methoden vertrouwen voornamelijk op textuele inversie, waarbij de referentieafbeelding wordt vertaald naar een kleine set pseudo-teksttokens die vervolgens met de instructie worden samengevoegd in de tekstembeddingruimte. De auteurs stellen dat deze aanpak verlieslatend en broos is voor fijnmazige semantiek, omdat het comprimeren van een rijke afbeelding tot enkele tokens onvermijdelijk visuele cues weglaat. Bovelijk vereist het leren van effectieve inversie-projectoren vaak aanzienlijke computationele middelen (bijv. multi-GPU training op web-schaal data). Daarnaast hebben Vision-Language Models (VLM's) zoals CLIP moeite met negatie (bijv. "geen hond" of "verwijder strepen"), wat er vaak toe leidt dat affirmatieve en negatieve concepten geometrisch in elkaar klappen in de embeddingruimte, wat leidt tot fouten bij het ophalen van queries met veel negatie.

Methodologie: FlowCIR
Het paper stelt FlowCIR voor, een nieuw paradigma dat ZS-CIR herformuleert als conditionele semantische transport binnen de embeddingruimte van vooraf getrainde VLM's.

1. Conditioneel Semantisch Transport via Flow Matching:
   In plaats van statische tokenmanipulatie behandelt FlowCIR compositie als een continu transportprobleem. Het leert een lichtgewicht conditioneel snelheidveld (een neurale ODE) dat de relatieve instructie-embedding ($x_{Tr}$) richting een doel-gealigneerde tekst-embedding ($x_{Tt}$) brengt, geconditioneerd op de referentie-afbeelding-embedding ($x_{Ir}$).

   • Training: Het model wordt getraind op gesynthetiseerde triplets met behulp van Conditional Flow Matching (CFM). Het minimaliseert de regressieverlies tussen het voorspelde snelheidveld en de grondwaarheid constante snelheid ($x_{Tt} - x_{Tr}$) langs een lineair pad.
   • Retrieval Objectief: Een contrastieve retrieval loss (InfoNCE) wordt toegevoegd, waarbij de voorspelde doel-tekst-embedding wordt gematcht met de grondwaarheid doel-afbeelding-embedding, waarbij top-$K$ harde negatieven uit de batch worden gebruikt om discriminatie te verscherpen.
   • Efficiëntie: Het model werkt op vooraf geëxtraheerde VLM-embeddings en traint alleen een kleine transportmodule (een diepe residuele MLP) zonder de beeld- of tekstencoders bij te werken. Dit maakt training mogelijk in ongeveer 0,5 uur op een enkele GPU.

2. Multi-Negatieve Sturing (Inference-Only):
   Om de geometrische ambiguïteit van negatie in VLM's aan te pakken, stellen de auteurs een strategie voor die enkel tijdens de inferentie plaatsvindt.

   • Mechanisme: Bij het ontvangen van een instructie die negatie bevat (bijv. "verwijder X"), deelt een lichtgewicht parser de instructie op in een affirmatieve intentie en negatieve concepten.
   • Sturing (Steering): De methode construeert een gestuurde instructie-embedding die gealigneerd blijft met de affirmatieve intentie, maar expliciet wordt afgestoten van de geometrische richtingen van de negatieve concepten (gemodelleerd als hyper-sferische kapjes). Dit duwt de representatie weg van de "negatieve instorting" die gebruikelijk is in de CLIP-ruimte voordat het transportproces begint.

Belangrijkste Bijdragen

1. FlowCIR Paradigma: De introductie van conditioneel semantisch transport via flow matching als mechanisme voor zero-shot CIR, ter vervanging van statische tekstuele inversie door een continu, referentie-gestuurd compositieproces.
2. Multi-Negatieve Sturing: Het voorstellen van een strategie die enkel tijdens de inferentie plaatsvindt om de faalmodus van VLM's bij het afhandelen van negatie en verwijderingsinstructies te mitigeren, wat de robuustheid op negatie-rijke queries aanzienlijk verbetert.
3. Trainings-efficiëntie: Het demonstreren van een computationeel efficiënt trainingsprotocol dat concurrerende prestaties behaalt met slechts een lichtgewicht transportmodule die ongeveer 0,5 uur op een enkele GPU is getraind, in contrast met de dagenlange, multi-GPU vereisten van eerdere inversie-gebaseerde methoden.

Experimentele Resultaten
Uitgebreide experimenten zijn uitgevoerd op drie standaard benchmarks: CIRR, CIRCO en Fashion-IQ, gebruikmakend van CLIP ViT-B/32 en ViT-L/14 backbones.

• Prestaties: FlowCIR bereikt sterke en concurrerende prestaties, en overtreft vaak eerdere tekstuele inversie-gebaseerde methoden (bijv. SEARLE, Pic2Word) en generatieve methoden (bijv. Compo-Diff).
  • Op CIRR (ViT-L/14) verbetert het de Recall@1 met 2,3% ten opzichte van de vorige beste publieke data baseline.
  • Op CIRCO (ViT-L/14) verbetert het de mAP@5 met 14,6% (van 13,0 naar 14,9).
  • Op Fashion-IQ behaalt het de beste gemiddelde Recall@10 en evenaart het de beste Recall@50.
• Efficiëntie: Zoals geïllustreerd in de performance-versus-kosten analyse in het paper, behaalt FlowCIR top-prestaties met een fractie van de trainingstijd (0,5u op een enkele RTX 3090) vergeleken met baselines die honderden GPU-uren of massieve TPU-clusters vereisen.
• Ablatie Studies:
  • Conditional Flow Matching wordt geïdentificeerd als de primaire drijfveer van de prestaties, wat bewijst dat het modelleren van compositie als semantisch transport superieur is aan directe regressie of tekst-alleen baselines.
  • Multi-Negatieve Sturing levert consistente, complementaire winst op, met name bij negatie-rijke queries.
  • Doelruimte (Target Space): Het transporteren naar de doel-tekst-embedding (in plaats van de afbeelding-embedding) levert betere resultaten op, omdat dit een meer semantisch gecentreerd signaal en een homogenerere mapping biedt.

Betekenis en Claims
Het paper claimt dat FlowCIR een geprincieerd en trainings-efficiënt mechanisme biedt voor cross-modale compositie dat de valkuilen van tekstuele inversie en de hoge kosten van generatieve benaderingen vermijdt. Door CIR te formuleren als conditioneel semantisch transport, behoudt de methode fijnmazige semantiek beter en maakt het een progressief, referentie-gestuurd compositieproces mogelijk. De auteurs positioneren dit werk als een stap naar een nieuw paradigma voor cross-modale retrieval dat verder gaat dan statische compositie, waarbij ze benadrukken dat flow-gebaseerde methoden een hoge nauwkeurigheid kunnen bereiken met minimale computationele overhead. De Multi-Negatieve Sturing strategie wordt gepresenteerd als een praktische oplossing voor een bekende zwakte van CLIP-stijl modellen, waardoor de getrouwheid van de retrieval wordt verbeterd zonder aanvullende trainingsdata of modelupdates te vereisen.