Geometry-Aware CLIP Retrieval via Local Cross-Modal Alignment and Steering

Probleemstelling

Het paper identificeert een fundamentele beperking in bestaande CLIP-gebaseerde beeldzoeksystemen (Cross-Modal Retrieval). Hoewel CLIP sterke globale kruis-modale uitlijning bereikt, faalt het vaak bij compositional retrieval (het zoeken naar complexe scènes met meerdere objecten en attributen).

De kernproblemen zijn:

1. Lokale geometrische inconsistenties: Nabije items in de embedding-ruimte worden verkeerd gerangschikt, wat leidt tot systematische verwarringen (bijv. een vijfkant verwarren met een zeshoek).
2. Verlies van structurele informatie: Traditionele CLIP-retrieval gebruikt cosinus-achtigheid op globale vectoren. Hierbij worden alle objecten in een afbeelding samengevoegd tot één enkele vector. Hierdoor gaat de ruimtelijke relatie en de binding tussen specifieke objecten en hun attributen verloren.
3. Fouten zijn lokaal: De juiste afbeelding zit vaak wel in de top-k resultaten, maar is verkeerd gerangschikt binnen de lokale buurt van de zoekopdracht. Bestaande methoden die proberen de globale representatie te finetunen, lossen deze lokale structuurproblemen niet op en kunnen zelfs fijnmazige semantische structuren vervormen.

Methodologie

De auteurs benaderen retrieval niet als een punt-tot-punt vergelijkingsprobleem, maar als een probleem van buurman-uitlijning (neighborhood alignment). De methodologie bestaat uit drie logische fasen:

1. Diagnose van de structurele bottleneck:

   • Het paper toont aan dat het samenvoegen van per-object tekst-embeddings tot één query-vector (via averaging of pooling) de prestaties drastisch verlaagt. De informatie is wel aanwezig, maar de structuur gaat verloren bij het samenvoegen.
   • Er is een gedeeltelijke overlap in de geometrie tussen tekst- en beeldruimte, maar deze is ongelijkmatig (bijv. kleurengeometrie binnen vormen is soms omgekeerd).

2. Structurele Herordening (Structure-Aware Reranking) via Fused Gromov-Wasserstein (FGW):

   • In plaats van de query en de kandidaat-afbeeldingen als één vector te vergelijken, worden ze ontbonden in sets van per-object embeddings (gebaseerd op scene-annotaties).
   • De methode gebruikt Fused Gromov-Wasserstein (FGW) optimal transport. Dit is een tweeledige aanpak:
     • Feature Alignment: Vergelijkt de gelijkenis tussen individuele objecten (bijv. "rode bal" in query vs. "rode bal" in afbeelding).
     • Structural Alignment: Vergelijkt de interne geometrie van de sets (bijv. hoe ver de objecten van elkaar verwijderd zijn in de query versus in de afbeelding).
   • Dit zorgt ervoor dat niet alleen de juiste objecten worden gevonden, maar ook dat hun onderlinge relaties behouden blijven.
   • Als special geval wordt ook Hungarian matching (hard one-to-one assignment) gebruikt, wat vooral effectief is voor de top-1 ranking, terwijl FGW (soft assignment) beter presteert over de volledige top-k buurt.

3. Sturing (Steering) voor Attribuutcorrectie:

   • De auteurs introduceren query-geconditioneerde lokale stuurrichtingen. Door vectoren af te leiden uit contrastieve buurten rondom de query, kan de zoekruimte lokaal worden "gestuurd" om specifieke attributen te corrigeren zonder het model opnieuw te trainen.
   • Dit werkt goed voor enkele objecten, maar faalt bij naive aggregatie bij meerdere objecten (interferentie), wat de noodzaak van de FGW-herordening onderstreept.

Belangrijkste Bijdragen

1. Lokale Herordening als Buurman-uitlijning: Het paper introduceert een tweestaps-procedure voor herordening op basis van optimaal transport (FGW) die structurele consistentie herstelt tussen nabije kandidaten. Dit resulteert in aanzienlijke verbeteringen in nauwkeurigheid.
2. Stuurbare Attribuutcorrectie: Het toont aan dat query-geconditioneerde conceptrichtingen de lokale zoekruimte kunnen herschikken om gewenste attributen te benadrukken, wat fijnmazige controle mogelijk maakt zonder retraining.
3. Uitgebreide Evaluatie: De methoden worden getest op synthetische en real-world benchmarks (Urban1K, Visual Genome, CLEVR-HOPE, SugarCrepe) met een focus op compositional retrieval en attribuutbinding.

Resultaten

De experimenten tonen significante verbeteringen ten opzichte van de standaard CLIP-baselines:

• Synthetische Vormen (Urban1K): De Recall@1 (R@1) voor CLIP steeg van 42,8% naar 78,4% met lokale Hungarian-reranking.
• Compositional Retrieval (CLEVR-HOPE): Bij complexe queries met meerdere objecten verbeterde FGW-reranking de R@10 van 0,230 naar 0,682. Naive sturing (multi-object steering) presteerde hier juist slechter dan de baseline.
• Visual Genome: De R@1 steeg van 0,091 naar 0,725 met Hungarian-reranking.
• Algemene Trend: FGW-reranking levert consistente winst op in compositional en attribuut-binding scenario's waar punt-voor-punt gelijkenis faalt. Het behoudt object-niveau relaties die verloren gaan bij het samenvoegen van vectoren.
• CAS-noun (Concept Attribution Score): De methode toont aan dat FGW beter is in het vasthouden van de volledige binding tussen object en attribuut, in tegenstelling tot methoden die alleen globale attributen matchen.

Betekenis en Conclusie

Dit paper verschuift het paradigma van retrieval van "globale gelijkenis" naar "lokale geometrische uitlijning". De belangrijkste conclusies zijn:

1. Retrievalfouten zijn vaak lokale rangschikkingsfouten, niet het ontbreken van de juiste kandidaat.
2. De kwaliteit van de lokale buurtstructuur is cruciaal voor de controleerbaarheid en nauwkeurigheid van retrieval.
3. Het is mogelijk om de prestaties van bestaande modellen (zoals CLIP) drastisch te verbeteren tijdens de inferentie (zonder opnieuw te trainen) door gebruik te maken van structurele matching (FGW) en lokale sturing.
4. Voor compositional retrieval is het behoud van object-niveau structuur essentieel; het samenvoegen van object-embeddings tot één vector is schadelijk.

De voorgestelde methoden bieden een robuuste oplossing voor systemen die complexe, context-afhankelijke zoekopdrachten moeten verwerken, zoals in e-commerce, video-retrieval en landbouwtoepassingen.