CLAY: Conditional Visual Similarity Modulation in Vision-Language Embedding Space

Dit paper introduceert CLAY, een methode die de inbeddingsruimte van vooraf getrainde visueel-taalmodellen omvormt tot een tekst-geconditioneerde ruimte voor adaptieve visuele zoekopdrachten zonder extra training, waardoor meerdere voorwaarden gelijktijdig kunnen worden verwerkt met vaste visuele inbeddingen.

De kern

Stel je voor dat je een enorme, chaotische bibliotheek hebt met miljoenen foto's. Je wilt een foto vinden, maar je hebt een heel specifiek idee in je hoofd.

Stel, je zoekt een foto van een hond.

• Soms wil je gewoon elke hond zien.
• Soms wil je alleen honden die rennen.
• Soms wil je alleen zwarte honden.
• En soms wil je zelfs alleen honden die rennen en zwart zijn.

Huidige computersystemen zijn vaak als een stijve bibliothecaris die alleen kijkt naar het "hoofdonderwerp" van de foto. Als je vraagt om "rennende honden", ziet de computer misschien een hond die staat, omdat hij op de vorm van het dier lijkt, maar hij negeert dat de hond niet beweegt. De computer denkt: "Oh, het is een hond, dat is goed genoeg."

CLAY is de nieuwe, slimme bibliothecaris die eindelijk begrijpt wat jij echt bedoelt.

Hier is hoe het werkt, in simpele taal:

1. De "Magische Brillen" (De Visuele Ruimte)

Stel je voor dat alle foto's in de bibliotheek al zijn ingedeeld op een grote, driedimensionale vloer. Dit is de "visuele ruimte" van de computer. Normaal gesproken liggen foto's van honden dicht bij elkaar, en foto's van auto's ver weg.

Maar CLAY heeft een speciale bril (een wiskundige truc) die hij op de vloer kan zetten.

• Zet je de bril op "Actie"? Dan verandert de vloer. Alle foto's van rennende honden schuiven dicht bij elkaar, en de honden die staan, glijden weg.
• Zet je de bril op "Kleur"? Dan schuiven alle zwarte honden naar de ene kant en witte honden naar de andere.

Het geheim van CLAY is dat hij deze vloer niet opnieuw hoeft te bouwen elke keer dat je iets anders vraagt. Hij past gewoon de "bril" aan.

2. Waarom is dit zo slim? (De "Geen Nieuwe Bouw" Regel)

Eerdere methoden waren als een timmerman die elke keer dat je een andere vraag had, de hele bibliotheek moest slopen en opnieuw moest bouwen. Dat duurde eeuwen en kostte veel geld.

CLAY is als een chameleontische bril.

• De foto's blijven waar ze zijn (ze hoeven niet opnieuw berekend te worden).
• Jij zegt: "Ik wil nu focussen op kleur."
• CLAY past direct zijn berekening aan, alsof hij een andere lens op zijn camera zet. Het resultaat is dat hij direct de juiste foto's vindt, zonder dat hij uren hoeft te rekenen.

3. De "Taal-Bril" (Hij begrijpt wat je zegt)

CLAY gebruikt een slimme taalcomputer (een zogenaamd Vision-Language Model, zoals CLIP). Als je zegt "Ik wil foto's van honden in de sneeuw", vertaalt CLAY dat woord "sneeuw" naar een wiskundig concept. Hij gebruikt dit concept om de "vloer" van de foto's te buigen, zodat foto's met sneeuw dichter bij jouw vraag komen te liggen.

4. De Nieuwe Bibliotheek (CLAY-EVAL)

Omdat er geen goede testbibliotheek was om te zien of dit systeem echt werkt voor al deze specifieke wensen, hebben de makers van CLAY hun eigen testbibliotheek gemaakt: CLAY-EVAL.
Ze hebben duizenden foto's gegenereerd van mensen en objecten met heel specifieke labels (bijvoorbeeld: "een oude man die loopt in de stad" of "een rode stoel in een bos"). Hiermee hebben ze getest of hun systeem echt slim is. En ja, het werkt! Het vindt precies wat je zoekt, of je nu zoekt op kleur, actie, locatie of soort.

Samenvattend

CLAY is een nieuwe manier om foto's te zoeken die zich aanpast aan wat jij op dat moment belangrijk vindt.

• Vroeger: De computer keek alleen naar het object (een hond).
• Nu met CLAY: De computer kijkt naar het object én wat je erbij wilt (een rennende, zwarte hond in de sneeuw).

Het is alsof je een magische zoekmachine hebt die niet alleen luistert naar wat je zoekt, maar ook naar hoe je het zoekt, en dat allemaal doet zonder dat het lang duurt of veel energie kost.

Technische samenvatting

Titel

CLAY: Conditionele Visuele Similariteitsmodulatie in de Inbeddingsruimte van Vision-Language Modellen

1. Het Probleem

Bestaande beeldretrievalsystemen (zoals zoekmachines voor afbeeldingen) vertrouwen doorgaans op een vaste, monolithische maatstaf voor visuele gelijkenis. Dit staat in schril contrast met de menselijke waarneming, waarbij gelijkenis adaptief en subjectief is en afhangt van de specifieke interesse of focus van de gebruiker.

• Beperkingen van huidige methoden:
  • Statische definities: Ze kunnen niet flexibel inspelen op verschillende contexten (bijv. "zoek een auto" vs. "zoek een auto van dezelfde kleur").
  • Trainingsafhankelijkheid: Bestaande methoden voor conditionele retrieval (zoals GeneCIS) vereisen vaak training op specifieke datasets met gepaarde query-doelbeelden. Dit beperkt ze tot gesloten sets van voorwaarden en vereist zware rekencapaciteit.
  • Inefficiëntie: Bij het veranderen van de gebruikerseis (bijv. van "soort" naar "locatie") moeten bij veel methoden de inbeddingen (embeddings) van de gehele database opnieuw worden berekend, wat onpraktisch is voor grote schalen.

2. Methodologie: CLAY

CLAY (Conditional Visual Similarity Modulation) is een trainingsvrije (training-free) methode die de bestaande inbeddingsruimte van voorgetrainde Vision-Language Modellen (VLMs), zoals CLIP of SigLIP, aanpast zonder de database-features opnieuw te hoeven coderen.

Kernprincipes:

1. Decoupling van Conditionering en Feature Extractie:

   • In tegenstelling tot methoden die een modulator gebruiken om zowel query als database te verwerken (symmetrisch) of alleen de query (asymmetrisch), houdt CLAY de visuele features van de database vast.
   • De conditionering gebeurt puur door de similariteitsruimte te moduleren op basis van de tekstuele voorwaarde.

2. Manifold-bewuste Tekstuele Subruimte:

   • VLM-inbeddingen liggen op een hypersferische variëteit (unit hypersphere), niet in een Euclidische ruimte. CLAY erkent deze geometrie.
   • Stap 1: Generatie van Tekst-Prompts: Voor een gegeven voorwaarde (bijv. "soort") genereert een LLM (Large Language Model) honderden gerelateerde tekstprompts (bijv. "een foto van een hond", "een foto van een kat").
   • Stap 2: Projectie naar Raakvlakruimte (Tangent Space): De tekst-inbeddingen worden via een logaritmische afbeelding (logarithm map) van de hypersfeer naar een raakvlakruimte (tangent space) geprojecteerd rond het gemiddelde van de tekstfeatures. Dit corrigeert voor de kromming van de ruimte.
   • Stap 3: SVD en Projectiematrix: Er wordt een Singular Value Decomposition (SVD) uitgevoerd op deze getransformeerde tekstfeatures om een projectiematrix ($P_c$) te construeren die de relevante subruimte voor die specifieke voorwaarde definieert.

3. Inferentie en Similariteitsberekening:

   • Tijdens het zoeken worden de visuele features van de query en de database eerst geroteerd (via Householder-transformaties) zodat het gemiddelde van de visuele features uitlijnt met het gemiddelde van de tekstfeatures. Dit lost het "conische effect" op en zorgt voor een consistente referentiepunt.
   • De visuele features worden vervolgens geprojecteerd op de tekstuele subruimte met de vooraf berekende matrix $P_c$.
   • De similariteit wordt berekend als de cosinus-similariteit tussen deze geprojecteerde features.

Voordeel: Omdat de database-features niet opnieuw hoeven te worden gegenereerd, is de methode extreem efficiënt bij het wisselen van voorwaarden.

3. Belangrijkste Bijdragen

1. Efficiënte, Trainingsvrije Methode: CLAY biedt state-of-the-art prestaties voor conditionele retrieval zonder extra training of het opnieuw coderen van database-features.
2. Multi-Conditionele Retrieval: De methode ondersteunt naadloos zoekopdrachten met meerdere voorwaarden tegelijkertijd (bijv. "kleur" én "actie"), iets wat eerdere methoden vaak niet konden.
3. Nieuwe Evaluatiedataset (CLAY-EVAL): De auteurs hebben een synthetische dataset ontwikkeld met duizenden afbeeldingen van objecten en mensen, geannoteerd met diverse conceptuele voorwaarden (kleur, actie, locatie, leeftijd, etc.). Dit lost het gebrek aan standaard benchmarks voor multi-conditionele retrieval op.
4. Theoretische Onderbouwing: De methode integreert de niet-Euclidische geometrie van VLM-inbeddingen (hypersferische variëteit) in het similariteitsmodel, wat theoretisch sterker is dan lineaire benaderingen.

4. Resultaten

De auteurs hebben CLAY getest op zowel bestaande real-world datasets (Stanford40, OxfordPets, Food-101, etc.) als op hun eigen synthetische dataset CLAY-EVAL.

• Prestaties: CLAY overtreft consistent bestaande methoden (zoals GeneCIS, FocalLens, InstructBLIP) in termen van Mean Average Precision (mAP).
  • Bijvoorbeeld op de Stanford40 dataset (actie-conditionering) behaalde CLAY (met SigLIP-B) een mAP van 66.2, vergeleken met 54.8 voor de basale SigLIP en 50.0 voor GeneCIS.
  • Op synthetische datasets (CLAY-Object/Human) werden nog grotere verbeteringen gezien, met mAP-scores die vaak boven de 80% liggen voor specifieke attributen.
• Efficiëntie: CLAY behoudt de snelheid van asymmetrische methoden (waarbij database-features niet worden herschreven) maar bereikt de prestaties van symmetrische methoden. De inferentietijd voor een tweede voorwaarde is verwaarloosbaar klein (bijv. 0.09s vs 1.7s voor methoden die database-features moeten herschrijven).
• Kwalitatieve Resultaten: Visualisaties (t-SNE) tonen aan dat CLAY de representatieruimte adaptief herschikt om voorwaarden beter te scheiden, waardoor de retrieval nauwkeuriger wordt.

5. Betekenis en Impact

CLAY markeert een belangrijke stap in de evolutie van beeldretrievalsystemen:

• Van Statisch naar Adaptief: Het verschuift het paradigma van statische zoekopdrachten naar dynamische, intentie-gedreven zoekopdrachten die beter aansluiten bij hoe mensen denken.
• Schaalbaarheid: Door het elimineren van de noodzaak om database-features opnieuw te berekenen bij elke wijziging in de zoekopdracht, maakt CLAY conditionele retrieval haalbaar voor zeer grote databases in real-world toepassingen.
• Toekomstige Richtingen: De methode opent de deur voor toepassingen buiten retrieval, zoals het verbeteren van multimodale generatieve modellen door gerichte similariteitsmodulatie.

Kortom, CLAY lost het fundamentele compromis op tussen nauwkeurigheid (door rekening te houden met context) en efficiëntie (door geen hertraining of hercodering te vereisen), waardoor het een praktische oplossing biedt voor de volgende generatie slimme zoeksystemen.