When Negation Is a Geometry Problem in Vision-Language Models

Probleemstelling

Vision-Language Models (VLMs), zoals CLIP (Contrastive Language–Image Pretraining), hebben moeite met het begrijpen van ontkenningen (negatie) in tekstuele zoekopdrachten. Hoewel deze modellen uitstekend presteren bij het matchen van positieve beschrijvingen (bijv. "een blauw shirt"), falen ze vaak bij negatieve queries (bijv. "een blauw shirt zonder logo's"). Ze halen dan vaak afbeeldingen op die het logo wel bevatten, omdat ze de tekst vaak behandelen als een "bag-of-words" (een verzameling woorden) in plaats van de syntactische structuur en relaties te begrijpen.

Bestaande oplossingen zijn voornamelijk data-centric: ze genereren synthetische datasets met ontkenningen om CLIP opnieuw te trainen (fine-tuning). Het paper identificeert echter twee fundamentele tekortkomingen in deze aanpak:

1. Valse Negatie (False Negatives): Bij het automatisch genereren van synthetische data worden vaak afbeeldingen gegenereerd die wel voldoen aan de query, maar niet als "ground truth" worden gelabeld omdat de pipeline maar één positief voorbeeld per query accepteert. Dit leidt tot onbetrouwbare evaluaties.
2. Modelinstorting (Collapse): Sommige fine-tuned modellen (zoals ConCLIP) storten volledig in bij het hanteren van ontkenningen en halen afbeeldingen op die totaal irrelevant zijn voor de query.

Methodologie

Het paper introduceert een nieuwe aanpak die bestaat uit drie hoofdblokken:

1. Evaluatie met MLLM-as-a-Judge

In plaats van te vertrouwen op traditionele retrieval-metrics (zoals Recall@K) die gevoelig zijn voor valse negatie, stellen de auteurs een evaluatieframework voor waarbij een Multimodal Large Language Model (MLLM) fungeert als rechter ("judge").

• Protocol: Voor elke opgehaalde afbeelding stelt het MLLM twee vragen:
  1. Semantische correctheid: Is de afbeelding contextueel en semantisch correct voor de query (bijv. "Is er een hond in de afbeelding?").
  2. Negatie-correctheid: Is het ontkende object afwezig (bijv. "Rijdt de hond niet?").
• Alleen als beide vragen correct worden beantwoord, wordt de retrieval als succesvol beschouwd. Dit maakt het mogelijk om te evalueren op willekeurige databases van elke grootte zonder opnieuw te hoeven annoteren.

2. Detectie van een "Negatie-vector"

De auteurs onderzoeken de hypothese dat er al een specifieke richting in de CLIP-embeddingruimte bestaat die geassocieerd is met ontkenning.

• Ze nemen 4.000 captions uit de COCO-dataset en genereren met een LLM de negatieve varianten.
• Ze trainen een lineaire binaire classifier op de hidden states (residuele stream) van de CLIP tekst-encoder om te onderscheiden tussen positieve en negatieve captions.
• Resultaat: De classifier bereikt een nauwkeurigheid van >99% in de middelste lagen van de encoder, wat bewijst dat negatie-informatie lineair scheidbaar is in de embeddingruimte.

3. Representation Steering (Sturen zonder Fine-tuning)

Op basis van de gevonden richting (de "negatie-vector") passen de auteurs een test-time interventie toe.

• Ze berekenen een eenheidsvector ($W_{dir}$) die wijst naar de richting van ontkenning.
• Tijdens de inferentie worden de tekst-embeddings ($h_l$) "gestuurd" in deze richting met een hyperparameter $\alpha$:
  $$h_l = (1 - \alpha)h_l + \alpha W_{dir} ||h_l||$$
• Dit proces vereist geen fine-tuning van het CLIP-model en geen extra trainingdata voor het model zelf, maar slechts een kleine dataset (4K samples) om de classifier te trainen.

Belangrijkste Resultaten

De resultaten worden getest op twee benchmarks: NegBench (standaard synthetische dataset) en N-COCO (een nieuwe dataset met ongebruikelijke objectcombinaties om generalisatie te testen).

1. Superieure Prestaties op NegBench:

   • De "Steering"-methode (zonder fine-tuning) presteert beter dan alle bestaande fine-tuned baselines (ConCLIP, NegCLIP, CLIP-CC12M) wanneer geëvalueerd met de MLLM-as-a-judge.
   • Op de Top-1-metriek voor "Retrieval and Negation" bereikt de steering-methode 54,3% (met Qwen3-VL-32B), vergeleken met 53,1% voor de beste fine-tuned baseline (CLIP-CC12M).
   • Dit bewijst dat het manipuleren van de bestaande geometrie effectiever is dan het opnieuw trainen op synthetische data.

2. Superieure Generalisatie op N-COCO:

   • Op de N-COCO dataset (met ongebruikelijke scènes, bijv. "een boek niet van papier") tonen fine-tuned modellen een sterke prestatiedaling (R@1 daalt van 0,60 naar 0,50), wat wijst op overfitting op specifieke patronen in de trainingsdata.
   • De Steering-methode behoudt zijn robuustheid en bereikt zelfs een R@1 van 0,80.
   • Dit suggereert dat fine-tuning de onderliggende geometrie van het model kan verstoren, terwijl representation steering de bestaande kennis benut zonder de generalisatiecapaciteit te schaden.

3. Kwalitatieve Verbetering:

   • Visuele voorbeelden tonen aan dat CLIP en fine-tuned modellen vaak afbeeldingen ophalen die de ontkenning negeren (bijv. een koelkast vinden bij "keuken zonder koelkast"), terwijl de steering-methode consequent correcte resultaten levert.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

• Kritische Evaluatie: Het blootleggen van de beperkingen van bestaande retrieval-metrics voor negatie en het introduceren van een robuust MLLM-as-a-judge framework.
• Geometrisch Inzicht: Het bewijzen dat negatie-informatie al lineair scheidbaar aanwezig is in de embeddingruimte van CLIP, zonder dat extra training nodig is om deze "te leren".
• Efficiënte Interventie: Het demonstreren dat representation steering een krachtige, lichtgewicht alternatief is voor grootschalige fine-tuning. Het lost het probleem op zonder de modelgewichten te wijzigen of enorme synthetische datasets te vereisen.

Conclusie:
Het paper concludeert dat het probleem van negatie in VLMs meer een geometrisch probleem is dan een dataprobleem. Door de bestaande structuur van het model te manipuleren tijdens de inferentie, kan men negatiebewust gedrag bereiken dat robuuster is en beter generaliseert dan modellen die zwaar zijn getraind op synthetische data. Dit opent de deur voor efficiëntere, "zero-shot" verbeteringen van multimodale modellen.