💬 NLP

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

Dit artikel stelt vast dat dual-encoder vision-language modellen falen in compositioneel redeneren vanwege een "Bag-of-Concepts" similarity interface, en stelt een trainingsvrije methode voor genaamd LCSE (Logic-Constrained Score Editing) die de extractie van bewijslast scheidt van de uitvoering van restricties om de logische nauwkeurigheid aanzienlijk te verbeteren terwijl de retrieval-prestaties behouden blijven.

Oorspronkelijke auteurs: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Gepubliceerd 2026-07-28

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sultan Alshehri, Zhantao Yang, Han Zhang, Marios Savvides

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren hoe hij de wereld kan "zien" door hem miljoenen plaatjes te laten zien en deze met woorden te beschrijven. Dit is de wereld van Vision-Language Models (VLM's), een tak van kunstmatige intelligentie waarbij computers leren om afbeeldingen met tekst te koppelen. De meest populaire manier waarop deze robots leren, is door een gedeelde "kaart" op te bouwen waar vergelijkbare plaatjes en vergelijkbare woorden dicht bij elkaar liggen. Wanneer je de robot een vraag stelt, meet hij simpelweg de afstand tussen jouw woorden en de plaatjes om de beste match te vinden. Het is als een groot spelletje "heet en koud", waarbij de robot "heter" wordt (zelfverzekerder) naarmate hij afbeeldingen vindt die lijken op de woorden die jij hebt getypt.

Echter, er is een lastig probleem met dit eenvoudige afstandspelletje. Hoewel de robot erg goed is in het herkennen van individuele dingen — zoals een "hond" of een "bal" — raakt hij vaak in de war wanneer je hem vraagt om die dingen te combineren met logica, zoals "een hond maar geen bal" of "een kat en een vogel". De robot heeft de neiging om de "maar geen" of "en" delen te negeren en kijkt alleen naar de woorden die hij kent. Het is alsof de robot een spelletje "Bag of Words" speelt, waarbij hij alleen telt hoe vaak een woord voorkomt, en de regels van de zin volledig vergeet. Dit paper onderzoekt waarom dit gebeurt en stelt een slimme nieuwe manier voor om de logica van de robot te repareren zonder zijn hele brein opnieuw te hoeven trainen.

Het Probleem: De "Bag of Concepts" van de Robot

De auteurs van dit paper ontdekten dat standaard AI-modellen, die slim genoeg zouden moeten zijn om complexe zinnen te begrijpen, zich eigenlijk gedragen als een zeer letterlijke, lichtelijk verwarde bibliothecaris. Stel je voor dat je deze bibliothecaris vraagt om een boek over "een rode auto zonder bestuurder". In plaats van een auto zonder bestuurder te vinden, overhandigt de bibliothecaris je een boek over een rode auto met een bestuurder, omdat de bibliothecaris zo gefocust is op de woorden "rode" en "auto" dat ze de woorden "zonder" volledig negeren.

In technische termen gebruiken deze modellen een "scalar similarity" score. Zie deze score als een enkel getal dat aangeeft hoe goed een afbeelding overeenkomt met een tekst. Het paper laat zien dat wanneer je vraagt om een combinatie van ideeën (zoals "A en niet B"), het model niet daadwerkelijk de wiskunde van de logica uitvoert. In plaats daarvan middelt het simpelweg het bewijs voor "A" en het bewijs voor "B". Het is als het maken van een smoothie: als je vraagt om "aardbeien maar geen bananen", mengt het model de aardbeien en bananen gewoon samen en geeft het je een mix, omdat het denkt dat de "geen" instructie gewoon een ander ingrediënt is om in te mixen, in plaats van een regel om een ingrediënt te verwijderen.

De onderzoekers testten dit door modellen te vragen afbeeldingen te vinden die aan specifieke logische regels voldoen, zoals "paraplu en geen persoon". Zelfs toen het model duidelijk een persoon in de afbeelding kon zien, rangschikte het die afbeelding nog steeds als een goede match omdat het woord "persoon" in de zoekopdracht stond. Het model was niet aan het falen in het zien van de persoon; het faalde in het gebruiken van de logica van de zin om de persoon eruit te filteren.

Het Onderzoek: Waarom de Logica Faalt

Om te achterhalen waarom dit gebeurt, voerden de auteurs een "operatie" uit op het brein van het model. Ze keken in de tekst die het model leest om te zien of de logische woorden (zoals "niet" of "en") de betekenis van de zin daadwerkelijk veranderden. Ze ontdekten dat de logica wel degelijk aanwezig was, verborgen in de tekst, maar dat het te zwak was om de uiteindelijke score te veranderen.

Stel je voor dat de tekst-embedding (de digitale representatie van de zin) een team is van twee mensen die een zware doos dragen. De ene persoon vertegenwoordigt de "concepten" (de zelfstandige naamwoorden zoals "hond" of "auto"), en de andere persoon vertegenwoordigt de "logica" (de "en" of "niet"). Het paper vond dat de "concept"-persoon een reus is, terwijl de "logica"-persoon een klein kind is. Wanneer zij beiden aan de doos duwen om te beslissen welke afbeelding te kiezen, duwt de reus zo hard dat de duw van het kleine kind volledig wordt genegeerd. Het resultaat? De doos beweegt in de richting van de concepten, en de logica raakt verloren in de chaos.

De auteurs controleerden ook of het simpelweg hertrainen van het model (het leren van nieuwe voorbeelden) het probleem zou oplossen. Ze ontdekten dat zelfs nadat ze het model op duizenden voorbeelden van "geen" en "niet" hadden getraind, het model nog steeds moeite had. Het is als proberen een persoon die van nature linkshandig is te leren perfect met rechts te schrijven door hem simpelweg meer oefening te geven; het onderliggende spiergeheugen (hoe het model scores combineert) is de echte flessenhals, niet het gebrek aan oefening.

De Oplossing: Factored Inference en LCSE

Omdat de interne "logica-spier" van het model te zwak is om het probleem op te lossen, stelden de auteurs een nieuwe strategie voor genaamd Factored Inference. In plaats van het model al het werk in één keer te laten doen, besloten ze de taak op te splitsen in twee aparte stappen:

Evidence Extraction (Bewijsextractie): Vraag eerst aan het bevroren (onveranderde) model om simpelweg de individuele concepten te identificeren. "Is er een hond? Ja, 90% zeker. Is er een kat? Ja, 80% zeker."
Constraint Execution (Beperkingsuitvoering): Neem vervolgens die getallen en doe de logische wiskunde buiten het model. Als de gebruiker "hond maar geen kat" zei, neemt het systeem de "hond"-score en trekt de "kat"-score ervan af (of draait de kat-score om om "geen kat" te representeren) en combineert deze met strikte logische regels.

Om dit werkend te krijgen zonder het vermogen van het model om normale zinnen te verwerken te breken, introduceerden ze een methode genaamd LCSE (Logic-Constrained Score Editing). Zie LCSE als een slimme editor. De editor luistert naar het oorspronkelijke antwoord van het model, maar als de zin een logische regel bevat (zoals "geen" of "en"), grijpt de editor in en past de uiteindelijke score net genoeg aan om de logica te laten kloppen. Als de zin eenvoudig is, laat de editor de score ongewijzigd. Op deze manier behoudt het model zijn oorspronkelijke "persoonlijkheid" en zoekvaardigheden, maar gehoorzaamt het eindelijk aan de regels van de logica.

De Resultaten: Een Grote Sprong in Logica

De resultaten van deze nieuwe methode waren indrukwekkend. De auteurs testten hun systeem op een nieuwe benchmark die ze zelf hebben gebouwd genaamd FACTOR-Bench, die specifief is ontworpen om te testen of een model logica begrijpt.

De Oude Manier: De beste bestaande modellen (zelfs diegenen die speciaal getraind waren om negatie te begrijpen) hadden ongeveer 73,2% van de logische vragen goed.
De Nieuwe Manier (LCSE): De methode van de auteurs, waarbij gebruik wordt gemaakt van dezelfde onderliggende modellen maar met hun nieuwe "editor", sprong naar een nauwkeurigheid van 85,5%.
Nog Beter: Toen ze deze methode toepasten op een nieuwer, sterker model genaamd SigLIP 2, schoot de nauwkeurigheid omhoog naar 90,7%.

Ze testten het ook op een andere uitdaging genaamd NegBench, die zich richt op "geen" en "niet" vragen. Het standaardmodel kreeg er slechts 27,2% goed, maar met LCSE verbeterde dit naar 65,2%. Cruciaal is dat deze enorme verbetering in logica de capaciteit van het model om normale zoekopdrachten uit te voeren niet schaadde; het behield dezelfde hoge prestaties voor standaard beeldextractie.

Waarom Dit Er Toe Doet

Dit paper suggereert dat het probleem niet is dat AI-modellen niet goed genoeg kunnen "zien" of "lezen"; het is dat de manier waarop ze informatie combineren fundamenteel gebrekkig is voor complexe taken. Door het proces van "zien" (het vinden van de concepten) te scheiden van het "denken" (het toepassen van de logische regels), kunnen we deze modellen veel slimmer maken zonder ze vanaf nul opnieuw te hoeven bouwen. Het is een herinnering dat de beste manier om een slimme robot te repareren soms niet is om hem meer feiten te leren, maar om hem een betere rekenmachine te geven voor de feiten die hij al weet.

Technische Samenvatting: Gelijkenis is geen Logica: Gefactureerde Inferentie voor Dual-Encoder Visie-Taal Modellen

1. Probleemstelling

Dual-encoder Visie-Taal Modellen (VLM's), zoals CLIP en SigLIP, mappen afbeeldingen en tekst naar een gedeelde embedding-ruimte met behulp van een scalaire gelijkenis-interface (typisch cosinus-gelijkenis of dot-product). Deze interface voldoet echter niet aan compositionele beperkingen die betrokken zijn bij logische operatoren (negatie, conjunctie, disjunctie).

Het kernprobleid is een "Bag-of-Concepts"-effect op het niveau van de interface. Wanneer een query logische operatoren bevat (bijv. "paraplu en geen persoon"), benadert de scalaire gelijkenis-score een gemiddelde pooling van bewijs voor individuele concepten in plaats van de logische operator uit te voeren. Gevolgelijk:

Negatie faalt: Queries zoals "geen persoon" halen vaak afbeeldingen op die een persoon bevatten, omdat de gelijkenis-score de aanwezigheid van concepten volgt in plaats van de afwezigheid ervan.
Conjunctie is instabiel: Queries zoals "A en B" halen vaak afbeeldingen op die slechts A of slechts B bevatten.
Exclusie faalt: Queries die bedoeld zijn om concepten uit te sluiten (bijv. "noch A noch B") halen systematisch afbeeldingen op die die concepten bevatten.

De auteurs herleiden dit falen niet tot een gebrek aan operator-afhankelijke informatie in de tekst-embeddings (die wel aanwezig is, maar zwak is), maar tot het uitvoeringsmechanisme: de dot-product scoring aggregeert bewijs op een manier die de semantiek van operatoren onderdrukt, waarbij het zich gedraagt als een zachte mean-pooling operatie, ongeacht de logische structuur.

2. Methodologie: Gefactureerde Inferentie en LCSE

Het artikel stelt Gefactureerde Inferentie voor, een paradigma dat bewijsextractie scheidt van beperkingsuitvoering. In plaats van te vertrouwen op de holistische gelijkenis van een samengestelde query, extraheert de methode atomaire bewijslast voor elk concept en voert logische operatoren extern uit.

2.1. Logic-Constrained Score Editing (LCSE)

De primaire bijdrage is LCSE, een training-vrije methode die de gelijkenis-score van een bevroren VLM aanpast om logische beperkingen af te dwingen terwijl de standaard retrieval-prestaties behouden blijven. Het proces omvat vier stappen:

Parsing: Een query wordt geparst in visuele concepten ( $c_i$ ), hun polariteiten (aanwezig/afwezig, $n_i$ ), en de logische operator ( $o$ ).
Bewijsextractie: De bevroren VLM codeert de afbeelding en elk atomaire concept-frase onafhankelijk om aanwezigheidsscores ( $p_i$ ) te genereren. Deze scores worden gekalibreerd van ruwe gelijkenis naar waarschijnlijkheden met behulp van een sigmoid-functie.
Beperkingsuitvoering:
- Polariteitsaanpassing: Voor genegeerde concepten wordt de score geïnverteerd ( $1 - p_i$ ).
- Aggregatie: De aangepaste scores worden geaggregeerd met behulp van een machtsmiddeltje ( $M_\gamma$ $M_{γ}$ ).
  - Conjunctie ( $A \land B$ ) gebruikt $\gamma < 0$ (benaderend min).
  - Disjunctie ( $A \lor B$ ) gebruikt $\gamma \gg 1$ (benaderend max).
  - Dit vervangt de impliciete mean-pooling van de holistische score door waarheidsfunctionele aggregatie.
Score Editing (De "LCSE"-stap): Om het verlies van holistische informatie (scènecontext, stijl, ruimtelijke lay-out) te voorkomen die niet door atomaire concept-scores wordt gevangen, past de methode een lichtgewicht correctie toe op de oorspronkelijke holistische score ( $s_{hol}$ ):
$s_{LCSE} = s_{hol} + \frac{1}{\beta} \left( \text{logit}(p_{logic}) - \text{logit}(p_{soft}) \right)$
Waarbij $p_{logic}$ de geaggregeerde beperkingsscore is, en $p_{soft}$ de eenvoudige gemiddelde van concept-scores is. Deze term past de holistische score alleen aan wanneer de logische operator een niet-gemiddelde aggregatie vereist (bijv. strikte conjunctie of negatie). Als er geen operatoren aanwezig zijn, verdwijnt de correctie en valt de methode terug op standaard holistische retrieval.

3. Belangrijkste Bijdragen

Mechanistische Analyse van Beperkingsfalen: De auteurs bieden een "span-residual decompositie" van tekst-embeddings, waarmee zij aantonen dat hoewel operator-afhankelijke signalen in de residu-component bestaan, deze te zwak of te slecht uitgelijnd zijn om de rangschikking onder standaard dot-product scoring te beïnvloeden. De span-component (gedomineerd door concept-bewijs) benadert mean-pooling, wat het falen veroorzaakt.
Training-vrije Interface (LCSE): Een methode om Booleaanse beperkingen expliciet uit te voeren over atomaire bewijslast zonder de encoders opnieuw te trainen. Het behoudt de standaard retrieval-prestaties waar geen beperkingen van toepassing zijn.
FACTOR-Bench: Een nieuwe benchmark ontworpen om de Booleaanse operator-semantiek te testen met operator-contrastieve caption-paren (dezelfde concepten, verschillende operatoren) met gevalideerde grondwaarheid van concept-aanwezigheid/afwezigheid.
Empirische Validatie: Uitgebreide evaluatie die aantoont dat LCSE de best getrainde baselines aanzienlijk overtreft op logische beperkingen, terwijl de zero-shot retrieval-prestaties behouden blijven.

4. Experimentele Resultaten

De auteurs evalueerden LCSE op FACTOR-Bench, NegBench, en standaard retrieval-retentie-taken met CLIP en SigLIP 2 backbones.

FACTOR-Bench Accuratesse:
- LCSE (CLIP): Bereikte 85,5% accuratesse, wat aanzienlijk beter is dan de beste fine-tuned baseline (NegationCLIP met 73,2%).
- LCSE (SigLIP 2): Bereikte 90,7% accuratesse, wat aantoont dat betere atomaire bewijslast vertaalt naar betere beperkingsuitvoering.
- Negatie-afhandeling: Op NegBench MCQ verbeterde LCSE de accuratesse van 56,2% (NegCLIP-NegFull) naar 60,3% voor CLIP, en van 27,2 naar 65,2% voor SigLIP 2.
Retrieval Retentie: In tegenstelling tot fine-tuned modellen die vaak de standaard retrieval verslechteren (Rank Correlatie $\rho \approx 0,63\text{--}0,85$ ), behoudt LCSE de standaard retrieval-prestaties bijna perfect ( $\rho = 0,999$ voor CLIP, R@5 onveranderd).
Gestratificeerde Analyse: De prestatiewinst van LCSE schaalt met de kwaliteit van de atomaire bewijslast. Wanneer conceptdetectie betrouwbaar is (AUC > 0,90), bereikt LCSE 90,4% accuratesse, terwijl holistische scoring slechts 57,8% bereikt.
Ablatie: De methode werkt over verschillende backbones en aggregatiestrategieën heen. Het "Score Editing"-component is cruciaal; het verwijderen ervan (door enkel gefactureerde scoring te gebruiken) verslechtert de retrieval op natuurlijke taal queries die geen expliciete operatoren bevatten.

5. Betekenis en Claims

Het artikel beweert dat het falen van VLM's om compositionele logica te hanteren primair een interface-niveau bottleneck is (hoe scores bewijs aggregeren) in plaats van een representatie-niveau falen (wat encoders representeren).

Bescheiden Omvang: De auteurs geven expliciet aan dat hun analyse en methode zijn gevalideerd op Booleaanse operatoren over visuele concepten (één tot twee concepten, met enige extensie naar 3-4 concepten). Zij beweren niet alle compositionele redenering op te lossen (bijv. attribuut-binding, relaties, tellen), maar suggereren dat het principe van gefactureerde inferentie kan worden uitgebreid als betrouwbare atomaire bewijslast beschikbaar is.
Praktische Impact: De methode biedt een training-vrije oplossing die kan worden toegepast op bestaande bevroren VLM's om gestructureerde queries en filtering mogelijk te maken zonder de instabiliteit of de datavereisten van fine-tuning.
Beperkingen: De aanpak is afhankelijk van het vermogen om de Booleaanse structuur te parsen (behandeld door een LLM parser met hoge accuratesse) en de kwaliteit van de onderliggende atomaire concept-detectie van de encoder. Als de encoder een concept niet betrouwbaar kan detecteren, kan externe uitvoering de correctheid niet herstellen.

Samenvattend betogen zij dat "Gelijkenis geen Logica is" en stellen zij Gefactureerde Inferentie voor als een mechanisme om bewijsextractie te ontkoppelen van de logische beperkingsuitvoering, waarbij een hoge accuratesse op logische taken wordt bereikt terwijl de robuuste zero-shot retrieval-capaciteiten van standaard VLM's behouden blijven.