🤖 AI

The Geometry of Representational Failures in Vision Language Models

Dit artikel onderzoekt de representationele geometrie van Vision-Language Modellen om te onthullen dat de geometrische overlap tussen latente "conceptvectoren" specifieke visuele foutpatronen, zoals hallucinaties en objectverwarring, kwantitatief verklaart, welke betrouwbaar gemanipuleerd kunnen worden door middel van sturende interventies.

Oorspronkelijke auteurs: Daniele Savietto, Declan Campbell, André Panisson, Marco Nurisso, Giovanni Petri, Jonathan D. Cohen, Alan Perotti

Gepubliceerd 2026-06-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniele Savietto, Declan Campbell, André Panisson, Marco Nurisso, Giovanni Petri, Jonathan D. Cohen, Alan Perotti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een speciale bril naar een druk feestje kijkt. Je ziet een rode cirkel, een blauw vierkant en een groene driehoek. Een menselijk brein kan deze drie verschillende objecten gemakkelijk gescheiden in zijn geest houden. Maar voor de Vision-Language Models (VLM's) die in dit paper worden bestudeerd, is het kijken naar datzelfde feestje alsof je probeert drie verschillende gesprekken tegelijkertijd in je hoofd te houden terwijl iemand over je heen schreeuwt. Soms raakt het brein in de war en zegt het tegen je: "Ik zie een rood vierkant!", ook al bestaat dat niet. Het heeft de kleur rood van de cirkel verward met het vierkant.

Dit paper onderzoekt waarom deze AI-modellen deze specifieke "verwarringsfouten" maken, die onderzoekers hallucinaties of illusory conjunctions (schijnverbindingen) noemen.

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het Probleem: De "Overvolle Kamer" van Ideeën

Beschouw het AI-brein als een enorme, hoog-dimensionale kamer waar elk concept (zoals "rood", "blauw", "vierkant", "cirkel") zijn eigen specifieke plek heeft.

De Menselijke Manier: Mensen gebruiken "seriële aandacht". We kijken naar de rode cirkel, slaan deze op in ons geheugen, en kijken dan naar het blauwe vierkant. We verwerken ze één voor één.
De AI-Manier: Deze modellen proberen de hele scène in één gigantische, instantane snapshot te verwerken. Ze moeten al die concepten tegelijkertijd in die enkele kamer passen.

Het paper betoogt dat wanneer er te veel concepten tegelijk in de kamer zijn, hun "plekken" beginnen te overlappen. Als de plek voor "rood" te dicht bij de plek voor "vierkant" ligt, raakt de AI in de war en versmelt het hen tot één geheel. Dit wordt Geometric Interference (geometrische interferentie) genoemd.

2. De Ontdekking: Het Maken van een "Conceptenkaart"

De onderzoekers wilden zien of ze de werkelijke "coördinaten" van deze concepten binnen het AI-brein konden vinden. Ze gebruikten hiervoor twee hoofdinstrumenten:

De "Probe" (Een Detective): Ze probeerden een eenvoudige detector te trainen om "rood" of "blauw" te vinden. Echter, dit was als het zoeken naar een speld in een hooiberg door simpelweg te gokken; de detector vond vaak afkortingen die de werkelijke concepten niet echt vertegenwoordigden.
Het "Centroid" (Het Gemiddelde): In plaats van te gokken, namen ze honderden afbeeldingen van rode dingen, vonden het wiskundige "zwaartepunt" van al deze zaken, en gebruikten dat als de ware definitie van "rood".

Het Resultaat: De "Centroid"-methode werkte veel beter. Het vond de ware, stabiele locatie van "rood" binnen het AI-brein.

3. Het Bewijs: Het "Afstandsbediening" Experiment

Om te bewijzen dat ze de echte "rode knop" hadden gevonden en niet zomaar een neppe, voerden ze een steering (stuur) experiment uit.

De Analogie: Stel je voor dat je een afstandsbediening hebt waarmee je de kleur van een bloem op een foto kunt veranderen.
De Actie: Ze namen een foto van een rode roos. Ze vonden de wiskundige vector (de "knop") voor "rood" en trokken deze af. Daarna drukten ze op de "blauwe" knop.
De Uitkomst: De AI, die oorspronkelijk een rode roos beschreef, begon plotseling een blauwe roos te beschrijven.
Waarom dit ertoe doet: Dit bewees dat de onderzoekers de werkelijke "schakelaar" in het AI-brein hadden gevonden die het concept van kleur regelt. Het was geen toeval; ze hadden de perceptie van de AI voor een moment fysiek herbedraad.

4. De "Vloek van Generalisatie"

Het paper legt uit dat deze verwarring geen bug is, maar een bijeffect van het feit dat de AI te slim is in het generaliseren.

De Analogie: Stel je voor dat je een kind leert dat "rood" van toepassing is op appels, brandweerauto's en aardbeien. Om dit te doen, moet het kind een brede, flexibele categorie voor "rood" creëren.
De Trade-off: Omdat de AI "rood" flexibel genoeg moet maken om veel verschillende tinten en objecten te dekken, wordt het "rood"-concept een beetje "vaag" of "overvol". Wanneer de AI een rode cirkel en een groene vierkant ziet, komen het "rode" deel van de cirkel en het "vierkant"-deel van het vierkant in de geest van de AI zo dicht bij elkaar dat ze per ongeluk samensmelten.
De Conclusie van het Paper: Hoe flexibeler en algemener het begrip van de AI is, hoe groter de kans dat hij in de war raakt wanneer er meerdere dingen tegelijk aanwezig zijn. Dit is de "Curse of Generalization" (de vloek van generalisatie).

5. Het Voorspellen van de Fouten

De onderzoekers ontdekten dat ze precies konden voorspellen wanneer de AI zou falen, enkel door de afstand tussen concepten in hun "conceptenkaart" te meten.

Als het "rood"-concept en het "vierkant"-concept geometrisch dicht bij elkaar liggen, is de AI zeer waarschijnlijk om ze te verwarren.
Als ze ver uit elkaar liggen, doet de AI het goed.
Ze testten dit in een "Visual Search" spel (het vinden van een specifiek item in een menigte). De AI faalde vaker wanneer de "afleidende" items geometrisch vergelijkbaar waren met het doelitem, precies zoals hun kaart voorspelde.

Samenvatting

Dit paper laat zien dat AI-visiemodellen dingen niet alleen "zien"; ze organiseren ze in een geometrische ruimte. Wanneer ze proberen te veel dingen tegelijk te zien, botsen de "vormen" van deze ideeën tegen elkaar aan, wat ervoor zorgt dat de AI hallucineert. Door deze ideeën in kaart te brengen en ze zelfs te "sturen" als een afstandsbediening, bewezen de onderzoekers dat deze fouten worden veroorzaakt door de fundamentele geometrie van hoe de AI informatie opslaat, en niet slechts door willekeurige glitches.

Wat het paper NIET beweert:

Het beweert niet dat dit het probleem voor alle AI oplost.
Het suggereert nog niet om dit te gebruiken voor het oplossen van medische diagnoses of zelfrijdende auto's.
Het zegt niet dat AI "bewust" is of "voelt" zoals mensen; het zegt alleen dat de wiskundige structuur van de fouten vergelijkbaar is met menselijke cognitieve beperkingen.

Technische Samenvatting: De Geometrie van Representatieve Falen in Vision-Language Modellen

1. Probleemstelling

Vision-Language Modellen (VLM's) vertonen systematische fouten in visuele taken met meerdere objecten, waaronder het verkeerd tellen van objecten, het verwarren van attribuut-object-bindingen (bijv. de verkeerde kleur toeschrijven aan een vorm) en het genereren van "illusoire conjuncties". Hoewel deze fouten menselijke cognitieve beperkingen spiegelen, zoals het "Binding Probleem", blijven de interne mechanismen die deze fouten in kunstmatige systemen drijven, slecht begrepen.

Het artikel stelt dat deze fouten niet louter gedragsmatige artefacten zijn, maar voortkomen uit geometrische representatieve interferentie. In de hoogdimensionale latente ruimte die gedeeld wordt door VLM's, kunnen vectoren die verschillende concepten coderen (bijv. "rood" en "vierkant") overlappen of botsen wanneer meerdere objecten gelijktijdig worden verwerkt. In tegen tegenstelling tot biologische visie, die dit mitigeert via seriële aandacht, moeten huidige VLM's alle concepten in één enkele feedforward-pass oplossen, wat leidt tot onvermijdelijke feature-blending wanneer representaties niet voldoende orthogonaal zijn.

2. Methodologie

De auteurs stellen een framework voor om de representatieve geometrie van open-weight VLM's (specifiek Qwen2.5-VL, InternVL2.5 en Gemma 3) te extraheren, te valideren en te analyseren.

A. Extractie van Conceptvectoren

De studie vergelijkt twee primaire methoden voor het distilleren van "conceptvectoren" ( $v_c$ ) die visuele kenmerken (kleuren, vormen en hun conjuncties) coderen:

Probe-gebaseerde Methode: Het trainen van lineaire classificators (attention probes) om de aanwezigheid of afwezigheid van een concept te onderscheiden. De geleerde attention-vector dient als de kandidaat-conceptvector.
Centroid-gebaseerde Methode: Het berekenen van het zwaartepunt (centroid) van token-embeddings van afbeeldingen die een specifiek concept bevatten, en vervolgens dit zwaartepunt te projecteren op de subspace die orthogonaal staat op het globale activatiegemiddelde om concept-specifieke signalen te isoleren.
Structurele Regularisatie (PCA-Probe): Om het potentieel van probes om "discriminatieve shortcuts" te leren aan te pakken, passen de auteurs Principal Component Analysis (PCA) toe op de probe-vectoren. Dit dwingt de vectoren om uit te lijnen met de veronderstelde factoriële structuur van de concepten (bijv. het scheiden van kleur- en vormassen), wat fungeert als een geometrische regularisator.

B. Causale Validatie via Activatie-sturing (Activation Steering)

Om te verifiëren dat geëxtraheerde vectoren causaal actief zijn in plaats van louter correlaties, maken de auteurs gebruik van activatie-sturing.

Mechanisme: Voor een afbeelding die concept $A$ bevat, wordt het component van de activatievector dat is uitgelijnd met $A$ afgetrokken, en wordt een component die is uitgelijnd met concept $B$ geïnjecteerd.
Interventie: $h'_t = h_t - (h_t^\top \hat{v}_A)\hat{v}_A + (h_t^\top \hat{v}_A)\hat{v}_B$ .
Metriek: Succes wordt gemeten door of de output van het model verschuift van het beschrijven van $A$ naar het beschrijven van $B$ (bijv. een rode bloem als blauw waarnemen) zonder ongerelateerde visuele informatie te verstoren.

C. Geometrische Analyse

De auteurs analyseren de cosinus-gelijkenis tussen conceptvectoren om de representatieve manifold in kaart te brengen. Ze onderzoeken:

Compositionele Structuur: Of kleur-vorm conjuncties factoriseren in onafhankelijke kleur- en vormassen.
Semantische Structuur: De geometrie van continue kleurruimtes (100 tinten) om "accordeon-effecten" te identificeren (compressie binnen categorieën en separatie tussen categorieën).
Correlatie met Fouten: Het koppelen van de geometrische overlap (cosinus-gelijkenis) tussen doel- en distractor-vectoren aan de nauwkeurigheid van het model in visuele zoekopdrachten en gelijkenis-schattings-taken.

3. Belangrijkste Resultaten

A. Effectiviteit van Extractiemethoden

Superioriteit van Centroids: Centroid-gebaseerde extractie presteert consequent beter dan naïeve probing in causale sturingstaken. Voor natuurlijke beeldkleur-sturing behaalden centroids een nauwkeurigheid van 84,7%–95,7% over de modellen heen, terwijl naïeve probes vaak faalden (<4% op Qwen/Gemma).
Rol van Regularisatie: PCA-regularisatie verbeterde de prestaties van probes aanzienlijk voor sommige modellen (bijv. InternVL bereikte 92,0%), maar bleef inconsistent over verschillende architecturen.
Compositionele Binding: Voor kleur-vorm conjuncties behaalden centroid-vectoren de hoogste sturingssucces (78,1% voor Qwen, 75,3% voor Gemma), wat suggereert dat het interne bindingsmechanisme additief is en overeenkomt met het rekenkundig gemiddelde van de activaties.

B. Representatieve Geometrie

Compositionele Manifolds: Conceptvectoren voor kleur-vorm paren vormen gestructureerde manifolds waarbij de gelijkenis strikt afhangt van gedeelde kenmerken. Objecten die een kleur of vorm delen, clusteren duidelijk, wat bevestigt dat kleur en vorm langs onafhankelijke assen worden gecodeerd.
Semantische Warping: De continue kleurruimte is geen getrouwe fysieke kaart maar een semantische kaart die wordt vervormd door de discrete token-ruimte van de LLM. Het vertoont "categorische perceptie", waarbij tinten binnen een linguïstische categorie (bijv. "groen") worden gecomprimeerd, terwijl de grenzen tussen categorieën worden uitgebreid.
Het "Mexican Hat"-profiel: Semantische gelijkenisprofielen laten een monotone afname zien voor lokale afstanden, maar een stijging in gelijkenis voor verre tinten (distale interferentie), wat wijst op een eindige representatieve resolutie en de potentie voor niet-lokale interferentie.
Universaliteit: Representational Similarity Analysis (RSA) onthult bijna identieke geometrische structuren over Qwen, InternVL en Gemma ( $r > 0,93$ ), wat suggereert dat deze beperkingen fundamenteel zijn aan het VLM-paradigma en geen architectuur-specifieke artefacten zijn.

C. Correlatie met Gedragsmatige Fouten

Visueel Zoeken: De nauwkeurigheid van het model in visuele zoektaken neemt monotoon af naarmate de cosinus-gelijkenis tussen de doel- en distractor-conceptvectoren toeneemt. Hoge geometrische overlap voorspelt hogere foutpercentages (vals negatieven wanneer het doel aanwezig is; vals positieven/illusoire conjuncties wanneer het afwezig is).
Gelijkenis-oordelen: Het vertrouwen van het model (logit-separatie) in kleur-gelijkenis-taken wordt beter voorspeld door de cosinus-gelijkenis van conceptvectoren dan door de perceptuele HSV-afstand. Dit geeft aan dat de onzekerheid van het model wordt beheerst door representatieve geometrie in plaats van perceptuele afstand.

4. Betekenis en Claims

Het artikel beweert een mechanisch inzicht te bieden in VLM-fouten, waarbij ze worden geframed als de wiskundige prijs van het comprimeren van rijke visuele informatie in herbruikbare, generaliseerbare representaties.

De "Vloek van Generalisatie": De auteurs betogen dat de zeer geometrische structuren die flexibele generalisatie mogelijk maken (bijv. het associëren van "rood" met een continu spectrum van tinten) juist de vatbaarheid voor inter-concept interferentie introduceren. Deze trade-off is bijzonder acuut voor parallelle verwerkingssystemen zoals VLM's, die de seriële aandachtmechanismen van biologische visie missen.
Voorspellende Kracht: De geometrie van conceptvectoren is niet louter beschrijvend maar voorspellend. De cosinus-gelijkenis tussen vectoren correleert sterk met de modelvertrouwen ( $r > 0,77$ ) en nauwkeurigheid ( $|r| > 0,83$ ) bij downstream multi-object taken.
Causale Validiteit: De studie demonstreert dat conceptvectoren afgeleid van synthetische data causaal actief zijn en in staat zijn om de perceptie van het model in natuurlijke afbeeldingen betrouwbaar te manipuleren.
Cognitieve Parallel: De bevindingen trekken een parallel tussen VLM-fouten en menselijke "illusoire conjuncties", wat suggereert dat beide systemen vergelijkbare beperkingen ervaren bij het mappen van continue spectra naar discrete categorieën zonder seriële aandacht.

De auteurs concluderen dat het begrijpen van deze geometrische signaturen een gegronde kwantitatieve basis biedt om model-fouten te voorzien, wat potentieel kan bijdragen aan de ontwikkeling van robuustere systemen en een betere kalibratie van modelvertrouwen in veiligheidskritische toepassingen.