Where To Look? : Causal Tracing of Vision Encoders in VLM

Het Dilemma van de Detective: Hoe Zien AI-Ogen Eigenlijk?

Stel je voor dat je een robot probeert te leren de wereld te begrijpen. Je geeft het een camera en een brein, en je vraagt het om een foto van een hond te beschrijven. Jarenlang zijn wetenschappers verbaasd dat deze "Vision-Language Models" (VLM's) dit met ongelooflijke nauwkeurigheid kunnen doen. Maar een hardnekkige vraag blijft bestaan: Hoe doen ze dat eigenlijk? "Zien" ze de hond echt op de manier waarop wij dat doen, of raden ze het gewoon op basis van kleine, verborgen aanwijzingen?

Om dit te beantwoorden, gebruiken onderzoekers een techniek genaamd causale tracing (causaal sporen). Denk hierbij aan het "wat als"-scenario van een detective. Als je een specifiek stukje informatie uit het brein van de robot haalt en vervangt door een ander stukje, verandert het antwoord dan? Als het antwoord drastisch verandert, was dat stukje informatie "causaal belangrijk". Meestal gaan we ervan uit dat als een robot over een hond praat, het belangrijkste deel van zijn brein rechtstreeks naar de hond moet kijken. Maar wat als de robot eigenlijk naar het gras, de lucht of de schaduwen kijkt, en simpelweg gokt dat de hond daar is? Dit paper duikt in dat mysterie en vraagt zich af of de delen van de AI die het meest van belang zijn, daadwerkelijk naar de juiste plek kijken.

---

Waar Moet Je Kijken? De Grote AI-Misleiding

In dit onderzoek besloten de onderzoekers van de LINGO Research Group een spelletje "verschil zoeken" te spelen met enkele van de slimste AI-modellen ter wereld. Ze wilden weten: Wanneer een AI een vraag over een afbeelding beantwoordt, kijkt het deel van zijn brein dat het zware werk doet dan daadwerkelijk naar het object in kwestie?

Om dit te ontdekken, gebruikten ze een slimme truc genaamd activation patching (activatie patching). Stel je voor dat het brein van de AI een enorme fabriek is met duizenden arbeiders (genaamd "tokens") die briefjes doorgeven op een lopende band.

1. De Schone Run: Ze laten de AI een heldere foto zien en een vraag, zoals: "Waar is de dame met het blauwe shirt?" De AI geeft een score voor hoe goed hij de afbeelding begrijpt.
2. De Gecorrumpeerde Run: Ze nemen dezelfde foto en voegen een hoop statische ruis toe (zoals het beeld van een tv met een sneeuwkanaal) zodat de AI in de war raakt en de score daalt.
3. De Gepatchte Run: Dit is de magische stap. Ze nemen de "verwarde" ruisige foto, maar ze sluipen één schoon briefje van de originele foto de fabriekslijn in. Als de AI plotseling de antwoorden weer weet en de score omhoog gaat, was dat specifieke briefje de "helden"-token.

De onderzoekers vroegen zichzelf vervolgens een simpele vraag: Kwam die helden-token uit het deel van de afbeelding dat de dame in het blauwe shirt laat zien? Om dit te meten, gebruikten ze een wiskundig hulpmiddel genaamd IoU (Intersection over Union), wat gewoon een chique manier is om te vragen: "In hoende mate overlapt dit briefje met de werkelijke dame?"

De Schokkende Ontdekking: De AI Kijkt Overal Behalve Naar de Juiste Plek

De resultaten waren een beetje alsof je ontdekt dat je beste vriend een wiskundeprobleem oplost door naar het plafond te staren in plaats van naar de cijfers.

Het team testte alles, van het klassieke CLIP-model tot enorme, moderne reuzen zoals DeepSeek-VL, Qwen-2.5 en LLaVA. Ze verwachtten te vinden dat de meest "causale" tokens (de helden) geclusterd zouden zijn precies bovenop het doelobject. In plaats daarvan vonden ze een zwakke, bijna niet-bestaande connectie.

• De Cijfers Liegen Niet: In het CLIP-model was de correlatie tussen "belangrijk zijn" en "in de juiste plek zijn" slechts 0,062. Dat is praktisch nul.
• Het Patroon Houdt Stand: Zelfs in de grotere, intelligentere modellen bleven de cijfers laag. Voor DeepSeek-VL was de correlatie 0,0531 ± 0,0334 met het ene type ruis en 0,0520 ± 0,0041 met het andere. Voor Qwen-2.5 was het 0,0912 ± 0,0422.
• De "Zero Overlap" Verrassing: In één specifiek voorbeeld had een token met een enorme invloed op het antwoord (een causale score van 0,718) bijna geen overlap met het doelobject (een IoU van slechts 0,049). Het was alsof de AI het puzzelstukje oploste door naar de achtergrond te kijken, en niet naar het onderwerp zelf.

De auteurs suggereren dat deze modellen ongelooflijk goed zijn in het gebruiken van visuele informatie, maar dat ze niet noodzakelijkerwijs geaard (grounded) zijn in de specifieke locatie van die informatie. Ze vertrouwen mogelijk op een "gedistribueerd" web van aanwijzingen — zoals de kleur van de lucht, de textuur van de vloer of de algemene sfeer van de scène — in plaats van in te zoomen op het specifieke object.

Betekent Groter Beter?

Je zou kunnen denken: "Nou, misschien waren de oudere, kleinere modellen gewoon slecht in dit, en hebben de nieuwe super-AI's het opgelost." De onderzoekers controleerden dit ook. Ze keken naar modellen van 2023 tot aan de nieuwste releases van 2025.

De conclusie? Nee. Het patroon veranderde niet. Zelfs de meest geavanceerde modellen, die complexe vragen kunnen beantwoorden en instructies perfect kunnen opvolgen, vertonen nog steeds deze disconnect. De auteurs merken op dat alleen omdat een model een hogere score haalt op een test, het niet betekent dat het een betere "ruimtelijke kaart" van de afbeelding heeft ontwikkend. Het lijkt erop dat sterke prestaties niet automatisch betekenen dat de AI naar de juiste plek kijkt; het betekent alleen dat de AI erg goed is in het raden van het juiste antwoord met de aanwijzingen die het kan vinden.

De "String"-test: Begrijpen Ze Vormen?

Om nog dieper te graven, stelde het team een andere vraag: Als je het "uiterlijk" van een object weghaalt maar de vorm behoudt, begrijpt de AI het dan nog steeds? Ze gebruikten een taak met snaren (lijnen) waarbij ze de geometrie (de vorm en verbindingen) gelijk hielden, maar het uiterlijk veranderden.

Ze ontdekten dat de modellen visuele aanwijzingen exploiteren om visuele structuren te begrijpen. Wanneer die uiterlijk-gebaseerde aanwijzingen werden verwijderd, hadden de modellen moeite om hun begrip van de structuur te behouden. Dit sugggeelt dat de AI de vorm niet echt op een diepe, structurele manier ziet onafhankelijk van het uiterlijk; het leunt zwaar op die oppervlakkige uiterlijk-trucs om de verbindingen te begrijpen. Wanneer die trucjes verdwijnen, raakt de AI de weg kwijt.

Wat Dit Betekent voor de Toekomst

Het paper sluit af met een duidelijke, zij het ietwat verontrustende boodschap: Er is een kloof tussen "zien" en "redeneren".

De modellen zijn niet kapot; ze werken gewoon op een manier die we niet hadden verwacht. Ze zijn als een detective die een misdaad kan oplossen door op te merken dat de verdachte altijd een rode hoed draagt, zonder ooit daadwerkelijk naar het gezicht van de verdachte te kijken. De "causale" delen van hun brein doen het werk, maar ze kijken niet noodzakelijkerwijs naar het doelwit.

De auteurs zijn nu van plan om naar nog meer modellen en verschillende soorten camera-architecturen te kijken om te zien of dit een universele regel is voor alle moderne AI of slechts een eigenaardigheid van de modellen die zij hebben getest. Voor nu suggereren ze dat we er niet vanuit moeten gaan dat omdat een AI een afbeelding perfect kan beschrijven, hij ook daadwerkelijk naar het object "kijkt" op de manier die wij denken. De AI kijkt misschien naar het hele plaatje, maar mist de specifieke plek die voor ons van belang is.