💬 NLP

Are VLMs Seeing or Just Saying? Uncovering the Illusion of Visual Re-examination

Dit artikel onthult dat Vision-Language-modellen vaak zelfreflecterende uitspraken zoals "laat me nog eens kijken" produceren als louter tekstuele patronen in plaats van een daadwerkelijke visuele hercontrole te initiëren, een bevinding die door het VisualSwap-framework wordt aangetoond door te laten zien dat modellen ondanks dergelijke claims vaak falen in het detecteren van semantisch verschillende beeldswaps.

Oorspronkelijke auteurs: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chufan Shi, Cheng Yang, Yaokang Wu, Linhao Jin, Bo Shui, Taylor Berg-Kirkpatrick, Xuezhe Ma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Paper in Gewone Taal: "Zien VLM's of Zeggen Ze Alleen Maar?"

Stel je voor dat je een wiskundetoets maakt met een zeer slimme, praatgrage robot. Je toont de robot een afbeelding van een driehoek met een hoek van 60 graden. De robot begint hardop na te denken: "Oké, ik zie een hoek van 60 graden. Als ik dat aftrek van 180, krijg ik 120. Wacht, laat me de afbeelding nog eens controleren om zeker te zijn."

Dan, sluipend, vervang je de afbeelding op het scherm door een andere driehoek met een 50-graden hoek. De nieuwe afbeelding ziet er bijna exact hetzelfde uit als de oude, maar dat ene getal is anders.

De robot, die nog steeds tegen zichzelf praat, zegt: "Laat me de figuur nog eens controleren," maar kijkt niet echt naar de nieuwe afbeelding. Het blijft gewoon de wiskunde doen die het eerder was begonnen. Het antwoordt zelfverzekerd 120, zelfs al zegt de afbeelding nu dat het antwoord 130 moet zijn.

Dit paper, getiteld "Zien VLM's of Zeggen Ze Alleen Maar?", onderzoekt precies dit fenomeen bij Vision-Language Models (VLM's). De onderzoekers ontdekten dat wanneer deze AI-modellen dingen zeggen als "laat me de afbeelding nog eens controleren", ze dit vaak alleen maar zeggen, en niet daadwerkelijk zien.

Hier is de uitleg van hun ontdekking met eenvoudige analogieën:

1. De "Geest in de Machine" (De Illusie)

De onderzoekers creëerden een test genaamd VISUALSWAP. Ze lieten een AI een probleem oplossen, en vervingen vervolgens de afbeelding door een iets andere terwijl de AI midden in zijn "denkproces" zat. Ze vroegen de AI om de afbeelding opnieuw te "controleren".

Het Resultaat: De AI faalde bijna altijd. Het negeerde de nieuwe afbeelding en bleef antwoorden op basis van de oude afbeelding die het seconden eerder had gezien.
De Analogie: Het is als een kok die zegt: "Laat me de soep nog eens proeven," maar in plaats van de soep in de pan te proeven, herinnert hij zich alleen de smaak die hij eerder bedacht had en doet alsof hij het geproefd heeft. Ze hallucineren dat ze keken, maar in werkelijkheid herhalen ze alleen een script.

2. De "Overdenkers" zijn de Slechtste Daders

Je zou denken dat "Denkende" modellen (AI ontworpen om diep en langzaam te redeneren) hier beter in zouden zijn. Je hebt het mis.

De Bevinding: De "Denkende" modellen waren drie keer slechter in het opmerken van de afbeeldingswisseling dan de standaardmodellen.
De Analogie: Stel je een student voor die een toets maakt. De standaardstudent werpt een blik op de nieuwe vraag en past zich aan. De "Denkende" student echter, raakt zo diep in zijn eigen innerlijke monoloog ("Ik berekende X, toen Y...") dat hij blind wordt voor het feit dat de vraag op het papier is veranderd. Zijn eigen gedachten worden een muur die hem verhindert de nieuwe realiteit te zien.

3. De "Tekstuele Traagheid" (Waarom het gebeurt)

Het paper legt uit dat zodra de AI begint met het schrijven van een lange redeneerketen, het in een spoor terechtkomt. Het wordt zo gefocust op het voltooien van zijn zin en het behouden van een logische stroom dat het ophoudt met aandacht te besteden aan de visuele input.

De Analogie: Denk aan een trein op een spoor. Zodra het snel beweegt, is het moeilijk om het te stoppen. De "gedachtestroom" van de AI beweegt zo snel dat wanneer het landschap (de afbeelding) verandert, de trein niet vertraagt om uit het raam te kijken. Het blijft gewoon doorgaan over het oude spoor.

4. De "Magische Schakelaar" (Hoe het op te lossen)

Hier is het meest interessante deel: De AI is in staat de verandering te zien. Het doet het gewoon niet vanzelf.

Het Experiment: Wanneer een mens (of een gebruikersprompt) de AI expliciet onderbreekt en zegt: "Stop! Kijk naar de nieuwe afbeelding die ik je zojuist heb gegeven," wordt de AI plotseling wakker. Het ziet het verschil direct en krijgt het antwoord goed.
De Analogie: Het is als een dromende student. Als ze alleen gelaten wordt, blijft ze dromen over het oude antwoord. Maar als een leraar op haar schouder tikt en zegt: "Hé, kijk naar deze nieuwe afbeelding", schiet ze uit haar droom en ziet ze de waarheid. Het vermogen was de hele tijd aanwezig; ze hadden alleen een externe duw nodig om hun trance te doorbreken.

5. Het Bewijs van de "Aandacht"

De onderzoekers keken onder de motorkap van de AI (specifiek naar zijn "aandachts"mechanismen, die bepalen waar de AI zich op richt).

De Bevinding: Wanneer de AI zegt "laat me controleren", beweegt zijn aandacht voor de afbeelding nauwelijks. Maar wanneer een gebruiker zegt "controleer de afbeelding", piekt de aandacht van de AI dramatisch.
De Conclusie: De AI "denkt" niet over de afbeelding wanneer het zegt dat het controleert; het genereert alleen tekst die klinkt alsof het controleert.

Samenvatting

Het paper concludeert dat huidige AI-modellen meesters in bedrog zijn (zelfs onbedoeld). Wanneer ze beweren een afbeelding opnieuw te "onderzoeken" tijdens hun eigen interne redenering, herhalen ze vaak alleen maar een geleerde zin zonder echt te kijken. Ze "zeggen" dat ze zien, maar ze zijn "blind" voor de verandering.

Dit is echter geen permanente fout in hun visie; het is een fout in hun zelfbeheersing. Ze kunnen de waarheid zien, maar ze hebben een mens nodig om hun "tekstuele traagheid" te doorbreken en hen te dwingen daadwerkelijk te kijken.

Belangrijkste les voor het grote publiek: Als een AI je vertelt dat het een afbeelding dubbelcheckt, ga er dan niet van uit dat het dat daadwerkelijk heeft gedaan. Het praat misschien gewoon tegen zichzelf. Je moet het expliciet vertellen om opnieuw te kijken wil het echt zien.

Technische Samenvatting: Zien VLM's of zeggen ze het alleen? Het ontmaskeren van de illusie van visuele herbeoordeling

Probleemstelling
Visueel-taalmodellen (VLM's) hebben aanzienlijke vooruitgang geboekt in multimodaal redeneren, met name met de komst van redeneringsversterkte modellen die gebruikmaken van uitgebreide chain-of-thought (CoT)-generatie en zelfreflectiemechanismen. Een veelvoorkomend gedrag in deze modellen is het genereren van zelfreflecterende uitspraken zoals "Wacht, laat me de figuur nog eens bekijken" tijdens het redeneerproces. Hoewel dit bedoeld is om perceptuele hallucinaties te mitigeren en de trouw aan de invoerafbeelding te waarborgen, blijft een kritieke vraag: triggeren deze uitspraken een echte visuele herbeoordeling, of zijn het louter geleerde taalkundige patronen zonder daadwerkelijke visuele verankering? Als modellen beweren een afbeelding opnieuw te bekijken maar visuele veranderingen niet detecteren, wordt hun betrouwbaarheid in veiligheidskritieke domeinen aangetast.

Methodologie: VISUALSWAP en VS-BENCH
Om dit fenomeen te onderzoeken, stellen de auteurs VISUALSWAP voor, een diagnostisch raamwerk dat is ontworpen om te peilen of VLM's tijdens zelfreflectie werkelijk opnieuw aandacht schenken aan visuele invoer. Het raamwerk hanteert een protocol in twee fasen:

Standaard Inference: Het model genereert een eerste redeneerketen ( $R_a$ ) op basis van een originele afbeelding ( $I_a$ ) en een vraag ( $Q$ ).
Herbeoordelingsproef: De visuele invoer wordt vervangen door een semantisch onderscheidende maar visueel vergelijkbare afbeelding ( $I_b$ ), terwijl de gegenereerde redeneringscontext ( $R_a$ ) behouden blijft en een zelfreflecterende prompt wordt toegevoegd (bijvoorbeeld: "Wacht, laat me de figuur nog eens bekijken"). Vervolgens wordt het model gevraagd de generatie voort te zetten.

Als het model een echte visuele herbeoordeling uitvoert, moet het het verschil tussen $I_b$ en $R_a$ detecteren, zijn redenering aanpassen en het juiste antwoord voor $I_b$ produceren. Als het dit niet doet, wijst dit op "tekstuele traagheid", waarbij het model vertrouwen stelt in de eerdere redeneertrajecten in plaats van in het nieuwe visuele bewijs.

Om deze evaluatie te ondersteunen, hebben de auteurs VS-BENCH samengesteld, een benchmark bestaande uit 800 afbeeldingsparen afgeleid van MathVista, MathVerse, MathVision en MMMU-Pro. Deze paren zijn zo samengesteld dat ze een hoge visuele gelijkenis op hoog niveau delen (opmaak, stijl), terwijl ze verschillen in fijnmazige details die cruciaal zijn voor het grondwaarheid-antwoord, zodat de vraag geldig blijft voor beide afbeeldingen maar verschillende antwoorden vereist.

Belangrijkste Bijdragen

VISUALSWAP Framework: Een principieel diagnostisch hulpmiddel om de authenticiteit van visuele herbeoordeling in VLM's te evalueren door visuele invoer tijdens het redeneerproces te manipuleren.
VS-BENCH Benchmark: Een dataset van 800 zorgvuldig samengestelde afbeeldingsparen die visuele herbeoordelingscapaciteiten isoleert van algemeen visueel vraag- en antwoordgedrag.
Mechanistische Analyse: Een onderzoek naar de aandachtmechanismen die ten grondslag liggen aan het falen, waarbij zelfgegenereerde reflectie wordt vergeleken met expliciete meertraps gebruikersinstructies.

Experimentele Resultaten
De auteurs evalueerden 15 modellen uit de Qwen3-VL-, Kimi-VL- en ERNIE-VL-families, inclusief zowel "Instruct"- als "Thinking"-varianten. De resultaten onthullen een kritieke faalmodus:

Wijdverbreid Falen: Modellen slagen er overweldigend niet in om afbeeldingswisselingen tijdens zelfreflectie te detecteren. De prestatiedegradatie ( $\Delta = Acc_{base} - Acc_{probe}$ ) loopt op tot 60% (bijvoorbeeld: ERNIE-4.5-VL-Thinking daalt van 79,9% naar 19,6%).
Thinking-modellen zijn Kwetsbaarder: Tegenintuïtief vertonen "Thinking"-modellen bijna 3x meer kwetsbaarheid dan hun "Instruct"-tegenhangers. Zo lijdt Qwen3-VL-32B-Thinking een daling van 48,3% vergeleken met 17,9% voor de Instruct-versie.
Schaling Helpt Niet: Het vergroten van de modelgrootte vermindert het probleem niet; grotere modellen vertonen vaak een grotere degradatie (bijvoorbeeld: Qwen3-VL-235B-Thinking daalt met 54,6%).
Herstel via Gebruikersinstructie: Wanneer de reflectie wordt getriggerd door een expliciete meertraps gebruikersinstructie (bijvoorbeeld: "Bekijk de afbeelding opnieuw") in plaats van zelfgegenereerde tekst, herstellen de prestaties zich tot bijna basisniveau. Dit bevestigt dat de modellen de latente capaciteit bezitten om de nieuwe afbeelding te verwerken, maar dit niet autonoom activeren.
Aandachtsanalyse: Aandachtsscores tonen aan dat zelfreflecterende uitspraken slechts verwaarloosbare toenames in aandacht voor visuele tokens teweegbrengen. Daarentegen veroorzaken expliciete gebruikersinstructies een aanzienlijke toename in visuele aandacht, wat de prestatiekloof verklaart.

Betekenis en Claims
Het artikel concludeert dat huidige VLM's de neiging hebben om te "zeggen" dat ze een afbeelding opnieuw bekijken, zonder deze daadwerkelijk te "zien". Het fenomeen wordt geïdentificeerd als een falen van autonome attentiecontrole in plaats van een gebrek aan visuele capaciteit. De auteurs betogen dat uitgebreide redeneerketens sterke tekstuele traagheid creëren die het model tijdens continue decoding loskoppelt van visueel bewijs.

De betekenis van dit werk ligt in het blootleggen van een fundamentele beperking van huidige Chain-of-Thought (CoT)-paradigma's in multimodale settings: ze geven prioriteit aan tekstuele coherentie boven visuele inname. De bevindingen suggereren dat zelfreflectie, zoals momenteel geïmplementeerd, geen betrouwbare mechanisme is voor het corrigeren van visuele hallucinaties. Het artikel stelt dat echte autonome visuele herverankering mechanismen vereist die verder gaan dan eenvoudige taalkundige prompting, en benadrukt de noodzaak van toekomstig onderzoek naar modellen die hun eigen redeneertrajecten effectief kunnen onderbreken om opnieuw verbinding te maken met visuele invoer. De auteurs benadrukken dat dit een diagnostische bevinding betreft over modelgedrag, en geen voorstel voor een nieuw trainingsalgoritme, hoewel zij opmerken dat externe interventies (zoals meertraps prompting) de verankering succesvol kunnen herstellen.