The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

Technische Samenvatting: De Illusie van Visueel Instrumentgebruik

Probleemstelling
Het "denken-met-beelden"-paradigma rust Multimodale Grote Taalmodellen (MLLM's) uit met actieve visuele operaties, zoals crop-and-zoom, om fijnmazige bewijslast te verzamelen die verder gaat dan een enkel holistisch beeld. Empirische observaties onthullen echter een "marginale verbeteringsparadox": modellen die deze instrumenten gebruiken, behalen vaak slechts marginale of zelfs negatieve nauwkeurigheidswinsten vergeleken met directe inferentie, ondanks aanzienlijk hogere tokenkosten. Bovendien falen door instrumenten verrijkte trajecten (rollouts) vaak op vragen die directe inferentie wel correct beantwoordt, vaak door herhaaldelijk irrelevante regio's te croppen. De centrale vraag die wordt behandeld is of het visuele bewijs dat door deze instrumenten wordt teruggegeven causaal invloed heeft op de uiteindelijke voorspelling van het model, of dat het instrumentgebruik slechts een performatief ritueel is.

Methodologie: Een Causal Audit-raamwerk
De auteurs formuleren visueel instrumentgebruik als een Structureel Causaal Model (SCM) over de invoerafbeelding $I$, de query $Q$, een sequentie van instrumentacties $T_{1:n}$, teruggegeven observaties $O_{1:n}$, en het uiteindelijke antwoord $Y$. Dit raamwerk onderscheidt twee causale paden van de invoer naar de uitvoer:

1. Observatie-gemedieerde paden ($T \to O \to Y$): Waarbij de visuele inhoud van de observatie het antwoord werkelijk fundeert.
2. Actie-geïnduceerde shortcuts ($T \to Y$): Waarbij de loutere aanwezigheid van een instrumentactie de invloed op het antwoord bepaalt, ongeacht de inhoud van de observatie.

Om deze paden te auditeren, stelt het artikel een interventieprotocol op drie niveaus voor:

• Beleidsniveau (Policy-Level): Vergelijkt instrument-geactiveerde beleidsregels ($\pi_{tool}$) met directe inferentie-beleidsregels ($\pi_{direct}$) om het Gemiddelde Behandelingseffect (ATE) op de nauwkeurigheid te meten.
• Trajectniveau (Trajectory-Level): Corrumpeert dynamisch alle teruggegeven observaties ($O_i$) tijdens de rollout (bijv. door ze te vervangen door willekeurige crops uit dezelfde afbeelding) om het totale effect van het verwijderen van visueel bewijs te meten, inclus eyes de geïnduceerde reacties van het beleid zoals budgetuitputting.
• Stapniveau (Step-Level): Introduceert Visual Evidence Gain (VEG), een contrafeitelijke estimand. Voor een specifieke stap $i$ wordt het betrouwheidsverschil van het model gemeten vóór de aanroep, na de echte observatie, en na een contrafeitelijke observatie (een crop van een andere locatie). $VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$ isoleert de causale bijdrage van de specifieke visuele inhoud, waardoor de actie-geïnduceerde shortcut wordt weggefilterd.

Belangrijkste Bijdragen

1. Causale Formulering: Het artikel operationaliseert visueel instrumentgebruik als een causale graaf, waarbij observatie-gemedieerde bruikbaarheid wordt onderscheiden van actie-geïnduceerde shortcuts via een interventieprotocol op drie niveaus.
2. Identificatie van Beleidsmiscalibratie: De studie identificeert "beleidsmiscalibratie" als de centrale flessenhals, gekenmerkt door twee afzonderlijke faalmodi:
   • Calling Without Looking (CWL - Oproepen zonder te kijken): Het model roept instrumenten aan, maar de visuele inhoud heeft geen causaal effect op het antwoord (ofwel door verzadigde voorafgaande zekerheid, ofwel door structureel inactieve oproepen).
   • Looking Without Planning (LWP - Kijken zonder te plannen): De visuele inhoud is informatief, maar het schema van de aanroepen is incoherent (bijv. door door te gaan met aanroepen nadat het antwoord al bepaald is of het budget uitputten op oninformatieve regio's).
3. Traject-niveau Diagnostiek: Een deterministische classifier sorteert elke rollout in vier groepen: No-call, Mode 1 (CWL), Mode 2 (LWP), en Calibrated (effectief gebruik).
4. Decompositie van Winsten: De auteurs deconstrueren de geaggregeerde beleidsniveau nauwkeurigheidswinst in bijdragen van deze groepen, wat onthult dat verbeteringen bijna volledig geconcentreerd zijn in de Calibrated minderheid.

Resultaten
Geëvalueerd over zes representatieve modellen (waaronder DeepEyes, Mini-o3, Qwen3-VL, en Thyme) en vijf fijnmazige perceptie-benchmarks:

• Marginale Winsten: De ATE's op beleidsniveau zijn vaak klein of negatief. Zo vertoont DeepEyes nagenoeg nul verbetering, terwijl Mini-o3 en Qwen3-VL-8B bescheiden winsten laten zien op specifieke benchmarks.
• Causale Ineffectiviteit: Traject-niveau interventies (het corrumperen van observaties) veroorzaken enorme dalingen in de nauwkeurigheid bij modellen zoals Mini-o3 en Qwen3-VL, wat suggereert dat zij zwaar leunen op de structuur van de instrumentinterface in plaats van de visuele inhoud, of dat hun planning instort wanneer de feedback wordt gecorrumpeerd.
• VEG-analyse: Stap-niveau analyse laat zien dat voor veel modellen (bijv. DeepEyes) de VEG nabij nul is bij alle aanroepen, wat aangeeft dat de visuele inhoud wordt genegeerd. Voor anderen (bijv. Qwen3-VL-8B) is de VEG hoog wanneer het model nog niet verzadigd is, maar het model blijft frequent aanroepen na verzadiging (Over-Extension).
• De Illusie: De Calibrated subset (waar instrumenten effectief worden gebruikt) vormt een minderheid van de rollouts (bijv. ~20-45% afhankelijk van het model). De gerapporteerde geaggregeerde nauwkeurigheidswinsten in benchmarks worden bijna uitsluitend gedreven door deze subset, terwijl de meerderheid van de instrumentaanroepen ofwel ontkoppeld is van het antwoord (CWL) ofwel incoherent is gepland (LWP).

Betekenis en Claims
Het artikel claimt de "illusie van visueel instrumentgebruik" bloot te leggen: de geaggregeerde nauwkeurigheidswinsten waargenomen in benchmarks creëren een misleidende indruk dat visueel instrumentgebruik breed en causaal effectief is. In werkelijkheid is het teruggegeven visuele bewijs voor een brede reeks rollouts niet causaal verantwoordelijk voor het antwoord.

De auteurs stellen een RL-trap hypothese voor, die suggereert dat outcome-only reinforcement learning (het belonen van alleen het uiteindelijke juiste antwoord) de $T \to Y$ shortcut (Mode 1) versterkt en faalt om redundante of schadelijke tussenstappen (Mode 2) te bestraffen, aangezien zowel een Calibrated als een Mode 1 traject die hetzelfde uiteindelijke antwoord krijgt, identieke beloningen ontvangen.

De betekenis van dit werk ligt in de verschuiving van de evaluatiefocus van "roept het model instrumenten aan?" naar "denkt het model met beelden?". Het voorgestelde diagnostische instrument biedt operationele toepassingen, zoals evaluatiemetrieken die verder gaan dan nauwkeurigheid, adaptatie tijdens de inferentie (het omzeilen van instrumenten voor Mode 1 of vroegtijdige stopzetting voor Mode 2), en procesbewuste credit assignment om training te verbeteren. De auteurs merken op dat hun conclusies beperkt zijn tot open-source modellen met white-box toegang voor stap-niveau interventies en zich primair richten op de crop-and-zoom operatie.