🤖 AI

See2Think: Do Multimodal Models Really Use Intermediate Visual States?

Dit artikel introduceert See2Think, een verenigd evaluatiekader bestaande uit een benchmark van 1.200 monsters en een Visual Action-of-Thought-protocol, om te onthullen dat hoewel multimodale modellen een gedragsafhankelijkheid vertonen ten opzichte van intermediaire visuele toestanden, hun redeneernauwkeurigheid zwaar wordt beperkt door de getrouwheid van de weergave en significant varieert tussen modellen en omgevingen.

Oorspronkelijke auteurs: Siyu Yan, Zhuoran Yan, Haiying Xu, Panhao Zhou, Jingyu Chen, Chenhao Ji, Shuo Cao, Yongheng Zhang, Haoze Liu, Siyu Zhang, Xiwen Gu, Yihao Liu, Alex Jinpeng Wang

Gepubliceerd 2026-07-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Siyu Yan, Zhuoran Yan, Haiying Xu, Panhao Zhou, Jingyu Chen, Chenhao Ji, Shuo Cao, Yongheng Zhang, Haoze Liu, Siyu Zhang, Xiwen Gu, Yihao Liu, Alex Jinpeng Wang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een lastige puzzel op te lossen, maar in plaats van alleen naar de afbeelding te kijken, mag je een potlood pakken, lijnen trekken, aanwijzingen omcirkelen en je denkproces uittekenen op een stuk papier. Dit is de wereld van Multimodale Grote Taalmodellen—superintelligente computerprogramma's die tekst kunnen lezen en afbeeldingen kunnen "zien". Een tijdje lang zijn deze modellen beter geworden in het "hardop denken" door hun stappen op te schrijven, een truc die Chain-of-Thought wordt genoemd. Maar veel puzzels, vooral die met betrekking tot 3D-ruimtes of complexe geometrie, zijn moeilijk op te lossen met alleen woorden. Mensen maken van nature diagrammen om ons te helpen denken, dus vroegen wetenschappers zich af: Kunnen deze AI-modellen daadwerkelijk tussenliggende tekeningen en schetsen gebruiken om problemen op te lossen, of doen ze alsof?

Dit is de grote vraag die onderzoekers stellen. Als een AI zegt: "Ik moet hier een lijn trekken om dit uit te vogelen," gebruikt hij die nieuwe tekening dan ook echt om het antwoord te vinden? Of negeert hij de tekening gewoon en raadt hij het antwoord toch maar? Het is alsof je vraagt of een student daadwerkelijk zijn kladpapier gebruikt om de som te maken, of dat hij gewoon willeense krabbels maakt en hoopt dat het uiteindelijke antwoord door magie komt. Begrijpen is cruciaal, want als de modellen de visuele hulpmiddelen die ze creëren niet echt gebruiken, verspillen we misschien tijd aan het bouwen van functies die ze niet eens slimmer maken.

Maak kennis met See2Think, een nieuwe studie die fungeert als een detective voor AI-redeneren. De onderzoekers bouwden een enorme testomgeving genaamd See2ThinkBench, die 1.200 verschillende puzzels bevat, variërend van 2D-geometrie en chemische diagrammen tot 3D-robotscènes en realistische natuurkundeproblemen. Ze vroegen de modellen niet alleen om een antwoord te geven; ze stelden een speciaal protocol op genaamd Visual Action-of-Thought (VAoT). Zie dit als een spel waarbij de AI om de beurt moet: hij denkt na, besluit iets te "tekenen" (zoals het markeren van een specifieke hoek of het uitvergroten van een deel van de afbeelding), een aparte tool tekent dit vervolgens daadwerkelijk, en daarna moet de AI naar die nieuwe tekening kijken om zijn redenering voort te zetten.

Het team testte vier verschillende krachtige AI-modellen om te zien hoe zij dit spel aanpakten. Ze ontdekten dat er geen "one size fits all"-winnaar is. Soms werkte alleen denken in woorden (zonder te tekenen) het best; andere keren hielp het daadwerkelijk zien van de tekening. Maar hier is de twist: de modellen waren verrassend goed in het beslissen wat ze moesten tekenen (het kiezen van de juiste aanwijzingen), maar ze faalden vaak in het juist gebruiken van de tekening. Sterker nog, de studie toonde aan dat de grootste flessenhals niet het kiezen van de juiste actie was, maar de "getrouwheid" van de tekening zelf—tekende de tool daadwerkelijk wat de AI vroeg?

Misschien wel de meest fascinerende ontdekking kwam door een "truc" die de onderzoekers uithaalden. Ze gaven de modellen opzettelijk "gecorrumpeerde" tekeningen—afbeeldingen die eruitzagen alsof de AI erom vroeg, maar die eigenlijk fout of misleidend waren. Wanneer dit gebeurde, daalde de prestatie van de modellen aanzienlijk, vooral in 3D-scènes, waar de nauwkeurigheid met meer dan 10 procentpunten afnam. Dit bewijst dat de modellen echt vertrouwden op de visuele staat die ze zagen, zelfs als die staat defect was. Echter, de studie suggereert ook dat het feit dat een model afhankelijk is van de tekening, niet betekent dat de tekening het hem ook daadwerkelijk hielp om het juiste antwoord te vinden. Soms waren de modellen zo afhankelijk van de visuele feedback dat zelfs een slechte tekening hen genoeg verwarde om te falen, wat laat zien dat "het gebruiken van" een visuele staat en "er baat bij hebben" twee heel verschillende dingen zijn.

Kortom, het artikel onthult dat hoewel AI-modellen beter worden in het idee van visueel redeneren, ze nog steeds worstelen met de rommelige realiteit van het uitvoeren en vertrouwen op hun eigen schetsen. Ze zijn als studenten die precies weten naar welk deel van het diagram ze moeten kijken, maar vaak verdwaald raken wanneer ze proberen de nieuwe schets die ze zelf hebben gemaakt, daadwerkelijk te lezen. De onderzoekers concluderen dat we niet alleen naar het uiteindelijke antwoord moeten kijken, maar het hele proces moeten diagnosticeren—controleren of de tekening relevant was, of deze correct is getekend, en of het model het daadwerkelijk gebruikte om na te denken. Totdat we deze flessenhalzen oplossen, is het "denken met afbeeldingen" misschien nog steeds meer een uitvoering dan een echte superkracht.

Technische Samenvatting: See2Think: Gebruiken Multimodale Modellen Echt Tussenliggende Visuele Staten?

1. Probleemstelling

Multimodale Large Language Models (MLLM's) passen steeds vaker "visuele denkstrategieën" toe, zoals het genereren van schetsen, annotaties, tool calls en tussenliggende afbeeldingen om redeneren te ondersteunen. Het blijft echter onduidelijk of deze modellen daadwerkelijk vertrouwen op deze tussenliggende visuele staten of dat dergelijke staten slechts decoratief zijn. Bestaande benchmarks lijden onder twee primaire beperkingen:

Databeperkingen: Collecties taken missen vaak visuele diversiteit of bevatten monsters die oplosbaar zijn via tekstuele shortcuts (bijv. taalprioriteiten of gedetailleerde bijschriften), waardoor het onmogereijk is om de noodzaak van visueel bewijs te isoleren.
Evaluatiebeperkingen: Standaardevaluaties richten zich op de uiteindelijke nauwkeurigheid van het antwoord of de geaggregeerde proceskwaliteit. Ze diagnosticeren zelden hoe tussenliggende visuele staten worden gegenereerd, gerenderd of gebruikt. Specifiek bepalen ze niet gezamenlijk of een zelf gegenereerde visuele actie taakrelevant is, of de gerenderde staat die actie getrouw realiseert, of dat daaropvolgend redeneren gedragsmatig afhankelijk is van het geretourneerde visuele bewijs.

2. Methodologie: Het See2Think Framework

De auteurs introduceren See2Think, een verenigd evaluatieframework ontworpen om het nut van visuele staten te ontrafelen van de gedragsmatige afhankelijkheid. Het bestaat uit twee kerncomponenten:

2.1 See2ThinkBench (De Datacomponent)

Een benchmark met 1.200 open eind, visueel afhankelijke redeneerproblemen verspreid over 12 taakcategorieën, georganiseerd in drie visuele redeneringsniveaus:

2D Gestructureerd Redeneren: Geometrie, ruimtelijke puzzels, natuurkunde, chemie, wetenschappelijke vragen en abstracte patronen.
3D Scène Redeneren: Objectattributen en compositionele 3D.
Real-World Visueel Redeneren: Robotmanipulatie, robottoestandsverandering, visuele common sense en intuïtieve natuurkunde.

Constructieprincipes:

Filtering op Oplosbaarheid via Alleen Bijschrift: Om tekstdominante shortcuts te elimineren, worden monsters gefilterd door te testen of een sterk multimodaal model de vraag kan beantwoorden met alleen een gedetailleerd beeld bijschrift (zonder de originele afbeelding). Monsters die in $\ge$ 3 pogingen oplosbaar zijn, worden verwijderd.
Normalisatie van Antwoordformaat: Meerkeuzeopties zijn verwijderd om vrije vorm generatie te dwingen, behalve voor een kleine subset (127 monsters) waar de opties inherent zijn aan het redeneerprobleem.
Kwaliteitscontrole: Automatische en handmatige controles zorgen voor unieke antwoorden, consistentie tussen afbeelding en vraag, en de noodzaak van niet-triviaal visueel redeneren.

2.2 Visual Action-of-Thought (VAoT) (De Protocolcomponent)

VAoT is een inferentie-diagnostisch protocol dat een afgewisselde sequentie van tekstuele gedachten, gestructureerde visuele acties en gerenderde visuele staten vastlegt.

Interactielus: Gegeven een afbeelding $I$ en vraag $q$ , produceert het model een tekstuele gedachte $T_t$ en een gestructureerde actie $A_t$ (bijv. highlighten, croppen, lijn tekenen). Een externe renderer voert $A_t$ uit op de huidige staat en retourneert de bijgewerkte visuele staat $R_t$ . Het model redeneert vervolgens op basis van $H_t = \{T_i, A_i, R_i\}$ .
Gecontroleerde Inferentie-instellingen: Het framework evalueert modellen onder vier condities om specifieke foutmodi te isoleren:
1. CoT: Alleen tekstueel redeneren over de originele afbeelding.
2. VAoT-NoRender: Het model plant visuele acties, maar deze worden niet uitgevoerd/gerenderd.
3. VAoT (Standaard): Acties worden uitgevoerd en de getrouwe gerenderde staat wordt geretourneerd.
4. VAoT-WrongRender: Acties worden uitgevoerd, maar de renderer retourneert een taakrelevante gecorrumpeerde staat (bijv. een verkeerde highlight of een vertekende crop) om de gedragsmatige afhankelijkheid te testen.

2.3 Evaluatiemetrieken

Het framework diagnosticeert het proces langs drie dimensies voor een cruciale visuele stap in elk traject:

Actierelevantie: Richt de gevraagde operatie zich op taakrelevante bewijslast?
Rendergetrouwheid: Realiseert de gerenderde staat de gevraagde actie correct?
Feedbackopname: Gebruikt het daaropvolgende redeneren informatie die daadwerkelijk aanwezig is in de gerenderde staat?

3. Belangrijkste Bijdragen

Formulering van Visuele-Staat Gebruik: Het artikel definieert "echt gebruik van visuele staten" als een gecontroleerd diagnostisch probleem, waarbij onderscheid wordt gemaakt tussen de utiliteit van een staat en de gedragsmatige afhankelijkheid van het model.
See2ThinkBench: Een gecureerde benchmark met 1,2K monsters met strikte filtering tegen tekstuele shortcuts, dekkend over 12 taakcategorieën en drie visuele redeneringsomgevingen.
VAoT Protocol: Een observeerbaar en intervenieerbaar protocol dat een stapsgewijze diagnose mogelijk maakt van actiekeuze, visuele uitvoering en downstream staatgebruik.
Uitgebreide Diagnostiek: Het framework biedt een verenigde methode om te evalueren of modellen relevante operaties selecteren, deze getrouw renderen en de resulterende bewijslast daadwerkelijk gebruiken.

4. Experimentele Resultaten

De auteurs evalueerden vier representatieve modellen (GPT-5.5, GPT-o3, Gemini 3.5 Flash, en Qwen3-VL-32B-Instruct) over alle instellingen.

4.1 Bevindingen op Uitkomstniveau

Geen Universele Strategie: Geen enkele inferentie-instelling domineert over alle taken heen.
- GPT-5.5 en Qwen3-VL presteerden het best met standaard CoT.
- GPT-o3 vertoonde een lichte voorkeur voor VAoT (closed-loop).
- Gemini 3.5 Flash presteerde het best met VAoT-NoRender (plannen zonder rendering).
Taakafhankelijkheid:
- 2D Gestructureerd: Direct redeneren (CoT) presteert vaak beter dan visuele interventie.
- 3D Scènes: Actieplanning (VAoT-NoRender) organiseert redeneren vaak beter dan pure perceptie.
- Real-World: Geen enkele strategie toont een duidelijk geaggregeerd voordeel.
Robotmanipulatie: Consistent lage nauwkeurigheid over alle modellen, wat suggereert dat grondingsfouten moeilijk te compenseren zijn met visuele acties.

4.2 Diagnose op Procesniveau

Actierelevantie: Modellen selecteren consistent relevante visuele operaties (scores $\approx$ 0,95–0,99).
Rendergetrouwheid: Dit is de primaire bottleneck. Scores zijn aanzienlijk lager ( $\approx$ 0,56–0,70) over alle modellen, wat aangeeft dat modellen vaak niet in staat zijn hun visuele plannen accuraat uit te voeren of te realiseren.
Feedbackopname: Modellen gebruiken over het algemeen de geretourneerde visuele informatie (scores $\approx$ 0,65–0,87), maar een hoge opname garandeert geen winst in nauwkeurigheid.
Foutmodi:
- In 3D scènes is het gat tussen correcte en incorrecte trajecten het grootst bij Rendergetrouwheid.
- In Real-world taken is het gat het grootst bij Actierelevantie.
- In 2D taken zijn alle gaten klein, wat consistent is met het feit dat de originele afbeeldingen al de noodzakelijke structuren blootleggen.

4.3 Gedragsmatige Afhankelijkheid (Gecorrumpeerde Feedback)

Utiliteit vs. Afhankelijkheid: Correcte rendering levert niet altijd een netto winst in nauwkeurigheid op (bijv. in 2D taken). Echter, het corrumperen van de visuele staat verslechtert de prestaties consistent, wat bewijs levert voor gedragsmatige afhankelijkheid.
Sensitiviteit: De nauwkeurigheid daalt significant wanneer feedback wordt gecorrumpeerd, met name in 3D scènes (dalingen tot 15,5 procentpunt bij een hoge feedbackopname).
Schade door Rendering: Ongetrouwe rendering (lage Rendergetrouwheid) veroorzaakt vaak "schade" (overgang van correct naar incorrect) in 2D en 3D taken, terwijl getrouwe rendering vooral verstoringen vermindert.

5. Betekenis en Claims

Het artikel claimt dat See2Think het eerste verenigde framework biedt dat verder gaat dan "visuele sporen" en de nauwkeurigheid van het eindantwoord om de mechanica van visueel redeneren te evalueren.

Echt Gebruik: De studie toont aan dat hoewel modellen relevante visuele acties kunnen plannen, het "echte gebruik" van tussenliggende staten vaak wordt gehinderd door een onvermogen om die acties getrouw te renderen, in plaats van een onvermogen om te plannen.
Conditionele Capaciteit: Visueel redeneren is geen universele nauwkeurigheidsbooster; de effectiviteit ervan is sterk afhankelijk van de specifieke modelarchitectuur en de visuele omgeving (2D vs. 3D vs. Real-world).
Onderscheidende Concepten: Het framework slaagt erin visuele-staat utiliteit (helpt de staat?) te scheiden van gedragsmatige afhankelijkheid (vertrouwt het model op de staat?). Een model kan weinig baat hebben bij een correcte staat, maar kan wel significant lijden onder een gecorrumpeerde staat, wat wijst op een afhankelijkheid die niet noodzakelijkerwijs vertaalt naar verbeterde kwaliteit van het redeneren.

De auteurs concluderen dat huidige multimodale modellen een "planning-rendering gap" vertonen, waarbij het vermogen om een visuele operatie te selecteren hoog is, maar het vermogen om de uitvoering en integratie van het resultaat de beperkende factor is. Het framework biedt een gecontroleerde omgeving om deze specifieke faalfasen te diagnosticeren.