🤖 AI

Real-Time Visual Attribution Streaming in Thinking Model

Deze paper introduceert een geamortiseerde framework dat real-time, causaal valide visuele attributie mogelijk maakt voor multimodale denkmodellen door de causaliteit van semantische gebieden direct te schatten uit attentiekenmerken, waardoor de noodzaak voor kostbare herhaalde berekeningen wordt overbodig.

Oorspronkelijke auteurs: Seil Kang, Woojung Han, Junhyeok Kim, Jinyeong Kim, Youngeun Kim, Seong Jae Hwang

Gepubliceerd 2026-04-21

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Seil Kang, Woojung Han, Junhyeok Kim, Jinyeong Kim, Youngeun Kim, Seong Jae Hwang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, visuele robot hebt die foto's kan bekijken en er complexe vragen over kan beantwoorden. Deze robot denkt hard na voordat hij antwoordt; hij "drukt" zijn gedachten uit in een lang verhaal, stap voor stap. Dit noemen we een "denkproces" of "reasoning trace".

Het probleem is: Waarom geloven we die robot?

Soms zegt de robot: "Ik zie een rode auto, dus ik denk dat het snel is." Maar als je naar de foto kijkt, zie je geen rode auto, alleen een blauwe. De robot hallucineert. Of hij kijkt naar de verkeerde plek op de foto terwijl hij over de juiste plek praat.

Tot nu toe was het heel moeilijk om te controleren of de robot echt naar de foto keek of dat hij gewoon giswerk deed. De oude methoden om dit te checken waren als volgt:

De "Brute Force" methode: Je neemt de foto, veeg je stukjes weg, en laat de robot opnieuw denken. Als het antwoord verandert, wist je dat hij naar dat stukje keek. Maar dit duurt eeuwen. Voor één vraag moet je de robot duizenden keren laten denken. Dat is te traag voor een gesprek.
De "Gok" methode: Je kijkt simpelweg waar de robot zijn ogen (de aandacht) op richt. Maar dat is vaak bedrieglijk. De robot kan naar de verkeerde plek kijken en toch het juiste antwoord geven, of andersom.

De Oplossing: VSTREAM (De Slimme Voorspeller)

De auteurs van dit papier hebben een nieuwe manier bedacht, genaamd VSTREAM. Ze noemen het een "geamortiseerde" methode. Dat klinkt ingewikkeld, maar het is eigenlijk heel slim en simpel.

De Analogie: De Oude Meester en de Leerling

Stel je voor dat je een Oude Meester hebt (de grote AI-robot) die heel langzaam en zorgvuldig denkt. Hij kan perfect uitleggen waarom hij een antwoord geeft, maar het kost hem veel tijd om dat te bewijzen.

In plaats van de Oude Meester elke keer te dwingen om alles opnieuw te bewijzen, trainen we een Slimme Leerling (het kleine model in de paper).

De Training: We laten de Oude Meester een paar duizend keer denken. Telkens als hij een stukje van de foto "weglaat" (alsof het verdwenen is), kijken we hoe zijn antwoord verandert. We leren de Leerling: "Kijk, als de Oude Meester naar deze rode auto kijkt, verandert zijn antwoord. Als hij naar de lucht kijkt, verandert het niet."
De Leerling wordt een Expert: Na een paar uur training (op slechts 2000 voorbeelden) weet de Leerling precies hoe de Oude Meester denkt, zonder dat de Oude Meester zelf hard hoeft te werken.
De Live Stream: Nu, als de Oude Meester een nieuwe vraag beantwoordt, kijkt de Leerling terwijl de Oude Meester denkt. De Leerling zegt direct: "Hé, in stap 3 keek de robot naar de auto, en in stap 5 keek hij naar de weg."

Dit gebeurt gelijktijdig. Terwijl de robot nog aan het denken is, zie je al waar hij naar kijkt. Het is alsof je een live ondertiteling ziet die precies aangeeft welke beelden de robot gebruikt.

Waarom is dit zo cool?

Snelheid: De oude methoden waren als het wachten op een brief per post. Deze nieuwe methode is als een video-oproep. Je ziet de bewijsvoering direct, terwijl de robot nog praat. Het is wel 100 keer sneller dan de oude methoden.
Eerlijkheid: De Leerling is getraind om te kijken naar de echte oorzaken (wat gebeurt er als ik dit stukje weg haal?), niet alleen naar waar de robot naar kijkt. Het is dus betrouwbaarder dan een simpele blik op de ogen van de robot.
Detectie van Leugens: Als de robot begint te hallucineren (leugens vertellen over de foto), zie je dit direct in de "stroom" van bewijzen. De robot begint dan naar de verkeerde plekken te kijken of zijn blik wordt wazig. Je kunt de leugen zien voordat het antwoord zelfs klaar is.

Samenvattend

Dit papier introduceert een systeem dat het mogelijk maakt om live te zien waar een slimme AI-robot naar kijkt terwijl hij een moeilijke vraag oplost.

In plaats van na afloop te wachten op een langdurig onderzoek, gebruiken ze een kleine, getrainde "assistent" die in real-time meekijkt en vertelt: "Kijk, hier is het bewijs!" of "Kijk, hier kijkt hij naar iets dat er niet is!".

Het is een enorme stap naar transparante en betrouwbare kunstmatige intelligentie, waarbij we niet hoeven te vertrouwen op blind geloof, maar het bewijs live kunnen zien.

Titel: Real-Time Visual Attribution Streaming in Thinking Model

Auteurs: Seil Kang, Woojung Han, Junhyeok Kim, Jinyeong Kim, Youngeun Kim, Seong Jae Hwang.

1. Het Probleem

Moderne Vision-Language Models (VLMs) met "denkvermogen" (thinking models) genereren uitgebreide redeneertraces om complexe visuele taken op te lossen, zoals het genereren van code uit screenshots of het oplossen van wiskundeproblemen uit diagrammen. Hoewel deze traces theoretisch moeten aantonen welke visuele elementen tot welke conclusies leiden, is het in de praktijk moeilijk te verifiëren of het model daadwerkelijk op visueel bewijs leunt of dat het "hallucineert" (plausibele verhalen bedenkt zonder visuele onderbouwing).

Bestaande methoden voor attributie (het toewijzen van belang aan input-features) hebben een fundamenteel compromis tussen trouw (faithfulness) en efficiëntie:

Gradiënt- en perturbatiemethoden: Deze zijn zeer betrouwbaar (hoog vertrouwen) omdat ze causale effecten meten door de input te veranderen, maar ze zijn extreem rekenintensief. Ze vereisen herhaalde forward/backward passes, wat leidt tot hoge latentie en maakt real-time analyse onmogelijk voor lange redeneertraces.
Rauwe attentiekaarten: Deze zijn direct beschikbaar tijdens inferentie en zeer snel, maar ze zijn vaak niet causaal betrouwbaar. Attentieverdelingen kunnen verschuiven zonder de uitkomst van het model te beïnvloeden.

Er is dus een dringend behoefte aan een methode die zowel real-time is als causaal betrouwbaar.

2. Methodologie: VSTREAM

De auteurs introduceren VSTREAM (Visual Attribution Streaming), een geamortiseerd raamwerk dat real-time visuele attributie mogelijk maakt met minimale rekenkosten. De kernidee is om een lichtgewicht estimator te trainen die causale effecten voorspelt op basis van attentiepatronen, in plaats van deze effecten elke keer opnieuw te berekenen.

Belangrijkste Componenten:

Semantische Region Unitisatie:
- In plaats van te werken met individuele pixels of tokens, worden visuele tokens gegroepeerd in semantisch coherente regio's (bijv. objecten, tekstblokken).
- Hiervoor wordt DINOv3 (een zelftoezichtend visueel fundamentmodel) gebruikt. De features worden onderworpen aan agglomeratieve clustering (Ward's linkage) om adaptief semantische regio's te vormen zonder externe segmentatiemaskers.
Amortisatie via een Lineaire Estimator:
- Training: Het model wordt getraind om de "ablatie-effecten" te voorspellen. Dit is de daling in log-probabiliteit van een gegenereerd token wanneer een specifieke visuele regio wordt verwijderd (geablateerd).
- Kenmerken: De estimator gebruikt de reeds berekende cross-attentie-weights (text-to-vision) als input. Voor elke regio wordt de gemiddelde attentie over de redeneer-span en de regio berekend.
- Model: Een zeer eenvoudige lineaire regressor (met slechts $L \times H$ parameters, waarbij $L$ het aantal lagen en $H$ het aantal heads is) leert de relatie tussen deze attentiepatronen en de werkelijke causale impact.
- Efficiëntie: De training kost slechts ongeveer 4,5 uur op één GPU met 2.000 voorbeelden. De estimator is zo licht dat hij geen extra forward passes vereist tijdens inferentie.
Asynchrone Streaming Architectuur:
- Tijdens het genereren van tokens (de "thinking" fase) worden de attentie-weights in een wachtrij geplaatst.
- Een achtergrondthread (consumer) verwerkt deze data asynchroon en berekent de attributie voor de voltooide redeneerstap terwijl het hoofdmodel doorgaat met het genereren van de volgende stap.
- Dit zorgt voor near-zero latency voor de gebruiker; de attributie is direct beschikbaar zodra een denkstap klaar is.

3. Belangrijkste Bijdragen

Formalisatie: Het formaliseren van token-level visuele attributie als causale ablatie-effecten en het identificeren van de schaalproblemen van directe perturbatie voor lange traces.
Real-time Streaming: Een methode die semantisch coherente eenheden bouwt en causale effecten amortiseert via een enkele forward pass, waardoor real-time inspectie mogelijk wordt.
Prestaties: De amortisatie-estimator bereikt prestaties die vergelijkbaar zijn met zware gradiënt- en perturbatiemethoden, maar met een aanzienlijk lagere rekenkost.
Trajectanalyse: Het biedt een nieuw inzicht in de dynamiek van redeneren door de evolutie van visuele afhankelijkheid over tijd te analyseren.

4. Resultaten

De methode is geëvalueerd op vier verschillende redenerende VLMs (o.a. Qwen3-VL, GLM-4.1V, MiMo-VL, Cosmos-Reason1) over vijf taakcategorieën (Wiskunde, Wetenschap, Documenten, Code, Algemeen).

Trouw vs. Snelheid: VSTREAM bereikt een R² van 0,65 tussen voorspelde en werkelijke ablatie-effecten, wat vergelijkbaar is met de beste basismethoden (zoals InputGrad en AttnLRP).
Snelheidswinst: In vergelijking met gradiënt-gebaseerde methoden is VSTREAM tot 117x sneller. Het voegt slechts ongeveer 0,024 seconden toe per 10 tokens, wat onder de real-time drempel blijft (< 0,1s per token).
Generalisatie: De estimator generaliseert goed over verschillende taken. Hoewel er een lichte daling is bij het overschakelen van wiskunde naar documenten (vanwege verschillende visuele lay-outs), herstelt een "mix-up" training (trainen op alle taken) de volledige prestatie.
Data-efficiëntie: De estimator convergeert al met slechts 500-2.000 trainingsvoorbeelden, wat de methode zeer toegankelijk maakt voor nieuwe domeinen.
Analyse van Redeneerfouten:
- Succesvolle redenering toont stabiele, gerichte trajecten in de attributieruimte (korte padlengte, lage tortuositeit).
- Mislukte redenering en hallucinaties tonen chaotische, kronkelende trajecten.
- Vroege detectie: Het is mogelijk om hallucinaties of fouten te detecteren voordat het antwoord volledig is gegenereerd, gebaseerd op de "tortuositeit" (slenteren) van de attributietrajecten.

5. Betekenis en Impact

Dit werk is een doorbraak in de interpretability van multimodale modellen.

Vertrouwen: Het stelt ontwikkelaars en gebruikers in staat om live te zien waar een model naar kijkt terwijl het denkt. Dit helpt bij het onderscheiden van perceptie-fouten (het model ziet iets niet) en redeneer-fouten (het model ziet het wel, maar trekt de verkeerde conclusie).
Debugging: Het maakt interactief debuggen mogelijk, waarbij gebruikers prompten kunnen verfijnen op basis van visuele attributie die direct beschikbaar is, in plaats van te wachten tot het model klaar is.
Toekomst: De methode toont aan dat "brute-force" computation niet nodig is voor causaal betrouwbare attributie; lichtgewicht leerprocessen kunnen de kloof tussen snelheid en nauwkeurigheid dichten.

Samenvattend biedt VSTREAM een praktische, schaalbare oplossing om de "black box" van visuele redenerende modellen open te breken, waardoor veiliger en transparantere AI-systemen mogelijk worden.