Technische Samenvatting: De Eb en Vloed van Multimodale Focus

1. Probleemstelling

Vision-language modellen (VLM's) hebben krachtige redeneercapaciteiten getoond, maar lijden echter vaak onder degradatie van visueel bewijs tijdens meerstapsinferentie. Zodra visuele informatie is geabsorbeerd in de taalstack, neemt de invloed ervan vaak af met de diepte, raakt het verstrengeld met de taalorganisatie, of drift het weg naarmate de generatie vordert. Dit leidt tot "visuele verwaarlozing", waarbij modellen vertrouwen op taalprioriteiten in plaats van op gegrond visueel bewijs, wat resulteert in hallucinaties en redeneerfouten.

Hoewel eerdere werken hebben geprobeerd deze problemen te mitigeren via contrastieve decodering, aandachtherallocatie of activatiesturing, blijft een verenigd begrip van hoe visueel bewijs over de diepte van het netwerk wordt georganiseerd en gebruikt, onduidelijk. Specifiek is het onbekend of deze foutmodi voortkomen uit één evoluerend proces of afzonderlijke signalen, en hoe interventie moet inspelen op de veranderende rol van visueel bewijs naarmate het redeneren vordert.

2. Methodologie

2.1 Mechanistische Analyse: Het Visuele Relay Venster (VRW)

De auteurs onderzoeken eerst de interne dynamiek van VLM's vanuit een mechanistisch perspectief. Door twee specifieke aandachtsprobes over Transformer-lagen te volgen, ontdekken ze een stabiele driedelige herverdeling van de multimodale focus:

1. Vroege Fase (Vraag-geconditioneerde Organisatie): Het model stemt de visuele input af op de query. De aandacht wordt gedomineerd door de vraag-gerichte probe ($M_{A \to Q}$), terwijl de intra-visuele aandacht ($M_{I \to I}$) laag is.
2. Middelste Fase (Visueel-Dominante Relay): Een kritieke fase waarin de balans verschuift. De intra-visuele aandacht stijgt aanzienlijk naarmate het model visueel bewijs consolideert en relevante structuren voor het antwoord samenstelt. De vraag-gerichte probe neemt af.
3. Late Fase (Antwoordvorming): De berekening keert terug naar de taalzijde om het uiteindelijke antwoord te genereren, waarbij de samengestelde visuele ondersteuning wordt overgedragen.

De auteurs operationaliseren de middelste fase als het Visuele Relay Venster (VRW). Ze definiëren een relay-dominantiescore $R(l) = M_{I \to I}^{(l)} - M_{A \to Q}^{(l)}$ (na gezamenlijke normalisatie) om het interval $[s, e]$ te identificeren waar visuele consolidatie domineert.

Belangrijkste bevindingen uit de analyse:

• Taakafhankelijke Geometrie: Het VRW is niet vaststaand; de breedte en de einddiepte passen zich aan de taakeisen aan. "Detail-rijke" taken (bijv. tellen) vertonen bredere, later-relayerende vensters, terwijl "redeneer-rijke" taken kortere vensters met eerdere overdrachten vertonen.
• Relay Mismatch: Gehallucineerde (niet-onderbouwde) antwoorden zijn causaal verbonden met een mismatch in de relay-geometrie. Deze trajecten verlaten de relay-fase vaak te vroeg (smalle vensters) of falen om sterke visuele verankering te behouden na de overdracht, waardoor ze afdrijven naar taalprioriteiten.
• Causale Validatie: Het verstoren van staten specifiek binnen het geschatte VRW van een niet-onderbouwd traject herstelt de gegronde responsen significant (41,4% herstelpercentage), terwijl perturbaties buiten dit venster minimaal effect hebben.

2.2 Het TRACE-framework

Op basis van deze bevindingen stellen de auteurs TRACE voor (Task-adaptive Relay Anchoring and Controlled Evidence Scheduling), een inferentie-tijd controleframework bestaande uit drie lichtgewicht, getrainde modules:

1. Learned Relay Predictor: Een lichtgewicht MLP die een "relay score" voorspelt voor elke prefill-laag op basis van compacte aandachtstatistieken (visuele zelf-aandachtsmassa, de verandering daarvan, vraag-naar-visuele aandacht en laagdiepte). Het identificeert welke lagen waarschijnlijk zullen deelnemen aan de relay.
2. Task-Aware Relay Scheduling:
   • Prefill: Gebruikmakend van de output van de predictor, moduleert de scheduler dynamisch de visuele-naar-visuele aandachtbiases. Het kan de relay-fase uitbreiden voor grounding-gevoelige taken of inkorten voor redeneer-rijke taken.
   • Dynamische Selectie: Het behoudt een taakrelevante subset van visuele tokens (Top-P gebaseerd op vraag-naar-visuele relevantie) om de interventie te concentreren op de gerekruteerde bewijslast.
3. Post-Handoff Anchoring: Zodra de relay-fase eindigt (geïdentificeerd door een drempelwaarde-stoppingsregel), past het framework een diepte-vervalde additieve bias toe op de antwoord-naar-visuele logits. Dit zorgt ervoor dat de samengestelde visuele ondersteuning toegankelijk blijft tijdens de decoderingsfase, wat voorkomt dat het model afdrijft van het bewijs.

Het framework wordt getraind via gezamenlijke optimalisatie van de predictor, scheduler en anchoring loss op gesuperviseerde triples, waarbij de parameters van de basis-VLM bevroren blijven.

3. Belangrijkste Bijdragen

1. Structurele Identificatie: Het artikel identificeert een stabiele, driedelige herverdeling van de multimodale focus over de diepte en formaliseert de middelste fase als het Visuele Relay Venster (VRW), wat een structurele maatstaf biedt voor de interne assemblage van bewijs.
2. Mechanistische Verklaring: Het legt een causaal verband tussen optimale relay-timing en gegronde generatie, en toont aan dat hallucinaties vaak ontstaan door een mismatch tussen de bewijseisen van de taak en de relay-geometrie van het model.
3. Verenigde Interventie (TRACE): De auteurs introduceren een framework dat de relay-allocatie tijdens de prefill hervormt en de ondersteuning behoudt tijdens de decodering. Deze aanpak adresseert zowel het mitigeren van hallucinaties als complexe redenering onder één enkel controleprincipe, in plaats van aparte oplossingen voor elk te ontwerpen.

4. Experimentele Resultaten

TRACE werd geëvalueerd op vier open-weight VLM-backbones (Qwen3-VL-4B/8B, InternVL3.5-4B/8B) over zeven benchmarks die grounding-gevoeligheid, fijnmazig bewijs en redeneer-rijke taken dekken.

• Grounding-gevoelige instellingen: TRACE leverde significante winsten op HallusionBench, VlmsAreBlind en CountBench, met een verbetering van gemiddeld 4,33 punten en tot wel 6,6 punten op specifieke model-benchmark paren (bijv. InternVL3.5-8B op HallusionBench).
• Redeneer-rijke taken: Het verbeterde ook de prestaties op MathVista (gemiddelde winst van 3,05 punten), wat aantoont dat het aanpassen van de relay-geometrie ook redeneertaken ten goede komt door een eerdere overdracht naar de taal-zijde van het redeneren mogelijk te maken zodan zodra het bewijs is georganiseerd.
• Vergelijking: TRACE presteerde beter dan vanilla inference, self-consistency, Chain-of-Thought en diverse inference-tijd controle-baselines (VCD, PAI, MARINE, PTI, DMAS).
• Ablatie: Het verwijderen van een van de drie kerncomponenten (Predictor, Scheduler, Anchoring) resulteerde in prestatieverlies, wat bevestigt dat het specifieke mechanisme van het hervormen van de relay-geometrie cruciaal is, en niet slechts de toevoeging van trainbare parameters.

5. Betekenis en Claims

Het artikel claimt dat het expliciet controleren van de multimodale focus over de diepte een verenigd en effectief mechanisme biedt voor het versterken van bewijs-gegronde redenering. Door diverse downstream taakeisen te bekijken door de lens van een enkele onderliggende computationele ritme (de relay), vermijdt TRACE de noodzaak voor taakspecifieke heuristieken.

De auteurs benadrukken dat hun werk een mechanistische verklaring biedt voor typische hallucinaties (vroege relay-terminatie) en de capaciteitsverschillen tussen standaard en "Thinking" modellen (betere relay-matching). Hoewel de huidige analyse steunt op aandacht-afgeleide probes en single-image settings, stelt het werk een algemeen paradigma voor betrouwbaarder multimodaal redeneren voor door de assemblage van intern bewijs af te stemmen op de specifieke eisen van de taak.