Technische Samenvatting: Diagnostiek van Falingsmodi bij Gedeelde-Toestand Collaboratie in Middelenbeperkte Visuele Agenten

Probleemstelling

Modulaire visuele redeneersystemen vertrouwen steeds vaker op gedeeld werkgeheugen (bijv. "whiteboards" of kladblokken) om intermediaire toestanden te externaliseren, waardoor modellen met een beperkte capaciteit complexe queries kunnen opdelen in verifieerbare stappen. De effectiviteit van dit paradigma blijft echter onbewezen onder middelenbeperkte regimes, specifiek bij het gebruik van zwakke leerders (4B–8B parameter modellen) met strikte rekenbudgetten.

De centrale hypothese van dit werk is dat in dergelijke laag-capaciteit settings de collaboratieve lus niet fungeert als een betrouwbare geheugenopslag, maar als een ruisachtig communicatiekanaal. Elke extra interactieronde brengt lineaire computationele kosten met zich mee en introduceert risico's van ruisaccumulatie, waarbij ongegronde intermediaire aantekeningen worden "verhard" tot incorrect bewijs, of beleidsdrift (policy drift), waarbij het model verschuift naar ondergespecificeerde outputs. Het artikel betoogt dat zonder rigoureuze integriteitsauditing de dynamiek van falen bij de evolutie van de intermediaire toestand in deze regimes nog onverkend is.

Methodologie: Het CoSee Framework

Om deze grenzen te onderzoeken, introduceren de auteurs CoSee, een auditeringsframework en collaboratieprotocol ontworpen om het nut van gedeelde context onder kleine-model restricties te meten.

1. Formalisering van de Inferentie-lus

Het probleem wordt geformuleerd als een sequentieel beslissingsproces waarbij een visueel-talig model $M_\theta$ een antwoord $a$ genereert, geconditioneerd op visuele input $I$ en query $q$, gemedieerd door een sequentie van discrete latente toestanden (het Bord, $B_{1:T}$). Het framework behandelt het inferentie-traject als een probabilistische trace $\tau = (I, q, B_{1:T}, \hat{a})$.

2. Experimentele Protocollen

De studie vergelijkt drie verschillende inferentieprotocollen onder strikt gematchte prompts en decoding-caps (maximaal 32 nieuwe tokens per call, $T=3$ stappen):

• Directe Inferentie (Baseline): Een single-turn generatie zonder het bijhouden van een intermediaire toestand.
• Open-Loop Iteratieve Verfijning:
  • Single-Agent: Eén agent werkt het bord iteratief bij.
  • Dual-Agent (Scanner–Checker): Twee rollen afgeleid van dezelfde backbone opereren in afwisselende beurten (de één stelt bewijs voor, de ander verfijnt/weerlegt).
• Gated Transition (Verified-Board): Een conditioneel gating-mechanisme waarbij een verificatiefunctie $V_\phi$ (geparameteriseerd door dezelfde backbone) voorgestelde bord-entries filtert. Alleen entries die als "Supported" worden gemarkeerd, worden aan het bord toegevoegd; anderen worden weggegooid. Dit fungeert als een informatie-bottleneck om ruispropagatie te voorkomen.

3. Evaluatie-opzet

• Backbones: Experimenten maken gebruik van 4B–8B klasse modellen: Qwen3-VL-4B/8B-Instruct, Phi-4-multimodal-instruct, en Gemma-3-4B-it.
• Benchmarks: Drie distributies die verschillende falingsmodi vertegenwoordigen:
  • SlideVQA: Multi-page retrieval (high-recall regime).
  • ChartQAPro: Kwantitatieve redenering met adversariële perturbaties (high-precision regime).
  • VQAonline: Open-ended synthese vanuit webdata (policy-sensitive regime).
• Metrieken: Naast standaard Exact Match (EM) en Loose Match, gebruiken de auteurs Format-Robust Scoring (om hallucinatie te isoleren van formatteringsfouten) en Policy-Aware F1 (om coverage collapse te detecten). Cruciaal is dat zij een "no-exclusion" scoringbeleid hanteren, waarbij slecht gevormde of gelekte outputs als falen worden behouden om protocolinstabiliteit te bestraffen.
• Kostenanalyse: Prestaties worden geëvalueerd tegen computationele kosten met behulp van Cost–Accuracy Pareto-fronten, waarbij nut (accuratesse) wordt uitgezet tegen het totaal gegenereerde tokens.

Belangrijkste Resultaten

De empirische investigatie onthult een duidelijk Efficiëntieparadox: naïef gebruik van gedeeld geheugen verslechtert vaak de prestaties in plaats van ze te verbeteren voor zwakke leerders.

1. Negatieve Rendementen op Compute

Over alle drie de backbones en datasets heen, presteren de multi-agent en single-board open-loop protocollen frequent slechter dan de directe single-turn baseline.

• ChartQAPro & VQAonline: Naïeve collaboratie vertoont statistisch significante prestatiedalingen. De extra compute (tokens) correleert negatief met de accuratesse, waardoor deze methoden in het "negatieve nut" kwadrant van de Pareto-front terechtkomen.
• SlideVQA: Hoewel retrieval-taken marginale of neutrale winsten laten zien, vertonen zij niet de ernstige degradatie die gezien wordt in reasoning-zware taken, wat suggereert dat de falingsmodus specifiek is voor reasoning-ketens in plaats van eenvoudige bewijsretrieval.

2. Geïdentificeerde Falingsmodi

Trace-level diagnostiek isoleert twee dominante mechanismen die deze degradatie drijven:

• Ruisversterking (Noise Reinforcement) (ChartQAPro): Bij kwantitatieve redenering worden ongegronde intermediaire aantekeningen (bijv. het verkeerd lezen van een grafieklegenda) naar het bord geschreven en vervolgens behandeld als grondwaarheid-bewijs door de uiteindelijke beantwoorder. Dit creëert een positieve feedbackloop waarbij vroege perceptiefouten worden "verhard" tot het uiteindelijke antwoord.
• Beleidscollaps (Policy Collapse) (VQAonline): Bij open-ended synthese induceert de aanwezigheid van intermediaire context een distributionele verschuiving. Het model stort in richting overly terse responsen (verschuivend van 17–32 token bins naar 0–16 token bins), wat leidt tot een ernstige onderdekking van vereiste antwoordcomponenten. Dit is een geleerde afhankelijkheid van de bord-samenvatting in plaats van een gevolg van token-truncatie.

3. De Rol van Verificatie

De Verified-Board controle laat zien dat de bottleneck niet de redeneercapaciteit is, maar de communicatie-getrouwheid (communication fidelity). Het introduceren van een eenvoudige verificatie-gate (Support/Refute check) herstelt het grootste deel van de prestatiedaling op ChartQAPro, waardoor de foutpropagatie effectief wordt gestopt. Dit bevestigt dat lichtgewicht verificatie de minimale noodzakelijke voorwaarde is voor betrouwbaar schalen in dit regime.

Betekenis en Bijdragen

Het artikel levert drie belangrijke bijdragen aan het begrip van modulaire visuele agenten:

1. Formeel Auditeringsframework (CoSee): Het biedt een rigoureus protocol voor het traceren van informatiestroom en integriteit in modulaire VQA-systemen, wat een systematische investigatie mogelijk maakt naar de grenzen van de samenwerking tussen zwakke leerders.
2. Taxonomie van Falingsmechanismen: Het stelt een classificatie vast van dominante falingsmodi — specifiek Noise Reinforcement en Policy Collapse — en demonstreert dat naïeve gedeelde werkruimtes hallucinaties eerder versterken dan oplossen.
3. Ontwerpprincipes voor Middelenbeperkte Agenten: De bevindingen dagen de intuïtie uit dat "denken op papier" inherent de redenering verbetert. In plaats daarvan betoogt het artikel dat voor 4B–8B modellen de bottleneck ligt in de communicatie-getrouwheid, niet in de diepte van de redenering. Het stelt dat betrouwbaar modaal ontwerp closed-loop controles (gated transitions) en gegronde informatie-bottlenecks vereist om de thermodynamica van foutpropagatie te voorkomen, in plaats van simpelweg open-loop rollen te prolifereren.

Concluderend suggereert het werk dat voor middelenbeperkte agenten, toegenomen test-time compute zonder expliciete verificatiemechanismen leidt tot afnemende of zelfs negatieve rendementen. De weg naar betrouwbare modulaire agenten ligt in het ontwerpen van mechanismen die ruis bij de bron filteren, zodat de gedeelde toestand fungeert als een valide ondersteuning voor redenering in plaats van een ruisachtig kanaal.