Technische Samenvatting: Lezen is niet Redeneren: Het overbruggen van de Agentic Policy Gap in Visie–Tekst Compressie

Probleemstelling

Large Language Model (LLM) agents die complexe, meerstaps-taken oplossen, accumuleren een groeiende interactiegeschiedenis. Het herhaaldelijk verwerken van deze uitbreidende context brengt aanzienlijke kosten met zich mee voor tokens, geheugen en latentie. Visie–Tekst Compressie (VTC) biedt een oplossing door tekstgebaseerde geschiedenissen te renderen naar informatie-dichte afbeeldingen, wat het aantal tokens aanzienlijk vermindert. Hoewel VTC de context-efficiëntie verbetert, introduceert het een significante capaciteitskloof: agents die opereren op visuele geschiedenissen presteren aanzienlijk slechter dan die opereren op tekstuele geschiedenissen, ondanks dat zij dezelfde interactie-inhoud ontvangen.

De centrale vraag die dit werk adresseert, is of deze prestatievermindering voortkomt uit een onvermogen om de gecomprimeerde geschiedenis te lezen (een perceptueel/OCR-probleem) of uit een onvermogen om te redeneren en te handelen op basis van de herstelde informatie (een agentic policy-probleem).

Methodologie: CAPS Framework

De auteurs introduceren CAPS (Cross-modal Agentic Policy Self-distillation), een tweestaps framework ontworpen om de redeneer- en besluitvormingscapaciteiten van een sterke tekst-geschiedenis policy over te dragen naar een visuele-geschiedenis policy. De kerninzicht is dat de tekst-geschiedenis policy dient als een superieure "leraar" voor de visuele-geschiedenis "student", aangezien zij dezelfde basismodellen en actieruimte delen en enkel verschillen in de modaliteit van de geschiedenisrepresentatie.

1. Offline Trajectory Self-Distillation

In de eerste fase initialiseert het framework de visuele-geschiedenis policy door te leren van succesvolle trajecten gegenereerd door de tekst-geschiedenis policy.

• Data Constructie: Succesvolle rollouts van de tekst-geschiedenis policy worden verzameld. Voor elke beslissingsstap wordt de tekstuele geschiedenis gerenderd naar zijn visuele vorm (afbeelding), terwijl de doelrespons (redenering en actie) ongewijzigd blijft.
• Doelstelling: De visuele-geschiedenis policy wordt getraind via next-token prediction om de volledige responsen (redenering + actie) van de leraar-policy te reproduceren, gegeven de visuele geschiedenis input. Deze fase draagt de "succesvolle gedragingen" over, maar is beperkt tot staten die door de leraar zijn bezocht.

2. Online Policy Self-Distillation

De tweede fase adresseert de distributie-mismatch tijdens reinforcement learning (RL), waarbij de visuele-geschiedenis policy staten bezoekt die geïnduceerd zijn door haar eigen acties, welke kunnen verschillen van de trajecten van de leraar.

• Mechanisme: Tijdens GRPO (Group Relative Policy Optimization) training, voor elke staat bezocht door de student (visuele) policy, construeert het systeem een gekoppelde tekst-geschiedenis context die dezelfde observaties en acties bevat.
• Supervisie: Een bevroren tekst-geschiedenis leraar-policy verwerkt deze gekoppelde tekstuele context en biedt volledige-vocabulaire supervisie op de gegenereerde respons-prefixes van de student.
• Loss Functie: Een forward KL-divergentie loss wordt berekend tussen de token-distributies van de leraar en de student, afgekort (clipped) om dominantie door uitschieters te voorkomen. Deze loss wordt gecombineerd met de standaard RL-reward objective, wat zorgt voor dichte policy-supervisie op de eigen interactie-distributie van de student.

Belangrijkste Bijdragen

1. Diagnose van de Agentic Policy Gap: Door middel van gecontroleerde evaluaties (geschiedenisherstel, gematchte-staat beslissingen, en trajectkwaliteit) demonstreren de auteurs dat de prestatiekloof niet primair te wijten is aan de OCR-kwaliteit. Hoewel geschiedenisherstel imperfect is, is de primaire foutmodus een systematische drift in actiekeuze, query-formulering, stopbeslissingen en het gebruik van bewijslast. De visuele-geschiedenis agents "lezen" de inhoud, maar falen in het effectief redeneren erop.
2. CAPS Framework: Het voorstel van een tweestaps cross-modale zelf-distillatie framework dat succesvol de tekst-geschiedenis redeneergedragingen overdraagt naar visuele-geschiedenis agents, waardoor de policy-kloof wordt overbrugd zonder de token-efficiëntie van VTC op te offeren.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat expliciete cross-modale policy alignment noodzakelijk is om de agent-capaciteit te behouden onder visie–tekst compressie.

Experimentele Resultaten

Het framework werd geëvalueerd op SearchQA (multi-hop zoektaken) en ALFWorld (embodied huishoudelijke taken) met 3B en 7B parameter backbones.

• SearchQA: CAPS verbeterde de baseline AgentOCR met 5.0% (3B) en 3.4% (7B) in Exact Match (EM). Opvallend genoeg presteerde CAPS met een 7B backbone 0.5 punten beter dan zijn eigen tekst-geschiedenis leraar.
• ALFWorld: Op full-history taken ($H=50$) bereikte CAPS succespercentages van 93.8% (3B) en 95.7% (7B), waarmee het AgentOCR respectievelijk met 15.6% en 14.5% overtrof.
• Efficiëntie: Ondanks de prestatiewinsten behield CAPS de efficiëntievoordelen van VTC. Vergeleken met gematchte tekst-geschiedenis policies, verminderde CAPS de gemiddelde geheugen-context kosten met tot wel 63.3% en de piek kosten met tot wel 83.4%.
• Ablatie Studies: Zowel de offline als de online distillatie-fasen bleken complementair te zijn. Alleen offline distillatie was onvoldoende om de policy te initialiseren voor visueel redeneren, terwijl online distillatie cruciaal was voor adaptatie aan de eigen staat-distributie van de student.

Betekenis en Claims

Het paper betoogt dat context-efficiëntie niet inherent de preservatie van capaciteit impliceert. De primaire bottleneck in visie–tekst compressie voor agents is niet het vermogen om tekst uit afbeeldingen te herstellen (OCR), maar de agentic policy gap — het falen van het model om effectief te redeneren en te handelen op basis van de herstelde informatie.

De auteurs claimen dat hun resultaten aantonen dat expliciete cross-modale zelf-distillatie een levensvatbare en noodzakelijke methode is om deze kloof te overbruggen. Door de sterkere redeneercapaciteiten van een tekst-geschiedenis policy te gebruiken om een visuele-geschiedenis policy te superviseren, stelt CAPS agents in staat om op gecomprimeerde visuele contexten te opereren terwijl zij de prestaties van hun tekstgebaseerde tegenhangers behouden, of zelfs overtreffen. Dit suggereert dat toekomstige efficiënte agent-systemen zich moeten richten op policy alignment over modaliteiten heen, in plaats van enkel op compressie-getrouwheid.

Het werk concludeert dat effectieve visuele-geschiedenis compressie policy alignment vereist, en niet enkel de preservatie van herstelbare content.