AgentOCR: Reimagining Agent History via Optical Self-Compression

AgentOCR is een framework dat de groeiende tekstuele geschiedenis van agenten omzet in compacte beelden met behulp van segment-optische caching en zelfcompressie, waardoor de token- en geheugenefficiëntie aanzienlijk wordt verbeterd zonder de prestaties te verlagen.

De kern

🧠 Het Probleem: De "Geheugenstroom" die verstikt

Stel je voor dat je een super slimme robot (een AI-agent) hebt die complexe taken moet uitvoeren, zoals het zoeken naar informatie op internet of het oplossen van puzzels in een virtueel huis. Om slim te zijn, moet deze robot zich herinneren wat hij al heeft gedaan en wat hij heeft gezien.

In de huidige wereld doet de robot dit door alle tekst die hij heeft gegenereerd en ontvangen, stap voor stap in zijn geheugen te stoppen.

• Het probleem: Naarmate het gesprek langer duurt, wordt die tekstlijst enorm. Het is alsof je een boek schrijft, maar elke keer als je een nieuwe zin toevoegt, moet je het hele boek opnieuw lezen om te weten wat er staat.
• De gevolgen: De robot wordt traag, het kost enorm veel rekenkracht (en geld), en hij raakt "verward" omdat zijn geheugen vol zit met oude tekst die hij niet meer kan verwerken.

💡 De Oplossing: AgentOCR (De "Foto-herinnering")

De auteurs van dit paper, AgentOCR, hebben een slimme oplossing bedacht: Waarom lezen we die lange tekst niet gewoon als een foto?

Stel je voor dat je in plaats van een lang dagboek te schrijven, elke dag een foto maakt van je dag.

• Tekst vs. Foto: Een pagina tekst met 1000 woorden is lang en saai om te lezen. Maar als je diezelfde pagina als een foto ziet, neemt die foto veel minder ruimte in beslag in je hoofd, terwijl je nog steeds alle informatie kunt zien.
• De truc: AgentOCR neemt de hele geschiedenis van de robot (alle vragen, antwoorden en zoekresultaten) en "tekent" dit om in één compacte afbeelding. De robot kijkt dan niet naar de tekst, maar naar de foto. Hierdoor vermindert de hoeveelheid informatie die de robot moet verwerken met meer dan de helft!

🚀 De Twee Slimme Trucs

Om dit systeem echt goed te laten werken, hebben ze twee extra slimme technieken toegevoegd:

1. De "Herinneringskast" (Segment Optical Caching)

Stel je voor dat je een fotoalbum maakt. Als je elke dag een nieuwe foto toevoegt, moet je niet elke dag het hele album opnieuw fotograferen.

• Hoe het werkt: AgentOCR splitst de geschiedenis op in kleine stukjes (zoals losse foto's). Als een stukje tekst (bijvoorbeeld een veelvoorkomende zoekopdracht) al eerder is omgezet in een foto, slaat het systeem die foto op in een "kast".
• Het voordeel: Als diezelfde tekst later weer terugkomt, pakt de robot gewoon de oude foto uit de kast in plaats van hem opnieuw te maken. Dit maakt het proces 20 keer sneller en bespaart veel ruimte.

2. De "Slimme Drukknop" (Agentic Self-Compression)

Soms heb je een heel gedetailleerde foto nodig (bijvoorbeeld om een klein woordje te lezen), en soms is een vage schets genoeg (als je alleen de hoofdpunten nodig hebt).

• Hoe het werkt: De robot leert zelf te beslissen hoe "scherp" of "vaag" de foto moet zijn. Hij kan een knop draaien om de foto te verkleinen (compressie).
  • Is de taak moeilijk? Dan maakt hij de foto scherp (veel details, maar meer kosten).
  • Is het een simpele stap? Dan maakt hij de foto vaag (weinig details, maar heel goedkoop).
• De leercurve: De robot wordt beloond als hij slim omgaat met deze knop: hij moet de taak succesvol afronden, maar zo weinig mogelijk "ruimte" gebruiken.

🏆 Wat is het resultaat?

De onderzoekers hebben dit getest op twee moeilijke taken:

1. ALFWorld: Een robot die in een virtueel huis moet opruimen en voorwerpen moet vinden.
2. Zoek-vragen: Een robot die op internet moet zoeken om complexe vragen te beantwoorden.

De resultaten zijn indrukwekkend:

• De robot is even slim als de tekst-robot (hij lost 95% van de taken even goed op).
• Maar hij gebruikt 50% tot 80% minder rekenkracht (tokens).
• Het is alsof je een vrachtwagen vol boeken vervangt door een enkele, slimme tablet die precies dezelfde informatie bevat, maar veel lichter is om te dragen.

🎯 Conclusie in één zin

AgentOCR leert robots om hun lange, saaie tekstgeschiedenis om te zetten in compacte foto's, zodat ze sneller, goedkoper en net zo slim kunnen blijven werken, zelfs als ze heel lang bezig zijn.

Technische samenvatting

Titel: AgentOCR: Agentgeschiedenis herbekeken via optische zelfcompressie

Auteurs: Lang Feng, Fuchao Yang, Feng Chen, et al. (Nanyang Technological University & Tongyi Lab, Alibaba Group)
Datum: Januari 2026 (voorgesteld)

---

1. Het Probleem

Recente vooruitgang in Large Language Models (LLM's) heeft geavanceerde agent-systemen mogelijk gemaakt die via Reinforcement Learning (RL) worden getraind op multi-turn interacties. Een groot obstakel voor de praktische implementatie van deze systemen is echter de explosieve groei van de tekstuele geschiedenis.

• Context-omvang: Naarmate agenten meer interacties hebben met een omgeving, stapelen de observaties en acties zich op, wat leidt tot enorme token-buffers.
• Kosten en Latentie: Deze groei verbruikt de beperkte token-begroting van LLM's, veroorzaakt hoge inferentie-latentie en leidt tot exorbitante rekentkosten door de kwadratische complexiteit van attention-mechanismen en KV-cache-beheer.
• Beperkingen: Bestaande methoden voor contextcompressie (zoals prompt-compressie of retrieval) lossen dit niet volledig op, vooral niet bij zeer lange trajecten met veel tekstuele details.

2. Methodologie: AgentOCR

AgentOCR is een raamwerk dat de agentgeschiedenis niet als een tekstreeks, maar als een compacte visuele weergave (afbeelding) behandelt. Het benut de superieure informatiedichtheid van visuele tokens ten opzichte van tekst.

De kerncomponenten zijn:

A. Optische Geheugencodering

In plaats van ruwe tekstlogs te verwerken, wordt de cumulatieve geschiedenis van observaties en acties (h_t) omgezet in een RGB-afbeelding (I_t) via een deterministische renderer (ℛ). De agent konditioneert zijn beleid op deze visuele geschiedenis in plaats van op tekst.

B. Segment Optische Caching (Segment Optical Caching)

Om render-overhead te minimaliseren tijdens lange rollouts, deelt AgentOCR de geschiedenis op in hashbare segmenten.

• Mechanisme: De geschiedenis wordt opgesplitst in segmenten. Elke unieke segmenttekst wordt een keer gerenderd en opgeslagen in een cache (gekeyd op de hash van de tekst).
• Efficiëntie: Bij elke stap worden alleen nieuwe segmenten gerenderd. Herhaalde content (zoals veelvoorkomende tool-outputs of boilerplate) wordt uit de cache opgehaald.
• Resultaat: Dit elimineert redundant renderen en zorgt voor een lineaire of zelfs afnemende tijdscomplexiteit naarmate de cache "opwarmt".

C. Agent Zelfcompressie (Agentic Self-Compression)

AgentOCR introduceert een dynamisch mechanisme waarbij de agent zelf de compressiegraad bepaalt.

• Actieve Moduleren: De agent genereert een <compression> tag met een factor c_t ≥ 1. Een hogere factor leidt tot een kleinere afbeelding (lagere resolutie) en dus minder visuele tokens.
• Compressie-bewuste Beloning (Reward): Tijdens het RL-training (bijv. met GRPO) krijgt de agent een extra beloningsterm die afhankelijk is van het succes van de taak en de compressiegraad:
  • r_comp = ln(c_t) als de taak succesvol is voltooid.
  • 0 anders.
• Intermittent Reinforcement: Om te voorkomen dat de agent te agressief comprimeert (en zo de taak faalt), wordt deze beloning alleen periodiek (elke K iteraties) toegepast. Dit dwingt de agent om een balans te vinden tussen taaksucces en token-efficiëntie.

3. Belangrijkste Bijdragen

1. Visuele Historie als Geheugen: Het introduceren van een paradigma waarbij agentgeschiedenis als een "optisch geheugen" wordt opgeslagen, wat een aanzienlijke reductie in token-omvang mogelijk maakt.
2. Segment Optische Caching: Een innovatieve caching-mechanisme dat render-overhead drastisch verlaagt door hergebruik van visuele segmenten, wat essentieel is voor schaalbaarheid.
3. Zelfcompressie met RL: Een mechanisme waarbij de agent leert om dynamisch de resolutie van zijn eigen geheugen aan te passen, gebaseerd op de complexiteit van de huidige taakstap, in plaats van een statische compressie te gebruiken.
4. Empirische Validatie: Uitgebreide experimenten die aantonen dat hoge compressie mogelijk is zonder significante verlies aan prestaties.

4. Resultaten

De methode is getest op twee uitdagende benchmarks: ALFWorld (embodied tasks) en Search-based QA (tekst-dichte zoekopdrachten).

• Prestaties: AgentOCR behoudt >95% van de prestaties van sterke tekstuele agent-pijplijnen (bijv. 78.2% vs 79.9% op ALFWorld met 3B modellen).
• Token-efficiëntie: Er is een reductie in tokenverbruik van >50% (gemiddeld) tot wel 80% in piekmomenten.
  • Bij Search-based QA daalde het gemiddelde tokenverbruik van 0.73k naar 0.36k (50.7% reductie) en de piek van 13.84k naar 2.65k (80.9% reductie).
• Snelheid: De segment optische caching zorgt voor een 20x versnelling in render-tijd ten opzichte van het zonder cache renderen, en is ook sneller dan een "naive" incrementele caching-methode.
• Zelfcompressie Analyse: Zonder RL neigt de agent naar lage compressie. Met RL (en de juiste beloningsfrequentie) leert de agent agressiever te comprimeren (gemiddelde factor ~1.28) terwijl het succespercentage hoog blijft.

5. Betekenis en Toekomstperspectief

AgentOCR biedt een fundamentele oplossing voor het "context-bottleneck"-probleem in lange-horizon agent-taken. Door de visuele modality te gebruiken als een compacte drager van informatie, maakt het de inzet van LLM-agenten op langere trajecten haalbaar en kosteneffectief.

• Efficiëntie: Het verlaagt de kosten voor inferentie en training aanzienlijk, wat essentieel is voor de schaalbaarheid van RL voor agenten.
• Biologische Inspiratie: Het benadert de manier waarop biologische systemen informatie opslaan en comprimeren (via visuele patronen in plaats van letterlijke tekst).
• Toekomst: De auteurs zien potentieel voor hybride opslagarchitecturen en het uitbreiden naar multimodale geschiedenissen (bijv. GUI-schermopnames, diagrammen), hoewel de huidige versie zich richt op tekst-as-image.

Conclusie: AgentOCR bewijst dat visuele tokens een krachtig alternatief zijn voor tekstuele tokens in de context van agent-geheugen, waarbij een optimale balans wordt gevonden tussen informatiedichtheid, rekenkosten en taaksucces.