Technische Samenvatting: AGORA – Adapter-Grounded Observation-Action Retention voor Inference-Free Prompt Compression in LLM Agents

1. Probleemdefinitie

Large Language Model (LLM) agents accumuleren lange trajecten van acties en observaties naarmate ze met omgevingen interageren. Naarmate de taakhorizonten uitbreiden (bijvoorbeeld meer dan 100k tokens bij stap 30 op WebShop), wordt het comprimeren van deze context een praktische noodzaak. De paper stelt echter dat standaard prompt-compressietechnieken die zijn ontworpen voor algemene single-turn LM's structureel ongeschikt zijn voor LLM-agents.

Het kernprobleem dat wordt geïdentificeerd, is vernietiging van actiegrammatica. In agent-trajecten zijn tokens die kritieke actiesemantiek dragen (identificatoren, haakjes, actiewerkwoorden zoals search[...] of click[...]) vaak sterk voorspelbaar vanuit de omringende natuurlijke taalcontext. Bijgevolg verwijderen token-level extractieve compressoren – die tokens rangschikken op basis van zelfinformatie of perplexiteit en de laagst scorende verwijderen – systematisch deze semantische tokens. Het resulterende "gecomprimeerde" prompt bevat grammaticaal correct Engels, maar ongrammaticale agentcommando's, waardoor de omgeving de actie verwerpt en de agent faalt.

De auteurs tonen aan dat in 17 experimentele cellen, verspreid over twee onafhankelijke families van token-level methoden (Selective Context en LLMLINGUA-2), elke configuratie instort tot een gemiddelde beloning ($m_r$) van $\leq 0.05$, ondanks het bereiken van een compressie van 1,3–13,3×.

2. Methodologie: AGORA

Om dit aan te pakken, stellen de auteurs AGORA (Adapter-Grounded Observation-Action Retention Architecture) voor, een inference-free compressor op stapniveau. In tegenstelling tot token-level methoden werkt AGORA op de granulariteit van complete (actie, observatie)-paren, waardoor de actiesyntaxis intact blijft.

AGORA bestaat uit drie hoofdbestanddelen:

1. Structural Prompt Parser:

   • Segmenteert het traject van de agent in rol-getypeerde blokken (Systeem, Taak, Vorige Stappen, Huidige Observatie, Aankomend Antwoord).
   • Groepeert eerdere interacties in discrete stapparen $(a_i, o_i)$.
   • Deze parsing is deterministisch en taakagnostisch, en vertrouwt op rolmarkeringen (bijvoorbeeld [ASSISTANT], [USER]).

2. Always-Keep Floor (Deterministische Kwaliteitsvloer):

   • Behoudt onvoorwaardelijk specifieke kritieke inhoud om formaat en recentheid te behouden:
     • Systeembericht ($c_{sys}$) en Taakinstructie ($c_{task}$).
     • Huidige observatie ($c_{now}$) en eventueel aanhangend antwoord ($c_{pend}$).
     • De meest recente $K_{recent}=2$ stappen.
   • Deze laag zorgt ervoor dat de "invariant" die nodig is voor de werking van de agent (bijvoorbeeld het kennen van de huidige staat en recente geschiedenis) nooit verloren gaat.

3. Learned Step Relevance Scorer:

   • Een RoBERTa-base-classificator met 125M parameters die is getraind om de relevantie van resterende vorige stappen te scoren tegenover de huidige observatie.
   • Trainingsignaal: Het model is getraind op counterfactuele labels voor verandering van de volgende actie. Voor elke vorige stap $s_i$ en huidige observatie $c_{now}$ wordt de agent-backbone $K=8$ keer bevraagd (de helft met $s_i$, de helft zonder). Het label is het fractie van de keren dat de genormaliseerde volgende actie verandert. Dit creëert een soft label $y_i \in [0, 1]$ dat de kritikaliteit van de stap aangeeft.
   • Inferentie: De scorer voert een enkele forward pass uit ($\sim 2$ms/stap) zonder API-calls. Het geeft een waarschijnlijkheid $p_i$ uit dat het verwijderen van stap $s_i$ de volgende actie zou veranderen.

4. Greedy Budget Fill:

   • Gegeven een doelkarakterbudget (bijvoorbeeld 25% van de oorspronkelijke lengte), vult het systeem de resterende ruimte na de "Always-Keep Floor" door niet-vloerstappen in dalende volgorde van hun relevantiescores $p_i$ gretig te selecteren.
   • Verwijderde stappen worden vervangen door één enkele elisatiemarkering (bijvoorbeeld [... N stap(pen) overgeslagen ...]).

3. Belangrijkste Bijdragen

De paper levert drie primaire bijdragen:

1. Identificatie van Vernietiging van Actiegrammatica: De auteurs diagnosticeren en benoemen formeel de structurele faalmodus waarbij token-level compressoren falen bij agents. Zij leveren systematisch bewijs (17 cellen) dat laat zien dat deze methoden de prestaties van agents doen instorten omdat ze tokens met lage zelfinformatie verwijderen die essentieel zijn voor de actiesyntaxis.
2. AGORA Architectuur: Een nieuwe, inference-free compressor op stapniveau die een structurele parser, een deterministische "always-keep" vloer en een geleerde relevantiescorer combineert die is getraind op counterfactuele labels. Het bereikt adaptieve compressie (1,0–11,5×) met nul LLM-overhead per stap.
3. Componentattributie: Door middel van ablatiestudies isoleert de paper de specifieke waarde van elke ontwerpkeuze:
   • De Always-Keep Floor is de dominante hefboom voor kwaliteitsbehoud (het verwijderen ervan laat de prestaties significant dalen).
   • De Learned Scorer is de primaire drijver van het adaptieve compressiebereik, waardoor het systeem compressieratio's kan variëren op basis van trajectcomplexiteit terwijl een vaste behoudsratio wordt gehandhaafd.

4. Experimentele Resultaten

De auteurs evalueerden AGORA in 9 cellen (3 omgevingen: ALFWorld, ScienceWorld, WebShop; 3 backbones: qwen3.5-flash, gpt-4o-mini, gpt-5-mini) tegenover 10 baselines (inclusief token-level extractieve methoden en op LLM gebaseerde abstractive compressoren).

• Kwaliteitsbehoud: AGORA is de enige inference-free methode die in 8 van de 9 cellen $\geq 75\%$ van de niet-gecomprimeerde prestaties behoudt (de uitzondering is ScienceWorld met gpt-5-mini op 73%).
  • Gemiddelde beloning ($m_r$) met AGORA: 0,387 (92% behoud versus Geen Compressie).
  • In tegenstelling hiermee instorten token-level methoden (Selective Context, LLMLINGUA-2) tot $m_r \leq 0.05$.
• Compressie-efficiëntie: AGORA bereikt een adaptief end-to-end compressiebereik van 1,0–11,5× met één vaste configuratie ($\rho=0.25$), en past zich aan het specifieke trajectregime aan zonder per-cel tuning.
• Kosten: AGORA veroorzaakt nul extra LLM-tokenkosten per stap (inference-free). Hoewel op LLM gebaseerde compressoren (HiAgent, AgentDiet, ACON) vaak lagere kosten per taak bereiken in scenario's met lange trajecten door agressieve compressie, betalen ze 8–126k extra tokens per taak voor hun eigen compressoroproepen. AGORA is superieur in scenario's waar LLM-overhead per stap prohibitief is of waar behoud de bindende beperking is.
• Ablatie: Het verwijderen van de "Always-Keep Floor" veroorzaakte de grootste prestatiedaling ($\Delta m_r \approx -0.088$). Het verwijderen van de scorer verlaagde de prestaties slechts licht ($\Delta m_r \approx -0.031$), maar elimineerde het adaptieve compressiebereik, wat bevestigt dat de vloer de kwaliteit regelt terwijl de scorer het compressievolume regelt.

5. Betekenis en Claims

De paper stelt dat AGORA een noodzakelijke verschuiving vertegenwoordigt in hoe we prompt-compressie voor agents benaderen. De auteurs betogen dat het "rank-and-delete"-paradigma van token-level compressie structureel verkeerd is gespecificeerd voor agents, omdat het optimaliseert voor informatiedichtheid in plaats van structurele integriteit van actiecommando's.

Betekenis:

• Paradigmaverschuiving: Het verplaatst het ontwerpruimte van token-level naar stap-level compressie, waardoor de syntactische integriteit van agentcommando's behouden blijft.
• Inference-Free Haalbaarheid: Het toont aan dat hoogwaardige compressie voor agents geen dure, per-stap LLM-calls vereist, waardoor het haalbaar is voor implementatie met bevroren, black-box backbones.
• Robuustheid: Door structureel behoud (de "vloer") te prioriteren boven semantische samenvatting, vermijdt AGORA de catastrofale faalmodi die worden gezien in algemene compressoren.

De auteurs blijven bescheiden, en merken op dat AGORA geen universele kostenwinnaar is (LLM-gebaseerde methoden winnen vaak op pure $/taak in instellingen met lange trajecten) en dat hun evaluatie rust op punt-schattingen vanwege brede betrouwbaarheidsintervallen ($n=30$). Zij stellen echter dat AGORA de enige haalbare inference-free oplossing biedt die hoge prestaties behoudt in diverse agent-instellingen zonder de actiegrammatica te breken.