Technische Samenvatting: Latente Actie-herparameterisatie voor Efficiënte Agent-inferentie

Probleemstelling

Agents op basis van Large Language Models (LLM) vertrouwen vaak op lange reeksen laag-niveau tekstuele acties om meerstapsredenering en tool-interactie uit te voeren. Deze granulariteit op token-niveau resulteert in een buitensporig grote effectieve besliskader, wat leidt tot hoge inferentielatentie en prohibitieve rekenkosten. Hoewel eerdere werken efficiëntie hebben aangepakt via optimalisaties op systeemniveau, hardwareversnelling of prompt-engineering, opereren deze benaderingen grotendeels orthogonaal ten opzichte van het beslissingsproces van de agent. Ze kunnen de kosten van individuele inferentiestappen verlagen, maar falen om de fundamentele bottleneck aan te pakken: de representatie van de actieruimte zelf. De auteurs betogen dat inferentie-efficiëntie wordt beperkt door de granulariteit waarmee agentacties worden weergegeven, en dat het behandelen van actie-representatie als een modelkeuze van de eerste orde noodzakelijk is om schaalbare efficiënte LLM-agent-inferentie mogelijk te maken.

Methodologie: Latente Actie-herparameterisatie (LAR)

De auteurs stellen Latente Actie-herparameterisatie (LAR) voor, een raamwerk dat een compacte latente actieruimte leert waarbij elke latente actie overeenkomt met een meerstaps semantisch gedrag. In tegenstelling tot handgemaakte macro's of hiërarchische controllers, leert LAR deze eenheden direct uit agenttrajecten en integreert ze in het model.

Kernconcepten

1. Herschepping van Acties: In plaats van te opereren over primitieven op token-niveau, redeneert de agent over hoger-niveau eenheden van latente acties ($z_t$). Elke latente actie omvat een reeks laag-niveau acties, waardoor het effectieve besliskader wordt verkort van $H_{eff} = \sum |a_t|$ naar $H_{lat} = \sum |z_t|$.
2. Beperking van Uitvoerbaarheid: Een kritieke uitdaging is het vinden van een balans tussen abstractie en uitvoerbaarheid. LAR lost dit op door strikt hoog-entropische, parameterrijke invoer (bijv. specifieke zoekopdrachten, numerieke entiteiten) te behouden in de expliciete outputruimte. Alleen laag-entropische, structureel terugkerende patronen (bijv. systeemprompts, syntaxis voor tool-aanroepen, terugkerende configuraties) worden geabstraheerd naar latente eenheden.
3. Transitie-equivalentie: Een latente actie wordt gedefinieerd als een equivalentieklass van actie-segmenten die transitie-equivalent gedrag induceren. Formeel zijn twee segmenten transitie-equivalent als ze, voor elke voorgaande geschiedenis, leiden tot dezelfde taakrelevante uitkomsten.

Implementatiepijplijn

LAR wordt gerealiseerd via een pijplijn in vier fasen:

1. Identificatie: Het systeem identificeert transitie-equivalente actie-segmenten uit agenttrajecten met behulp van een filter op basis van entropie. Segmenten met lage volgende-token-entropie (voorspelbare voortzettingen) en hoge frequentie zijn kandidaten. Hoog-entropische segmenten worden uitgesloten om uitvoerbaarheid te garanderen.
2. Constructie van Woordenboek: Geïdentificeerde segmenten krijgen toegewijde vocabulaire-symbolen, waardoor een vocabulaire van latente acties ontstaat.
3. Trainingsdata in Dubbel Formaat: Originele trajecten worden gepaard met herparameteriseerde tegenhangers waarbij overeenkomende segmenten worden vervangen door latente symbolen.
4. Distillatie op Traject-niveau: Een studentmodel (basis-LLM + LoRA-adapter + nieuwe latente embeddings) wordt getraind om een bevroren teachermodel (de originele LLM) na te bootsen met behulp van KL-distillatie. Het verlies wordt uitsluitend berekend over posities met gedeelde inhoud, waardoor de nieuwe latente embeddings worden gedwongen de volledige semantiek van de gecomprimeerde segmenten te coderen. Alleen de LoRA-weights en nieuwe embeddings zijn trainbaar (~0,1% van de parameters).

Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Significante Efficiëntiewinsten: LAR vermindert het effectieve actiehorizon aanzienlijk, wat leidt tot substantiële reducties in actie-tokens en bijbehorende winsten op systeemniveau in token-doorvoer en piek-GPU-geheugen over diverse benchmarks.
2. Behoud van Taakprestaties: Ondanks het opereren over een gecomprimeerde ruimte, behoudt of verbetert LAR de taaksuccespercentages in vergelijking met baselines die ruwe tekstuele acties gebruiken. Het demonstreert ook het vermogen om over te gaan naar benchmarks die niet in de trainingsdata zaten, zonder opnieuw te trainen.
3. Analyse van Abstractiegrenzen: De auteurs identificeren empirisch een duidelijk drempelpunt voor prestatie-instorting. Dit schetst de grens tussen comprimeerbare structurele redundantie en essentiële semantische inhoud, en toont aan dat overmatige abstractie leidt tot abrupte falen wanneer parametergebonden inhoud onjuist wordt geabstraheerd.
4. Nieuw Perspectief op Schaalbaarheid: Het werk positioneert het leren van actie-representatie als een kritieke, onderbelichte factor bij het schalen van efficiënte LLM-agent-inferentie, en biedt een pad dat complementair is aan vooruitgang in modelarchitectuur en hardware.

Experimentele Resultaten

De auteurs hebben LAR geëvalueerd op twee backbone-modellen (Llama-3.1-8B-Instruct en Qwen3-8B) over drie benchmarks: TriviaQA (redeneren), KodCode (codegeneratie) en Mind2Web (web-interactie).

• Prestaties versus Efficiëntie: LAR behaalde consistent gunstige afwegingen tussen nauwkeurigheid en efficiëntie. Bijvoorbeeld, op Qwen3-8B met TriviaQA verbeterde LAR de nauwkeurigheid van 67,40% (Vanilla) naar 80,09% terwijl het actie-tokens met 27,1% reduceerde. Op KodCode kwam het overeen met of benaderde sterke baselines terwijl het tokens met ongeveer 9-10% reduceerde.
• Generalisatie: Latente acties die op "in-houdende" datasets (TriviaQA, KodCode) werden geleerd, generaliseerden effectief naar "uit-houdende" benchmarks (Musique, HumanEval, MBPP) zonder opnieuw te trainen, wat suggereert dat er sprake is van het leren van domein-specifieke structurele abstracties in plaats van dataset-specifieke artefacten.
• Efficiëntie op Systeemniveau: LAR verbeterde de token-doorvoer en verlaagde het piekgebruik van GPU-geheugen. Cruciaal introduceert het decoderen van latente acties geen extra rekenoverhead, aangezien latente symbolen worden verwerkt als standaard vocabulaire-tokens.
• Ablatiestudies: Progressieve abstractie-experimenten onthulden een gedrag in drie fasen: prestatieverbetering bij matige abstractie, een piek bij de abstractiegrens, en een scherpe instorting wanneer hoog-entropische, geparameteriseerde componenten werden geabstraheerd. Dit bevestigt de noodzaak van het entropiefilter in de identificatiefase.
• Industriële Overdracht: Een case study op de industriële agent-runtime OpenClaw toonde aan dat LAR kan worden ingezet als een plug-in optimalisatielaag, waarbij statische systeemprompt-scaffolding wordt vervangen door latente tokens, wat resulteert in tot 27% relatieve verbetering in Exact Match-scores zonder de runtime-logica van het raamwerk te wijzigen.

Betekenis en Claims

Het artikel beweert dat leren van actie-representatie een kritieke en onderbelichte factor is bij het schalen van efficiënte LLM-agent-inferentie. Door de actieruimte te herparameteriseren, pakt LAR direct de inefficiëntie aan die wordt veroorzaakt door te fijnmazige actie-interfaces. De auteurs stellen dat deze benadering agents in staat stelt te opereren over een korter effectief horizon, terwijl de expressiviteit van de originele actieruimte en, cruciaal, de uitvoerbaarheid van interacties met externe omgevingen worden behouden.

Het werk suggereert dat efficiëntie niet enkel moet worden gezien als een bijproduct van kortere tekstgeneratie, maar als een gevolg van opereren over een meer geschikte beslissingsrepresentatie. Door actie-representatie te behandelen als een modelkeuze van de eerste orde, biedt LAR een complementair pad ten opzichte van vooruitgang in hardware en architectuur, gevalideerd over modelschalen tot 32B en in industriële inzetscenario's. De auteurs benadrukken dat hun methode per ontwerp conservatief is, waardoor de efficiëntie wordt verbeterd op structureel regelmatige delen van de actieruimte zonder risico te introduceren op zeldzame, onregelmatige delen, en zo de prestatiedegradatie vermijdt die vaak wordt gezien bij token-pruning- of context-compressiemethoden.