Technische Samenvatting: Adaptive Latent Agentic Reasoning (ALAR)

1. Probleemstelling

Large Reasoning Models (LRMs) hebben aangetoond dat uitgebreide Chain-of-Thought (CoT) redenering de prestaties op complexe taken aanzienlijk verbetert. Echter, wanneer dit wordt toegepast op LLM-agenten die opereren in multi-turn interactieve omgevingen (bijv. zoeken, toolgebruik), introduceert dit gedrag echter substantiële inefficiëntie. Huidige agenten genereren vaak uitgebreide tekstuele redeneringen bij elke beslissingsstap en alloceren redeneerinspanning uniform, ongeacht de werkelijke complexiteit van de beurt.

Dit "overdenken" leidt tot:

• Token-inefficiëntie: Redeneertokens accumuleren in het contextvenster over verschillende beurten heen, wat latentie en kosten verhoogt.
• Structurele mismatch: Veel agent-beurten vereisen slechts lichte interne berekeningen om de volgende actie te selecteren op basis van externe observaties, maar produceren toch volledige expliciete CoT-sporen.
• Beperkingen van bestaande oplossingen: Huidige methoden voor token-compressie (bijv. pruning, lengtebudgetten) opereren binnen de expliciete CoT-interface. Ze verkorten de tekst, maar elimineren de noodzaak voor tekstuele redeneertokens niet, waardoor ze er niet in slagen de structurele inefficiëntie aan te pakken van het genereren van enige tekst voor routinematige beslissingen.

2. Methodologie: Adaptive Latent Agentic Reasoning (ALAR)

De auteurs stellen ALAR voor, een dual-mode framework dat agenten in staat stelt om compacte latente redenering te gebruiken voor routinematige beurten en selectief over te schakelen naar expliciete CoT alleen wanneer diepere deliberatie vereist is.

2.1 Kernarchitectuur

• Dual-Mode Policy: Bij elke beurt $t$ samplet de agent een modus $m_t \in \{<LAT>, <THINK>\}$ rechtstreeks uit zijn policy.
  • Latente Modus ($$): De agent genereert een reeks van vaste lengte van $K$ continue gedachten ($z_t$) in de hidden-state ruimte in plaats van discrete tokens. Deze gedachten worden autoregressief verwerkt via een projectielaag $f_\phi$ voordat de agent een actie selecteert.
  • Expliciete Modus ($$): De agent genereert een standaard variabele-lengte tekstuele CoT ($c_t$).
• Actie-georiënteerde Redenering: In tegenstelling tot single-pass redenering waarbij latente gedachten leiden tot een definitief antwoord, is de latente redenering van ALAR ontworopt om de tussenliggende actieselectie in een aan de omgeving gekoppeld traject te ondersteunen.

2.2 Trainingspipeline

Het framework maakt gebruik van een tweestaps optimalisatieprocedure:

Fase 1: Action-Anchored Self-Distillation (AASD)

Het trainen van latente redenering is uitdagend omdat continue hidden states niet direct gesuperviseerd kunnen worden door variabele-lengte tekstuele CoT. AASD pakt dit aan door:

• Teacher-Student Setup: De basis-LRM fungeert als een 'teacher' in expliciete modus en als een 'student' in latente modus.
• Action Anchoring: In plaats van latente gedachten uit te lijnen met tekstuele CoT, wordt de student getraind om de opvolgende actie van de teacher te reproduceren. De CoT-spannen van de teacher worden vervangen door latente blokken in het traject van de student.
• Doelstelling: De loss-functie maximaliseert de log-likelihood van de anchor-acties van de teacher ($a_t$) gegeven de staat ($s_t$) en het latente blok ($z_t$). Dit stelt de projector $f_\phi$ in staat om het optimale traject in de hidden-state ruimte te ontdekken om de juiste actie te produceren zonder beperkt te worden door de structuur van de tekst van de teacher.

Fase 2: Adaptive Reasoning GRPO (AR-GRPO)

Om te leren wanneer latent versus expliciet redeneren gebruikt moet worden, introduceren de auteurs een reinforcement learning methode:

• Mode Warmup: Een korte Supervised Fine-Tuning (SFT) initialiseert de policy om beide modi te verkennen, aangezien AASD aanvankelijk de bias naar latente redenering heeft.
• Asymmetrische Beloning: De traject-beloning $R(\tau)$ stimuleert latente redenering alleen wanneer succes van de taak behouden blijft:
  • Als het traject correct is ($EM=1$), neemt de beloning toe met de fractie van de latente beurten ($f(\tau)$).
  • Als het traject incorrect is, straft de beloning het overmatig gebruik van latente redenering af.
• Diversiteit en Lengtecontrole: Een diversiteitsbonus stimuleert de exploratie van verschillende modus-mengsels in een vroeg stadium van de training, terwijl een lengte-schaleringsfactor excessief lange expliciete redeneersegmenten bestraft.

3. Belangrijkste Bijdragen

1. ALAR Framework: Een dual-mode redeneerarchitectuur die latente redenering combineert met adaptieve modusselectie, waardoor agenten onnodige tekstuele redenering kunnen omzeilen terwijl ze expliciete deliberatie behouden voor complexe stappen.
2. Action-Anchored Self-Distillation (AASD): Een nieuwe zelf-distillatietechniek die latente agentische redenering traint zonder directe supervisie van de latente staat, gebruikmakend van omgeving-gerichte acties als supervisie-ankers.
3. AR-GRPO: Een reinforcement learning methode die per-turn modusselectie optimaliseert, waarbij efficiëntie in latente redenering wordt beloond wanneer dit de succesvolle voltooiing van de taak niet in gevaar brengt.

4. Experimentele Resultaten

De auteurs evalueerden ALAR op agentic search (6 open-domain QA benchmarks) en tool-use (BFCL benchmark) domeinen, waarbij ze vergeleken werden met baselines zoals O1-Pruner, ThinkPrune en ShorterBetter.

• Search Domein (Search-R1 3B/7B):
  • ALAR behaalde een vergelijkbare of licht verbeterde Exact Match (EM) nauwkeurigheid terwijl het gegenereerde tokens met 22,1% tot 43,6% verminderde (Fase 2).
  • Fase 1 (pure latent) behaalde tot wel 52,5% token-reductie met concurrerende nauwkeurigheid.
  • Tekst-gebaseerde compressie-baselines vertoonden beperkte winsten (4–10% reductie) omdat de basismodellen al relatief compacte CoT produceerden.
• Tool-Use Domein (Qwen3-4B-Thinking):
  • ALAR demonstreerde superieur presteren, waarbij de gemiddelde nauwkeurigheid steeg van 86,1% naar 89,2% terwijl het tokens met 84,6% verminderde.
  • Dit onderstreept dat het basismodel overdreven verbaal was, en ALAR slaagde erin onnodige tekst te vervangen door latente berekening.
• Analyse van Adaptief Gedrag:
  • Taakcomplexiteit: Het model gebruikte vaker expliciete redenering op moeilijkere benchmarks (bijv. Bamboogle, 2Wiki) en vertrouwde zwaar op latente redenering voor makkelijkere datasets (bijv. NQ, TriviaQA).
  • Positie van de Beurt: Expliciete redenering was geconcentreerd in de eerste beurt (initiële planning), terwijl daaropvolgende beurten voornamelijk latent waren.

5. Betekenis en Claims

Het artikel beweert dat ALAR de nauwkeurigheid-efficiëntie-trade-off van LLM-agenten verbetert door fundamenteel het redeneer-substraat te veranderen in plaats van enkel tekst te comprimeren.

• Heterogeniteit van Redenering: De resultaten ondersteunen de hypothese dat de eisen voor agentische redenering heterogeen zijn; routinematige beurten vereisen vaak slechts voldoende interne berekening (latent) om een actie te selecteren, terwijl specifieke stappen (bijv. initiële planning of complexe decompositie) expliciete CoT vereisen.
• Voorbij Compressie: Door de redeneer-interface zelf te vervangen, bereikt ALAR token-reducties (tot 84,6% in tool use) die onbereikbaar zijn voor methoden die enkel tekstuele sporen inkorten.
• Praktische Toepasbaarheid: De aanpak demonstreert dat LLM-agenten aanzienlijk efficiënter gemaakt kunnen worden zonder prestatieverlies, mits ze redeneermiddelen dynamisch kunnen alloceren tussen latente en expliciete modi.

6. Beperkingen

De auteurs erkennen verschillende beperkingen:

• Scope: Het werk richt zich op agentische taken met externe omgevingen (zoeken, tools) en evalueert geen single-pass domeinen zoals wiskunde of programmeren waar extra redeneertokens direct correleren met de nauwkeurigheid van het eindantwoord.
• Teacher Bias: De latente policy erft de dekking en biases van de succesvolle teacher-trajecten die in AASD zijn gebruikt.
• Interpreteerbaarheid: Latente redenering vermindert de transparantie van tussenliggende stappen, wat ongewenst kan zijn in situaties met een hoog risico waar rechtvaardiging van acties vereist is.
• Vaste Granulariteit: De huidige implementatie gebruikt een vaste latente bloklengte ($K=4$) en een discrete moduskeuze, wat ruimte laat voor fijnmazigere controle in toekomstig werk.