Technische Samenvatting: ECHO - Prune to Act, Trace to Learn met Selectieve Turn-Memory in Agentic RL

1. Probleemstelling

Long-horizon taalagenten die opereren in omgevingen met gereedschapsgebruik (bijv. zoeken, coderen, diepgaand onderzoek) worden geconfronteerd met een fundamentele bottleneck: de noodzaak om nuttige historische observaties binnen een begrensde contextvenster te behouden, terwijl tegelijkertijd geïdentificeerd moet worden welke specifieke eerdere beurten (turns) hebben bijgedragen aan een succesvolle uiteindelijke uitkomst voor reinforcement learning (RL).

Bestaande methoden voor contextbeheer (truncatie, samenvatting, retrieval) maken langere rollouts mogelijk, maar introduceren twee gekoppelde beperkingen:

1. Verlies van fijnmazige bewijsvoering: Naarmate het aantal beurten groeit, worden verre observaties ofwel verwijderd of samengevoegd in gecomprimeerde staten (bijv. rollende samenvattingen). Dit maakt het steeds moeilijker voor de policy om specifieke, fijnmazige bewijslast te hergebruiken die vereist is voor complexe redenering.
2. Verlies van traceerbaarheid voor credit assignment: Zodra de originele beurten niet langer direct adresseerbaar zijn (d.w.z. de ruwe tokens zijn vervangen door een samenvatting), verliest outcome-gebaseerde RL een expliciet pad om policy-updates af te stemmen op de specifieke bewijslast die een succesvol antwoord ondersteunde. Standaard traject-niveau advantage-toewijzing in methoden zoals GRPO verspreidt credit dicht over alle gegenereerde tokens, waardoor redundante zoekacties, incidentele redeneringen of samenvattings-genererende tokens worden versterkt naast werkelijk nuttige stappen voor het verzamelen van bewijs.

Dit gebrek aan bron-niveau adresseerbaarheid leidt tot empirische faalmodi waarbij langere rollouts resulteren in "turn proliferatie", grotere trajectvolumes en tragere training zonder proportionele winst in nauwkeurigheid.

2. Methodologie: ECHO

De auteurs stellen ECHO (Selective Turn-Memory Framework) voor, een systeem dat ontworpen is om gezamenlijk zowel geschiedenis-instorting als traceerbaar leren aan te pakken via bron-geïndexeerde reconstructie. ECHO werkt volgens het principe van "Prune to Act, Trace to Learn".

2.1 Selectieve Turn-Memory Reconstructie

In plaats van de geschiedenis samen te vatten in een enkele samenvattingsstaat, houdt ECHO een niet-instortende set geheugenrecords bij.

• Bron-geïndexeerdeerde Turn-Memory: Na elke voltooide tool-use turn $u_i = (a_i, o_i)$, genereert de agent een compacte lokale bevinding $s_i$ en parseert deze naar een geheugenrecord $e_i = (i, \alpha_i, m_i)$. Hierbij is $i$ de bron-turn index, $\alpha_i$ een compacte weergave van de actie/tool call, en $m_i$ de geparseerde bevinding. Deze set $M_j$ blijft verbonden met de originele omgeving-turns, zelfs wanneer de ruwe observaties buiten de actieve context vallen.
• Autoregressieve Memory Selectie: Op de grenzen van compressie wordt de policy geprompt om een subset van historische geheugens te selecteren die nuttig zijn voor het voortzetten van de taak. De selectie-context bevat de huidige begrensde staat en een gerenderde lijst van bron-geïndexeerdeerde geheugens. De policy geeft de bron-indices ($bI^{sel}_j$) uit van herbruikbare bewijslast, restricties of mislukte pogingen.
• Begrensde Context Reconstructie: De policy-context voor het volgende segment wordt gereconstrueerd door de geselecteerde bron-geheugens te renderen ($M_j[bI^{sel}_j]$) en recente lokale interacties toe te voegen, waardoor de context binnen het budget $B$ blijft.

2.2 Provenance-Gestuurde Credit Assignment

ECHO gebruikt dezelfde bron-indices die geselecteerd zijn voor contextreconstructie om de outcome credit te routeren, waardoor een "provenance trace" (herkomstspoor) ontstaat.

• Token-Level Hard Credit Mask: In tegenstelling tot standaard methoden die de traject-niveau advantage aan alle tokens toewijzen, construeert ECHO een masker $\mu^{(n)}_q$ dat specifieke tokens markeert als "credit tokens":
  1. Tokens in het finale respons-segment.
  2. Actie-tokens uit bron-turns die geselecteerd zijn in de finale gereconstrueerde context.
  3. Tokens die overeenkomen met de "last-turn finding" van die geselecteerde bron-turns.
  4. Alle tokens gegenereerd tijdens de memory-selectie actie-spannen.

2. Positieve Advantage Routing: Voor binaire verifier rewards wordt de advantage alleen gerouteerd via deze credit tokens als het traject een positieve groep-relatieve advantage heeft ($A^{(n)}_+ = \max(A^{(n)}, 0)$). Als de rollout onjuist is of onder de baseline ligt, wordt traceerbare credit niet toegewezen om ruisende supervisie van potentieel misleidende geselecteerde turns te voorkomen.

3. Belangrijkste Bijdragen

Het artikel formaliseert en implementeert de volgende bijdragen:

1. Verenigde Reconstructie-interface: Een formalisering van context-beheerde multi-turn RL die het beheer van de geschiedenis-staat, begrensde-context reconstructie en bron-niveau traceerbaarheid van elkaar scheidt. Dit framework benadrukt expliciet hoe methoden met een samengevatte geschiedenis de provenance opofferen die nodig is voor outcome-credit assignment.
2. ECHO Framework: Een selectieve turn-memory methode die voltooide turns opslaat als bron-geïndexeerdeerde geheugens en begrensde contexten construeert via geleerde selectie in plaats van globale geschiedenis-instorting.
3. Provenance-gestuurde Credit Assignment: Een mechanisme dat de geselecteerde bron-indices hergebruikt om de positieve outcome advantage specifiek naar finale antwoorden, geselecteerde historische bewijs-turns, hun geheugen-bevindingen en de selectie-acties zelf te routeren.
4. Empirische Validatie: Demonstraties dat ECHO de nauwkeurigheid verbetert terwijl het turn-proliferatie en het trajectvolume vermindert in vergelijking met rolling-summary baselines, met consistente winsten over zowel dense als Mixture-of-Experts (MoE) backbones.

4. Experimentele Resultaten

Experimenten werden primair uitgevoerd op BrowseComp-Plus, een long-horizon tool-use QA benchmark, met gebruik van de Qwen3-32B-Instruct en Qwen3-30B-A3B-Instruct (MoE) backbones.

• Prestaties op BrowseComp-Plus: ECHO bereikte een 43.4% held-out nauwkeurigheid, wat aanzienlijk beter is dan GRPO (28.9%) en de rolling-summary baseline SUPO (36.1%).
• Efficiëntie: Hoewel SUPO de nauwkeurigheid verbeterde ten opzichte van GRPO, leed het onder snelle turn-proliferatie (62.5 turns versus ECHO's 45.3) en een 4.18x traject-split ratio. ECHO behield een hogere nauwkeurigheid met minder turns (45.3) en een lager trajectvolume (3.13 trajecten per rollout).
• Zero-Shot Generalisatie: ECHO demonstreerde superieure generalisatie over Multi-Objective QA, Code Generatie en Deep Information Seeking benchmarks. Op de dense backbone behaalde ECHO gemiddeld 40.2%, waarmee het SUPO (34.8%) en GRPO (33.6%) versloeg. Vergelijkbare trends werden waargenomen op de MoE backbone.
• Ablatie-studies:
  • Het vervangen van geleerde selectie door statische semantische top-k retrieval verminderde de nauwkeurigheid aanzienlijk, wat de noodzaak van policy-gestuurde selectie bevestigt.
  • Het verwijderen van de traceerbare credit mask (terugvallen op dense assignment) verminderde zowel de nauwkeurigheid als de stabiliteit, wat het belang van provenance-gestuurde updates valideert.

5. Betekenis en Claims

Het artikel claimt dat het behouden van provenance tijdens contextbeheer een praktisch mechanisme is om long-horizon search nuttiger te maken, in plaats van enkel langer.

• Afstemming van Actie en Leren: Door bron-geïndexeerdeerde reconstructie te gebruiken, stemt ECHO de bewijslast die behouden blijft voor toekomstige beslissingen af met de bewijslast die versterkt wordt na succesvolle rollouts. Dit lost de spanning op tussen context-efficiëntie (actie) en credit assignment (leren).
• Voorbij Samenvatting: De resultaten suggereren dat het simpelweg verlengen van rollouts via samenvatting (zoals in SUPO) onvoldoende is en kan leiden tot inefficiënte zoekgedragingen. Traceerbare reconstructie stelt de agent in staat om de geschiedenis te snoeien voor actie, terwijl de specifieke "breadcrumbs" (kruimelpaden) behouden blijven die nodig zijn voor effectieve RL-updates.
• Generaliseerbaarheid: Het framework is niet beperkt tot een specifieke backbone architectuur, vertoont robuuste prestaties over zowel dense als MoE modellen, en transfeert effectief naar diverse zero-shot domeinen.

De auteurs erkennen beperkingen, waarbij zij opmerken dat ECHO een "final-trace benadering" gebruikt voor credit assignment (niet recursief de volledige afhankelijkheidschain van geselecteerde turns volgt) en zich primair richt op tekstgebaseerde tool-use agenten, waarbij GUI en multi-agent settings aan toekomstig werk worden overgelaten.