Technische Samenvatting: CLEANER – Zelf-gezuiverde Trajecten Versterken Agentic Reinforcement Learning

1. Probleemstelling

Het artikel behandelt een kritieke bottleneck in Agentic Reinforcement Learning (RL) voor Large Language Models (LLMs), met name voor parameters-beperkte modellen (bijv. 4B–7B parameters) die tools zoals Python-interpreters gebruiken. Hoewel het gebruik van tools complex probleemoplossend vermogen mogelijk maakt, wordt de exploratiefase gehinderd door frequente executiefouten. Deze fouten genereren "ruisende trajecten" die ongeldige code en uitgebreide tracebacks bevatten, wat het contextvenster vervuilt.

Onder standaard outcome-based reward settings (bijv. Group Relative Policy Optimization of GRPO), ontvangt het gehele traject een uniforme positieve beloning bij succes, ongeacht tussenliggende fouten. Dit creëert een credit assignment dilemma:

• Ruisvervuiling: Foutieve acties en de daaropvolgende "Fout → Feedback → Retry"-lussen worden onbedoeld versterkt naast succesvolle redeneringen.
• Semantische Interferentie: Het model leert onjuiste executiepaden te rationaliseren in plaats van beslissingen opnieuw te funderen, wat leidt tot beleidsinstabiliteit en prestatievermindering.
• Bestaande Beperkingen: Huidige mitigatiestrategieën kampen met een trade-off. Het toekennen van dense rewards triggert vaak "reward hacking" (het optimaliseren van tussenliggende metrieken boven de uiteindelijke uitkomst), terwijl supersampling (het genereren van meerdere kandidaten om op kwaliteit te filteren) prohibitieve computationele kosten met zich meebrengt, aangezien de rollout-fase de RL-trainingstijd domineert.

2. Methodologie: CLEANER en SAAR

De auteurs stellen CLEANER voor, een framework dat agentic RL een boost geeft door fout-gecontamineerde context direct tijdens de dataverzameling te elimineren, in plaats van te vertrouwen op externe filtering of verhoogde sampling. De kernmechanisme is Similarity-Aware Adaptive Rollback (SAAR).

Het SAAR-mechanisme

SAAR opereert tijdens de rollout-fase wanneer een executiefout ($o^-$) optreedt. In plaats van de fout permanent in de geschiedenis op te slaan, initieert het systeem een tweefasig proces om een "zelf-gezuiverd" traject te construeren:

1. Fase I: Error Trigger en Lookahead Correctie

   • Bij een fout wordt de huidige staat bevroren.
   • Het model wordt geprompt met de uitgebreide context (inclusief de error trace) om een correctie ($c'_t$) en een hulp-redeneringstraject ($r'_{aux}$) te genereren.
   • Als de correctie slaagt, gaat het proces door naar Fase II.

2. Fase II: Similarity-Aware Adaptive Replacement

   • SAAR berekent de semantische gelijkenis tussen de foutieve code ($c_t$) en de gecorrigeerde code ($c'_t$) met behulp van een gelijkenisfunctie (bijv. difflib.SequenceMatcher).
   • Geval A: Implementatie-niveau Reparatie (Hoge Gelijkenis): Als de gelijkenis boven een drempelwaarde $\gamma$ ligt, wordt de fout als oppervlakkig beschouwd (bijv. syntaxis-typo's). Het systeem voert een shallow replacement uit, waarbij de fout-tuple wordt weggegooid en de gecorrigeerde code direct op de oorspronkelijke redenering wordt geplaatst.
   • Geval B: Redenerings-niveau Reparatie (Lage Gelijkenis): Als de gelijkenis laag is, duidt de fout op een diepe logische fout. Het systeem voert een deep replacement uit, waarbij de volledige mislukte beurt (redenering + code + fout) wordt verwijderd en vervangen door de hulp-redenering en de gecorrigeerde code om de semantische coherentie te behouden.

Implementatiedetails

• Logit Recomputation: Om ervoor te zorgen dat de beleidsupdate geworteld is in het juiste causale pad, herberekent het systeem de log-waarschijnlijkheden voor de gecorrigeerde acties onder de gezuiverde context (niet de fout-versterkte context). Dit wordt efficiënt bereikt met behulp van RadixAttention (via SGLang) om KV-caches van invariante historie-prefixes te hergebruiken.
• Curriculum Mixing: Om een balans te vinden tussen foutvermijding en het intrinsieke zelfcorrigerend vermogen van het model, past de trainingspipeline SAAR stochastisch toe op 70% van de trajecten, terwijl 30% in hun oorspronkelijke staat wordt gehouden.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. CLEANER Framework: Een nieuwe benadering om het credit assignment dilemma in agentic RL op te lossen door te trainen op zelf-gezuiverde trajecten, waardoor modellen correcte redeneerpatronen kunnen internaliseren terwijl executieruis wordt gefilterd.
2. SAAR Mechanisme: Een autonoom methode om schone signalen te construeren door fouten adaptief te repareren (van syntaxis-typo's tot logische fouten) zonder de computationele overhead van supersampling.
3. Efficiëntie en Prestaties: Het aantonen dat CLEANER state-of-the-art (SOTA) prestaties bereikt met aanzienlijk hogere efficiëntie, waarbij het SOTA-modellen evenaart terwijl het slechts een derde van de trainingsstappen vereist.
4. Reproduceerbaarheid: Het aanbieden van een volledig reproduceerbare trainingspipeline, inclus\ief code, omgevingconfiguraties en verwerkte datasets.

4. Experimentele Resultaten

De auteurs evalueerden CLEANER op AIME24/25, GPQA, en LiveCodeBench met behulp van Qwen3-4B-Instruct en Qwen2.5-7B-Instruct als basismodellen.

• Prestatiewinst: Vergeleken met baselines behaalde CLEANER gemiddelde nauwkeurigheidswinsten van:
  • 6% op AIME (Pass@1).
  • 3% op GPQA.
  • 5% op LiveCodeBench.
• Efficiëntie: CLEANER evenaarde de prestaties van de SOTA baseline DemyAgent-4B terwijl het slechts één derde van de trainingsstappen gebruikte (250 stappen vs. 750 stappen).
• Foutonderdrukking: Trainingsmetrieken toonden een consistente onderdrukking van foutieve tool-aanroepen, met een duidelijke correlatie tussen verminderde tool-foutpercentages en verbeterde pass-rates.
• Ablatie-studies:
  • Noodzaak van Tools: Het integreren van een code-interpreter verhoogde de prestaties aanzienlijk (bijv. +20% op Qwen2.5-7B voor wiskunde/coding taken).
  • Trajectory Purification: Het SAAR-mechanisme leverde consistente winsten op over alle benchmarks en model-schalen.
  • Internalisatie: Wanneer SAAR werd gedeactiveerd tijdens inferentie, was de prestatievermindering verwaarloosbaar (bijv. <1% daling op AIME24 Pass@1), wat bevestigt dat het model de foutvermijdingslogica had geïnternaliseerd in plaats van te vertrouwen op het mechanisme als een scaffold.
  • Herstel: Het introduceren van CLEANER aan een suboptimale, instabiele baseline (bij stap 200) stabiliseerde de training en verbeterde de nauwkeurigheid, hoewel het niet volledig de prestaties bereikte van modellen die vanaf het begin met SAAR zijn getraind.

5. Betekenis en Claims

Het artikel claimt dat CLEANER een schaalbare oplossing biedt voor efficiënte agentic RL door de focus te verschuiven van "meer data" (supersampling) naar "schonere data" (trajectory purification).

• Schaalbaarheid: Door de noodzaak van dure supersampling te elimineren, maakt de methode hoogwaardige agentic RL haalbaar in omgevingen met beperkte middelen.
• Alignment van Learning Signals: De methode stemt trainingssignalen af met correct gedrag, waardoor het versterken van fout-herstel-lussen wordt voorkomen en modellen robuuste tool-gebruikpatronen kunnen internaliseren.
• Generaliseerbaarheid: De resultaten suggereren dat kleine modellen (4B), wanneer ze worden onderworpen aan op maat gemaakte post-training met traject-zuivering, capaciteiten kunnen bereiken die vergelijkbaar zijn met aanzienlijk grotere modellen (bijv. 72B of 671B) in agentic reasoning taken.

De auteurs concluderen dat traject-zuivering een kritieke, schaalbare alternatieve weg is voor het bevorderen van de efficiëntie en prestaties van tool-augmented LLM agents.