Technische Samenvatting: Recursieve Agent-Optimalisatie (RAO)

Probleemstelling

Grote Taalmodellen (LLM)-agenten worden steeds vaker ingezet voor complexe, real-world taken met lange horizons, groot effectief werkgeheugen en aanzienlijke verkenning. Hoewel veel van deze taken van nature geschikt zijn voor deel-en-heers-strategieën, behandelen bestaande recursieve en multi-agent systemen recursie doorgaans als een statisch, inferentie-tijdse steiger dat om een vooraf getraind model heen is gewikkeld. In deze systemen wordt het model zelf niet getraind om te beslissen wanneer delegering voordelig is, hoe effectieve subtaken te formuleren, hoe te communiceren tussen uitvoeringsniveaus, of hoe output van sub-agenten te combineren. Bijgevolg bestaat er een gat in het trainen van modellen om recursieve inferentie effectief te benutten als een geleerde primitief in plaats van als een vaste architecturale beperking.

Methodologie: Recursieve Agent-Optimalisatie (RAO)

De auteurs introduceren Recursieve Agent-Optimalisatie (RAO), een versterkingsleer (RL)-benadering ontworpen voor end-to-end training van recursieve agenten. In tegenstelling tot eerdere werken die het orchestratieschema vastzetten, traint RAO één gedeeld beleid ($\pi_\theta$) dat op elk knooppunt van een dynamisch gegenereerde uitvoeringsboom wordt geïnstancieerd.

1. Agent-Formulering en Inferentie

De agent opereert in een omgeving waar hij natuurlijke taalredenering afwisselt met code-uitvoering in een Python REPL. De actieruimte is uitgebreid met een asynchrone functie launch_subagent(doel, ...).

• Dynamische Uitvoeringsbomen: Bij het oplossen van een taak $X$ kan het beleid nul of meer kind-agenten opstarten voor gedelegeerde subtaken $X_1, \dots, X_n$. Het aantal en de inhoud van deze subtaken worden door het beleid zelf gekozen.
• Concurrentie: De ouder-agent kan kinderen sequentieel of gelijktijdig opstarten (met asyncio.gather), afhankelijk van taakafhankelijkheden.
• Beperking: Er worden expliciete limieten opgelegd aan de recursiediepte en het aantal omgevingsstappen per agent-instantie om beperkte berekening te garanderen.

2. Beloningsontwerp (Lokaal Knooppuntbeloning)

RAO maakt gebruik van een lokale beloningsstructuur om krediettoewijzing over de uitvoeringsboom te verbeteren. Voor een knooppunt dat overeenkomt met taak $X$ met traject $\tau_X$ en directe kinderen $C(X)$, wordt de beloning gedefinieerd als:
$$R(X, \tau_X) = \tilde{s}(X, \tau_X) + \lambda \cdot \frac{1}{|C(X)|} \sum_{c \in C(X)} \tilde{s}(c, \tau_c)$$

• $\tilde{s}(X, \tau_X)$: Het succes-signaal voor het huidige knooppunt, afgeleid van exacte verificatie, een LLM-rechter, of een proxy (bijv. succes van de worteltaak) als lokale supervisie niet beschikbaar is.
• Delegeringsbonus: De tweede term belooont de agent op basis van het succespercentage van zijn directe kinderen. De parameter $\lambda$ regelt de sterkte van deze bonus.
• Redenering: Dit ontwerp stimuleert productieve delegering in plaats van simpelweg meer kinderen op te starten. Het biedt dichte supervisiesignalen, vooral vroeg in de training wanneer wortel-taak-succes zeldzaam is.

3. Beleidsoptimalisatie

Het doel is het gedeelde beleid te optimaliseren over zowel worteltaken als de door het beleid gegenereerde afstammelingen. De doelfunctie $J(\theta)$ somt de verwachte beloningen op over alle diepten $d$ van de recursieve rollout:
$$J(\theta) = \sum_{d=0}^{D} \mathbb{E}_{X \sim D_d(\theta)} \left[ \mathbb{E}_{\tau_X \sim \pi_\theta(\cdot|X)} [R(X, \tau_X)] \right]$$

• Curriculum-effect: De recursieve structuur genereert natuurlijk gerelateerde taken van wisselende moeilijkheidsgraad, waardoor een impliciet curriculum ontstaat waarbij subtaken vaak eenvoudiger of gestructureerder zijn dan de worteltaak.
• Voordeel-schatting: Om om te gaan met het wisselende aantal trajecten op verschillende diepten, gebruiken de auteurs een 'leave-one-out' baseline berekend uit wortel-rollout-beloningen.
• Diepteniveau-gewicht: Om te voorkomen dat optimalisatie wordt gedomineerd door diepere niveaus (die mogelijk exponentieel meer trajecten bevatten), wordt een omgekeerde-frequentie-gewicht op diepteniveau toegepast. Trajecten van oververtegenwoordigde diepten worden downgewaardeerd om de algehele update-schaal te behouden.

Belangrijkste Bijdragen

1. End-to-End Training van Recursieve Agenten: RAO is de eerste methode om gezamenlijk één beleid te trainen over alle knooppunten van een dynamisch gegenereerde recursieve boom, waardoor het model leert beslissen wanneer en hoe te delegeren.
2. Nieuw Beloningsmechanisme: De introductie van een lokaal knooppuntbeloning met een delegeringsbonus maakt effectieve krediettoewijzing in diepe recursieve structuren mogelijk, waardoor het beleid wordt afgestemd op de kwaliteit van delegering in plaats van alleen op de hoeveelheid.
3. Schalbare Inferentie-Primitief: De benadering toont aan dat recursieve agenten kunnen schalen naar taken die het contextvenster van het model overstijgen en generaliseren naar aanzienlijk moeilijkere problemen dan die tijdens de training zijn gezien.
4. Efficiëntiewinst: De methode toont verbeterde trainingsefficiëntie in vergelijking met single-agent training en kan de wandkloktijd voor paralleliseerbare taken verminderen.

Experimentele Resultaten

De auteurs evalueren RAO op drie benchmarks: TEXTCRAFT-SYNTH (synthetische creatie-taken), OOLONG-REAL (aggregatie van documenten met lange context) en DEEPDIVE (diep onderzoek met multi-hop websearch).

• Uitbreiding van Contextvenster: Op TEXTCRAFT-SYNTH behaalden recursieve agenten getraind met een 8K-contextvenster 95% succes op moeilijke taken, wat overeenkomt met de prestaties van modellen getraind met 40K-contexten. Daarentegen faalden single-agent baselines met 8K-contexten volledig op moeilijke taken. Evenzo verwerkten recursieve agenten op OOLONG-REAL inputs tot 175K tokens, ondanks training met een limiet van 32K, terwijl single agents de volledige input niet konden lezen.
• Generalisatie naar Moeilijkere Taken: Agenten die alleen waren getraind op TEXTCRAFT-SYNTH-taken van gemiddelde moeilijkheidsgraad, generaliseerden naar moeilijke taken met een succespercentage van 88%, vergeleken met 20% voor single-agent baselines.
• Trainingsefficiëntie: Recursieve agenten leerden aanzienlijk sneller dan single-agent baselines op alle benchmarks, wat wordt toegeschreven aan de gestructureerde sub-agent-beloningen die fungeren als dichte procesbeloningen en het zelfgeïnduceerde curriculum.
• Wandkloktijd: Voor paralleliseerbare taken (TEXTCRAFT-SYNTH) verminderden recursieve agenten de wandkloktijd met maximaal 2,5× in vergelijking met single agents op moeilijke taken. Voor sequentiële taken (DEEPDIVE) nam de wandkloktijd toe vanwege het sequentiële karakter van de subtaken, maar verbeterde het succespercentage van 0,24 naar 0,40.
• Adaptieve Delegering: De agenten leerden hun delegeringsdiepte aan te passen aan de taakmoeilijkheid, schalend naar diepere bomen (tot 10 niveaus) voor moeilijkere problemen zonder expliciete dieptebegrenzingen tijdens inferentie.

Betekenis en Claims

Het artikel beweert dat Recursieve Agent-Optimalisatie een verschuiving vertegenwoordigt in hoe inferentie-tijdse steigers moeten worden benut. In plaats van steigers te ontwerpen rond vaste modellen, moeten modellen worden getraind om ze effectief te gebruiken. RAO toont aan dat recursie een krachtige inferentie-tijdse schaalprimitief is die biedt:

• Frisse contextvensters voor sub-agenten, waardoor het werkgeheugen effectief wordt uitgebreid.
• Een deel-en-heers-structuur die generaliseert naar moeilijkere problemen.
• Adaptieve toewijzing van compute tijdens het testen.
• Kansen voor parallelle uitvoering.

De auteurs positioneren RAO als een stap richting "zelforganiserende agenten" die hun eigen probleemoplossingsprocessen dynamisch kunnen structureren. Zij merken op dat hoewel hun experimenten zich richten op specifieke domeinen, de benadering een breder principe suggereert voor het trainen van agenten om complexe inferentie-tijdse structuren te benutten. Toekomstig werk wordt geïdentificeerd als noodzakelijk om surrogaat-steekproefprocedures voor kostbare rollouts aan te pakken en generalistische recursieve agenten te trainen die delegeringsstrategieën kunnen overdragen tussen kwalitatief verschillende domeinen.