Technische Samenvatting: DAgger Herbekeken in het Tijdperk van LLM-Agenten

Probleemstelling

Large Language Model (LLM)-agenten met lange horizon opereren in interactieve omgevingen met meerdere beurten (bijvoorbeeld softwareontwikkeling, webbrowsen) waar een enkele vroege fout de verdeling van toestanden kan veranderen, waardoor de agent afwijkt van de trajecten van succesvolle expertdemonstraties. Dit fenomeen, bekend als covariatenverschuiving, vormt een aanzienlijke uitdaging voor algoritmen voor post-training. Bestaande methoden lijden in deze setting onder structurele beperkingen:

• Supervised Fine-Tuning (SFT): Traineert op door experts gegenereerde toestanden, maar faalt tijdens implementatie omdat de student zijn eigen toestanden genereert, wat leidt tot een mismatch tussen trainings- en testverdelingen.
• Reinforcement Learning met Verifieerbare Beloningen (RLVR): Leert van on-policy rollouts om verdelingsmismatch te vermijden, maar is afhankelijk van schaarse, op uitkomsten gebaseerde beloningen, wat leidt tot moeilijke credit assignment en hoge rekenkosten.
• On-Policy Distillatie (OPD): Probeert on-policy toestandsdekking te combineren met toezicht van de leraar, maar stuit op een "cold-start"-bottleneck waarbij zwakke studenten in het begin van de training onproductieve trajecten genereren, waardoor de leraar gedwongen wordt om gefaalde voorvoegsels te superviseren. Bovendien vereist OPD vaak toegang tot de logits van de leraar, wat het gebruik beperkt tot black-box modellen.

De centrale vraag die wordt behandeld is: Is er een methode die tegelijkertijd gebruik kan maken van dichte feedback, on-policy toestandsdekking kan behouden en vroege toegang biedt tot succesvolle trajecten?

Methodologie

De auteurs herzien Dataset Aggregation (DAgger), een klassiek imitatieleer-algoritme, en passen dit aan voor multi-turn LM-agenten. Het kernprincipe is om de student te trainen op toestanden die hij daadwerkelijk waarschijnlijk zal bezoeken, in plaats van alleen op door experts gegenereerde toestanden.

Door Leraar Geïnterleaved Rollout

De voorgestelde methode maakt gebruik van een stochastische mengeling van studenten- en leraarstrategieën tijdens het verzamelen van trajecten. Er worden twee specifieke rollout-strategieën geïntroduceerd:

1. DAgger-stijl (Beurt-niveau Mengeling): Bij elke beurt $t$ wordt een actie uitgevoerd door de leraarstrategie $\pi_e$ met waarschijnlijkheid $\beta_i$ of door de studentstrategie $\pi_\theta$ met waarschijnlijkheid $1-\beta_i$. De mengparameter $\beta_i$ wordt tijdens de training iteraties afgekoeld van 1,0 naar een ondergrens (bijvoorbeeld 0,6).
2. AggreVaTe-stijl (Traject-niveau Mengeling): De student genereert een initieel voorvoegsel van lengte $\kappa$, waarna de leraar overneemt om het traject te voltooien. De verdeling van de voorvoegselslengte wordt zo ingepland dat deze in de loop van de tijd groeit.

Kernmechanisme: Ongeacht of de student of de leraar de actie uitvoert bij een gegeven toestand, wordt de leraar geraadpleegd voor de juiste actie bij elke bezochte toestand. De student wordt vervolgens getraind via supervised learning (cross-entropy-verlies) om deze leraaracties na te bootsen op de toestanden die hij daadwerkelijk heeft aangetroffen.

Geïntegreerd Kader

Het artikel plaatst deze aanpak binnen een geïntegreerd kader voor post-training dat wordt gedefinieerd door drie componenten:

• Contextverdeling ($p_s$): De verdeling van bezochte toestanden (mengeling van student en leraar bij DAgger versus pure leraar bij SFT of pure student bij RL).
• Labelverdeling ($p_a$): De bron van actielabels (Leraar bij DAgger versus Student bij RL/OPD).
• Scorefunctie ($w(s,a)$): Het gewicht dat aan steekproeven wordt toegekend (Uniform bij DAgger versus op voordeel gebaseerd bij RL).

Door een mengeling van contextverdeling te gebruiken met leraarlabels en uniforme gewichten, overbrugt de methode de kloof tussen SFT (dichte supervisie, covariatenverschuiving) en RL/OPD (on-policy dekking, schaarse/cold-start problemen).

Belangrijkste Bijdragen

1. Algoritmische Aanpassing: Succesvolle aanpassing van DAgger voor lange-horizon LLM-agenten, waardoor het model kan leren van realistische implementatietoestanden terwijl het dichte, token-niveau supervisie ontvangt van een leraar.
2. Mitigatie van Cold-Start: In tegenstelling tot OPD zorgt de door leraar geïnterleaved aanpak ervoor dat vroege trajecten worden geleid door de leraar, waardoor wordt voorkomen dat de student vast komt te zitten in onproductieve toestanden tijdens de initiële trainingsfase.
3. Black-Box Compatibiliteit: De methode vereist alleen dat de leraar actielabels (tokens) verstrekt, niet logits, waardoor het compatibel is met black-box LLM's (bijvoorbeeld GPT, Gemini).
4. Empirische Validatie: Toont consistente verbeteringen ten opzichte van SFT, RL (GRPO) en On-Policy Distillatie op taken voor softwareontwikkeling.

Experimentele Resultaten

De methode werd geëvalueerd op SWE-Gym (training) en SWE-Bench Verified (evaluatie buiten het domein) met Qwen3-4B en Qwen3-8B studentenmodellen en een Qwen3-30B leraar.

• Prestatiewinst:
  • 4B Model: Bereikte 27,3% op SWE-Bench Verified, wat een prestatie is die 3,9 punten hoger ligt dan de sterkste post-training baseline (OPD) en die representatieve gepubliceerde 8B SWE-agent-systemen overtreft.
  • 8B Model: Bereikte 29,8% op SWE-Bench Verified, wat 3,6 punten meer is dan OPD en het SWE-Gym-32B-systeem van 32B-schaal 9,2 punten overtreft.
• Trainingsstabiliteit: De methode vertoonde stabielere schalingstrajecten in vergelijking met SFT en OPD, met name in de vroege stadia (cold-start).
• Reductie van Covariatenverschuiving: Analyse van de omgekeerde KL-divergentie toonde aan dat DAgger-stijl training de divergentie tussen de implementatieverdeling van de student en de verdeling van de leraar aanzienlijk verminderde in vergelijking met SFT, dat last had van een herstel van de divergentie naarmate de training vorderde.
• Gedragsverbeteringen: Kwalitatieve analyse gaf aan dat DAgger-getrainde agenten minder syntaxis/runtime-fouten maakten en betere herstelgedragingen vertoonden, waarbij faalmodi verschoven van "passieve" fouten (bijvoorbeeld geen inzending) naar moeilijkere beperkingen zoals contextoverloop.

Betekenis en Aanspraken

Het artikel beweert dat expliciete correctie van de toestandsverdeling via door leraar geïnterleaved DAgger een krachtig ingrediënt is voor het post-trainen van lange-horizon LM-agenten. De resultaten suggereren dat:

• Kleinere modellen (4B/8B) die met deze methode zijn getraind, de prestaties van aanzienlijk grotere systemen (32B) kunnen benaderen of overtreffen.
• De aanpak effectief de train-test verdelingsmismatch die inherent is aan SFT mitigeert, terwijl het de problemen van schaarse beloningen en cold-start van RL en OPD vermijdt.
• Deze methodologie een praktische, steekproef-efficiënte recept biedt voor het implementeren van robuuste tool-gebruikende agenten in complexe, multi-turn omgevingen.

De auteurs benadrukken dat, hoewel de methode de betrouwbaarheid en steekproef-efficiëntie verbetert, de resterende bottlenecks voor deze agenten steeds meer gerelateerd zijn aan lang-contextcapaciteit (bijvoorbeeld contextoverloop) en minder aan het trainingsalgoritme zelf.