🤖 machine learning

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

Dit artikel introduceert een ruisend expertmodel om theoretisch te verklaren waarom on-policy distillatie vaak beter presteert dan offline behavior cloning bij het trainen van taalmodellen, waarbij wordt aangetoond dat terwijl leren van ruisende trajecten offline een exponentiële steekproefcomplexiteit met zich meebrengt, online interactie met een ruisende expert onder specifieke ruiscondities een polynomiale afhankelijkheid van de horizon kan bereiken.

Oorspronkelijke auteurs: Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

Gepubliceerd 2026-07-01

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complexe vaardigheid probeert te leren, zoals het oplossen van een moeilijk wiskundig probleem of het schrijven van een lang verhaal, door te kijken naar een "Meester" die het doet. In de wereld van Kunstmatige Intelligentie wordt dit Imitation Learning (imitatie-leren) genoemd. Meestal gaan we ervan uit dat de Meester perfect is. Maar in de werkelijkheid maakt zelfs de beste docent fouten, raakt hij vermoeid of gokt hij soms verkeerd.

Dit artikel stelt een eenvoudige maar diepgaande vraag: Als je leraar "ruisachtig" is (fouten maakt), is het dan beter om gewoon naar een heleboel van hun oude video's te kijken (Offline), of is het beter om naast hen te oefenen en om hulp te vragen wanneer je vastloopt (Online)?

Hier is de uiteenzetting van hun bevindingen met behulp van alledaagse analogieën.

1. Het Problek: De "Ruisachtige" Docent

Stel je voor dat je leert om een perfecte taart te bakken.

De Zuivere Expert: Een meesterbakker die nooit een fout maakt. Als je hun video's bekijkt, leer je het perfect.
De Ruisachtige Expert: Een meesterbakker die voor 90% perfect is, maar af en toe zout toevoegt in plaats van suiker, of een ingrediënt vergeet. Dit is wat er gebeurt bij AI-modellen (zoals Large Language Models); het "docent"-model is niet perfect, en menselijke data bevat vaak typefouten of fouten.

2. De Offline Benadering: "Kijk Gewoon naar de Video's" (Behavioral Cloning)

Dit is alsof je op de bank zit en 1.000 video's van de Ruisachtige Bakker kijkt en probeert elke stap uit je hoofd te leren.

De Bevinding van het Papier: Als de taak kort is (zoals het bakken van een koekje), werkt het kijken naar video's prima. Maar als de taak lang is (zoals het bakken van een bruidstaart met 10 lagen), dan faalt deze methode spectaculair.
De Analogie: Stel je voor dat de bakker een kleine fout maakt in stap 1. In stap 2 kopieer je die fout. In stap 3 kopieer je de fout uit stap 2, die nu verder wordt opgestapeld. Tegen de tijd dat je bij de 10e laag bent, is je taart een ramp.
De Wiskunde: Het papier bewijst dat om een lange taak van een ruisachtige docent te leren door alleen maar video's te kijken, je een exponentieel enorme hoeveelheid video's nodig hebt. Het is alsof je een dans van 100 stappen probeert te leren door een video te kijken van iemand die elke 5e stap struikelt; je zou miljoenen video's nodig hebben om de juiste bewegingen te ontdekken. Het papier noemt dit "fundamenteel onuitvoerbaar".

3. De Online Benadering: "Oefen met de Docent" (On-Policy Distillation)

Dit is alsof de docent naast je in de keuken staat. Je begint met bakken. Wanneer je op het punt staat een ingrediënt toe te voegen, vraag je: "Wat denk jij dat ik moet doen?" De docent (die nog steeds een beetje ruisachtig is) geeft je een antwoord. Je doet het, en je gaat door.

De Bevinding van het Papier: Deze methode is een gamechanger. Zelfs als de docent fouten maakt, kun je de lange taak leren met een behapbaar aantal interacties.
De Analogie: Omdat je om hulp vraagt op het moment dat je het nodig hebt, laat je de kleine fouten niet opstapelen tot een ramp. Als de docent een vreemd antwoord geeft, kun je dit direct corrigeren omdat je je nog steeds in de "keuken" bevindt (de huidige staat van de taak).
Het Geheime Ingrediënt: Het papier suggereert een specifieke manier om dit te doen. In plaats van alleen maar blindelings het antwoord van de docent te kopiëren, moet je je eigen pad simuleren (hoe jij zou handelen) en de docent vervolgens vragen om jouw specifieke keuzes te beoordelen. Dit wordt On-Policy Distillation genoemd.

4. De "Magische" Loss Function (NAIL)

De auteurs zeiden niet alleen "doe aan online leren." Ze hebben een specifiek recept uitgevonden (een algoritme genaamd NAIL) en een specifieke manier om succes te meten.

De Analogie: Stel je voor dat je een videogame speelt.
- Oude Manier (Offline): Je kijkt naar een streamer die speelt. Zij maken een fout, jij kopieert het, en je verliest.
- Nieuwe Manier (NAIL): Je speelt het level. Wanneer je vastloopt, pauzeer je en vraag je de streamer: "Als ik op deze exacte plek zou zijn, wat zou jij dan doen?" De streamer antwoordt. Je vergelijkt jouw zet vervolgens direct met die van hen, juist daar.
Het Resultaat: Het papier laat zien dat deze specifieke "vraag-en-vergelijk"-methode je in staat stelt om lange, complexe taken te leren van een ruisachtige docent zonder dat je miljoenen voorbeelden nodig hebt. Het verandert een onmogelijk probleem in een oplosbaar probleem.

5. Echt Wereldbewijs (De Experimenten)

De auteurs hebben dit getest op twee zaken:

Wiskundige Puzzels: Een synthetische taak waarbij een computer getallen in een lus moet optellen.
GSM-8K: Een echte benchmark voor wiskundig redeneren voor AI.

De Resultaten:

Wanneer de docent perfect was, werkten zowel het kijken naar video's als het samen oefenen goed.
Wanneer de docent ruisachtig was (fouten maakte):
- De "Kijk Video's"-methode (Offline) faalde volledig. De AI kon niet leren.
- De "Samen Oefenen"-methode (Online/NAIL) werkte perfect, zelfs met een ruisachtige docent.

Samenvatting

Het papier betoogt dat Behavioral Cloning (gewoon video's kijken) niet genoeg is wanneer de docent imperfect is en de taak lang is.

Offline Leren (Kijken): Faalt omdat kleine fouten uitgroeien tot enorme rampen bij lange taken. Je hebt een onmogelijke hoeveelheid data nodig om dit op te lossen.
Online Leren (Oefenen): Slaagt omdat je fouten kunt corrigeren terwijl ze gebeuren. Het verandert een "ruisachtige" docent in een betrouwbare gids, mits je op de juiste manier om hulp vraagt (met behulp van de specifieke "On-Policy" methode die wordt beschreven).

Kortom: Als je docent menselijk is (of een licht imperfect AI), kijk dan niet alleen naar hun oude huiswerk. Ga naast ze zitten, doe het werk samen, en vraag om correcties terwijl je bezig bent. Dat is de enige manier om lange, complexe taken onder de knie te krijgen.

Technische Samenvatting: Behavior Cloning is Not All You Need

Probleemstelling

Het artikel behandelt een centrale puzzel in Imitation Learning (IL): terwijl theoretische resultaten suggereren dat offline methoden zoals Behavioral Cloning (BC) in de ideale setting met een perfecte expert horizon-vrije, optimale prestaties kunnen behalen, laat empirisch bewijs in moderne toepassingen (met name bij het trainen van Large Language Models via On-Policy Distillation, of OPD) consequent zien dat online methoden beter presteren dan offline methoden.

De auteurs stellen een noisy expert model (model met een ruizige expert) voor om dit verschil te verklaren. In deze setting heeft de leerling geen toegang tot een perfect expertbeleid $\pi^\star$ , maar tot een gecorrumpeerde versie $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$ , waarbij $\eta$ het ruisniveau is en $\nu$ een ruisverdeling. Het doel van de leerling is om een beleid $\hat{\pi}$ te leren dat concurreert met de verwachte beloning van de schone expert $\pi^\star$ , ondanks dat er alleen toegang is tot trajecten gegenereerd door de ruizige expert. Dit model vangt real-world scenario's op, zoals het trainen van taalmodellen op imperfecte menselijke tekst, het distilleren van grote docentmodellen die nog niet volledig geconvergeerd zijn, of redeneertaak waarbij de "expert" stochastisch is.

Methodologie en Theoretisch Kader

De auteurs analyseren zowel offline als online IL onder deze ruizige expert-aanname, waarbij ze de Hellinger-afstand tussen trajectverdelingen gebruiken als een proxy voor regret.

1. Offline Imitation Learning (Het Hardheid-resultaat)

In de offline setting krijgt de leerling een vaste dataset van $n$ trajecten van $\pi^\star_\eta$ .

Analyse: De auteurs tonen aan dat men, om een beleid te herstellen dat dicht bij de schone expert $\pi^\star$ ligt, de ruis moet inverteren. Ze leiden een grens af die de Hellinger-afstand van de schone trajecten $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ relateert aan de Hellinger-afstand van de ruizige trajecten $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$ .
Belangrijkste bevinding: Zonder aanvullende aannames groeit de benodigde sample-complexiteit om te kunnen concurreren met de schone expert exponentieel met de horizon $H$ (specifiek, schalend als $(1-\eta)^{-H}$ ). Zelfs met een "domination condition" (waarbij de ruisverdeling wordt gedomineerd door de beleidsklasse), blijft de afhankelijkheid exponentieel in $H$ als de ruis niet verwaarloosbaar is ten opzichte van $1/H$ .
Lower Bound: De auteurs bewijzen dat deze exponentiële afhankelijkheid fundamenteel is. Ze construeren een tegenvoorbeeld dat aantoont dat elk offline algoritme een sample-complexiteit vereist die exponentieel is in $H$ om een constante fout te bereiken, wat offline IL in langdurige ruizige settings fundamenteel onhandelbaar maakt.

2. Online Imitation Learning (De Oplossing)

In de online setting kan de leerling interageren met de omgeving, de huidige beleidsregels uitrollen, en de ruizige expert bevragen voor acties in de bezochte toestanden.

Geaugmenteerde trajecten: De auteurs introduceren het concept van augmented trajectory distributions $P_{\pi, \pi'}$ , waarbij de leerling beleid $\pi$ uitrolt maar de expert $\pi'$ bevraagt voor acties in elke staat. Dit stelt de leerling in staat om de eigen trajectverdeling te vergelijken met het gedrag van de expert op dezelfde toestanden.
Theoretische garantie: Ze bewijzen dat de suboptimaliteit van het geleerde beleid begrensd kan worden door de Hellinger-afstand (of KL-divergentie) tussen de geaugmenteerde trajectverdelingen van de leerling en de ruizige expert. Cruciaal is dat onder een $\kappa$ -domination condition (waarbij de ruisverdeling wordt gedomineerd door de expert- en leerlingbeleid), deze grens horizon-vrij wordt. Zelfs zonder deze conditie is de afhankelijkheid van de horizon slechts polynomiaal ( $\sqrt{H}$ ), een scherp contrast met de exponentiële afhankelijkheid in de offline case.
Algoritme (NAIL): De auteurs stellen NAIL voor (Noise-robust Aggregation for Imitation Learning). In tegen tegenstelling tot standaard DAgger, dat stap-voor-stap beleid leert, aggregeert NAIL beleid op trajectniveau met behulp van exponentiële gewichten op de negatieve log-likelihood van geaugmenteerde trajecten.
- Bekende corruptie: NAIL bereikt een regret-bound die schaalt als $H \sqrt{\log|\Pi|/n}$ .
- Onbekende corruptie (Deterministische expert): Voor het geval dat de expert deterministisch is en de ruis "glad" is (beperkte waarschijnlijkheidsmassa op elke actie), stellen de auteurs NAILGUN voor. Dit algoritme bereikt een horizon-vrije regret-bound van $\log|\Pi|/n$ zonder kennis van het ruisniveau $\eta$ of de verdeling $\nu$ .

Belangrijkste Bijdragen

Theoretische Separatie: Het artikel vestigt een scherpe scheiding tussen offline en online IL in de aanwezigheid van ruizige experts. Het bewijst dat offline leren fundamenteel moeilijk is (exponentieel in horizon) terwijl online leren horizon-vrije of polynomiale horizon-garanties kan bieden.
Noisy Expert Model: De introductie van een algemeen noisy expert model ( $\pi^\star_\eta$ ) dat het empirische succes van OPD boven Supervised Fine-Tuning (SFT) verklaart bij het trainen van taalmodellen, zelfs wanneer de docent- en leerlingarchitecturen identiek zijn (wat de mogelijkheid uitsluit dat misspecificatie de enige oorzaak is).
Augmented Trajectory Analyse: De afleiding van bounds die de prestaties van de schone expert koppelen aan de divergentie tussen geaugmenteerde trajectverdelingen ( $P_{\hat{\pi}, \pi^\star_\eta}$ versus $P_{\hat{\pi}, \hat{\pi}_\eta}$ ), wat een theoretische rechtvaardiging biedt voor on-policy distillatie-objectieven.
Algoritmen en Bounds:
- NAIL: Een algoritme voor settings met bekende corruptie met bijna optimale sample-complexiteit.
- NAILGUN: Een algoritme voor settings met onbekende corruptie (deterministische expert) dat horizon-vrije garanties behaalt.
- Lower Bounds: Bijpassende lower bounds die de optimaliteit van de voorgestelde algoritmen aantonen tot aan constante factoren.

Experimentele Resultaten

De auteurs valideren hun theorie op twee taken:

Modular Addition (Synthetisch): Een taak die een "chain of thought" vereist om getallen modulo 7 op te tellen.
- Schone Expert: Offline BC (SFT) presteert het best, consistent met de theorie.
- Ruizige Expert: Offline BC en standaard OPD slagen er niet in te leren. De voorgestelde NAIL-varianten (die de forward/reverse KL minimaliseren op geaugmenteerde trajecten) bereiken een perfecte nauwkeurigheid.
GSM-8K (Natuurlijke Taal): Een benchmark voor wiskundig redeneren met Gemma-modellen.
- Schone Expert: Online methoden presteren beter dan offline BC.
- Ruizige Expert: Alleen de NAIL-varianten blijven effectief en behalen een niet-triviale nauwkeurigheid, terwijl standaard OPD en SFT volledig falen (0% nauwkeurigheid).

Deze resultaten bevestigen dat de loss-functies die uit de theoretische analyse zijn afgeleid (specifiek die die betrokken zijn bij geaugmenteerde trajecten) robuuster zijn tegen ruizige expert-feedback dan standaard supervised learning objectieven.

Betekenis en Claims

Het artikel claimt een theoretische basis te bieden voor waarom on-policy distillatie (OPD) beter presteert dan standaard supervised fine-tuning (SFT) bij het trainen van taalmodellen vanuit imperfecte docenten.

Verklaring van Empirische Fenomenen: Het lost de "theorie versus praktijk" kloof in IL op door te laten zien dat de aanname van een "schone" expert vaak wordt geschonden in de praktijk (door ruis in menselijke data of imperfecte docentmodellen), en dat onder dergelijke ruis online interactie niet alleen gunstig maar noodzakelijk is om exponentiële sample-complexiteit te vermijden.
Geprincipeerde Loss-functie: De analyse leidt tot een alternatieve loss-functie (het minimaliseren van divergentie op geaugmenteerde trajecten) die vaak empirisch wordt overwogen voor LM-training maar die een rigoureuze rechtvaardiging miste. Dit artikel biedt die rechtvaardiging.
Beperkingen: De auteurs zijn bescheiden over hun claims en merken op dat hun resultaten steunen op eindige beleidsklassen, geïdealiseerde corruptiemodellen en specifieke aannames (zoals deterministische experts voor de onbekende corruptie-case). Ze erkennen dat het direct vertalen van deze resultaten naar de praktijk verdere arbeid vereist op het gebied van meer geavanceerde ruismodellen en schalingsexperimenten.

Samenvattend betoogt het artikel dat Behavior Cloning niet alles is wat je nodig hebt wanneer experts ruizig zijn; in plaats daarvan is On-Policy Distillation theoretisch optimaal voor het herstellen van het gedrag van een schone expert uit ruizige data in langdurige (long-horizon) taken.