🤖 machine learning

Behavior Cloning is Not All You Need: The Optimality of On-Policy Distillation for Noisy Expert Feedback

Dieses Paper führt ein verrauschtes Expertenmodell ein, um theoretisch zu erklären, warum On-Policy-Distillation beim Training von Sprachmodellen häufig die Offline-Behavior-Cloning-Methode übertrifft, indem es zeigt, dass das Offline-Lernen aus verrauschten Trajektorien eine exponentielle Stichprobenkomplexität zur Folge hat, während die Online-Interaktion mit einem verrauschten Experten unter spezifischen Rauschbedingungen eine polynomielle Abhängigkeit vom Horizont erreichen kann.

Ursprüngliche Autoren: Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

Veröffentlicht 2026-07-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ved Sriraman, Peihan Liu, Daniel Hsu, Adam Block

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Fertigkeit zu erlernen, wie etwa das Lösen einer schwierigen mathematischen Aufgabe oder das Schreiben einer langen Geschichte, indem Sie einem „Meister“ dabei zusehen, wie er dies tut. In der Welt der Künstlichen Intelligenz nennt man das Imitation Learning (Imitationslernen). Normalerweise gehen wir davon aus, dass der Meister perfekt ist. In der Realität machen aber selbst die besten Lehrer Fehler, werden müde oder raten manchmal falsch.

Dieses Paper stellt eine einfache, aber tiefgreifende Frage: Wenn dein Lehrer „verrauscht“ ist (also Fehler macht), ist es besser, einfach eine ganze Menge seiner alten Videos anzuschauen (Offline), oder ist es besser, gemeinsam mit ihm zu üben und um Hilfe zu bitten, wann immer man feststeckt (Online)?

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung alltäglicher Analogien.

1. Das Problem: Der „verrauschte“ Lehrer

Stellen Sie sich vor, Sie lernen, einen perfekten Kuchen zu backen.

Der saubere Experte: Ein Meisterbäcker, der niemals einen Fehler macht. Wenn Sie seine Videos schauen, lernen Sie perfekt.
Der verrauschte Experte: Ein Meisterbäcker, der zu 90 % perfekt ist, aber gelegentlich Salz statt Zucker hinzufügt oder eine Zutat vergisst. Das ist das, was in der Realität bei KI-Modellen (wie Large Language Models) passiert; das „Lehrer“-Modell ist nicht perfekt, und menschliche Daten enthalten oft Tippfehler oder Fehler.

2. Der Offline-Ansatz: „Nur die Videos anschauen“ (Behavioral Cloning)

Das ist so, als würde man auf dem Sofa sitzen, 1.000 Videos des verrauschten Bäckers anschauen und versuchen, jeden Schritt auswendig zu lernen.

Die Erkenntnis des Papers: Wenn die Aufgabe kurz ist (wie das Backen eines Kekses), funktioniert das Anschauen von Videos gut. Aber wenn die Aufgabe lang ist (wie das Backen einer 10-Schicht-Hochzeitstorte), versagt diese Methode spektakulär.
Die Analogie: Stellen Sie sich vor, der Bäcker macht einen winzigen Fehler in Schritt 1. In Schritt 2 kopieren Sie diesen Fehler. In Schritt 3 kopieren Sie den Fehler aus Schritt 2, der nun kumuliert ist. Bis Sie die 10. Schicht erreichen, ist Ihr Kuchen eine Katastrophe.
Die Mathematik: Das Paper beweist, dass man, um eine lange Aufgabe von einem verrauschten Lehrer nur durch das Anschauen von Videos zu lernen, eine exponentiell riesige Anzahl an Videos bräuchte. Es ist, als würde man versuchen, einen 100-Schritte-Tanz zu lernen, indem man ein Video von jemandem sieht, der jeden 5. Schritt stolpert; man bräuchte Millionen von Videos, um die richtigen Bewegungen herauszufinden. Das Paper bezeichnet dies als „fundamental unpraktikabel“ (fundamentally intractable).

3. Der Online-Ansatz: „Mit dem Lehrer üben“ (On-Policy Distillation)

Dies ist so, als stünde der Lehrer direkt neben Ihnen in der Küche. Sie beginnen zu backen. Wenn Sie kurz davor sind, eine Zutat hinzuzufügen, fragen Sie: „Was denkst du, sollte ich tun?“ Der Lehrer (der immer noch etwas verrauscht ist) gibt Ihnen eine Antwort. Sie führen sie aus und machen weiter.

Die Erkenntnis des Papers: Diese Methode ist ein Game-Changer. Selbst wenn der Lehrer Fehler macht, können Sie die lange Aufgabe mit einer handhabbaren Anzahl an Interaktionen lernen.
Die Analogie: Da Sie erst in dem Moment um Hilfe bitten, in dem Sie sie brauchen, lassen Sie kleine Fehler nicht zu einem Desaster anschwellen. Wenn der Lehrer eine seltsame Antwort gibt, können Sie diese sofort korrigieren, weil Sie sich noch „in der Küche“ (im aktuellen Zustand der Aufgabe) befinden.
Das Geheimrezept: Das Paper schlägt eine spezifische Vorgehensweise vor. Anstatt einfach blind die Antwort des Lehrers zu kopieren, sollten Sie Ihren eigenen Pfad simulieren (wie Sie handeln würden) und dann den Lehrer bitten, Ihre spezifischen Entscheidungen zu bewerten. Dies wird On-Policy Distillation genannt.

4. Die „magische“ Verlustfunktion (NAIL)

Die Autoren haben nicht nur gesagt „betreiben Sie Online-Learning“. Sie haben ein spezifisches Rezept erfunden (einen Algorithmus namens NAIL) und eine spezifische Art und Weise, den Erfolg zu messen.

Die Analogie: Stellen Sie sich vor, Sie spielen ein Videospiel.
- Alter Weg (Offline): Sie schauen einem Streamer beim Spielen zu. Er macht einen Fehler, Sie kopieren ihn und verlieren.
- Neuer Weg (NAIL): Sie spielen das Level. Wenn Sie feststecken, halten Sie kurz inne und fragen den Streamer: „Wenn ich genau an dieser Stelle wäre, was würdest du tun?“ Der Streamer antwortet. Sie vergleichen dann Ihren Zug direkt dort mit seinem.
Das Ergebnis: Das Paper zeigt, dass diese spezifische „Frage-und-Vergleiche“-Methode es Ihnen ermöglicht, lange, komplexe Aufgaben von einem verrauschten Lehrer zu lernen, ohne Millionen von Beispielen zu benötigen. Es verwandelt ein unmögliches Problem in ein lösbares.

5. Realer Beweis (Die Experimente)

Die Autoren testeten dies an zwei Dingen:

Mathematische Rätsel: Eine synthetische Aufgabe, bei der ein Computer Zahlen in einer Schleife addieren muss.
GSM-8K: Ein realer Benchmark für mathematisches Denken bei KIs.

Die Ergebnisse:

Wenn der Lehrer perfekt war, funktionierten sowohl das Anschauen von Videos als auch das gemeinsame Üben gut.
Als der Lehrer verrauscht war (Fehler machte):
- Die Methode „Videos anschauen“ (Offline) versagte völlig. Die KI konnte nicht lernen.
- Die Methode „Gemeinsam üben“ (Online/NAIL) funktionierte perfekt, selbst mit einem verrauschten Lehrer.

Zusammenfassung

Das Paper argumentiert, dass Behavioral Cloning (das bloße Anschauen von Videos) nicht ausreicht, wenn der Lehrer unperfekt und die Aufgabe lang ist.

Offline-Lernen (Anschauen): Scheitert, weil sich kleine Fehler über lange Aufgaben hinweg zu riesigen Katastrophen multiplizieren. Man benötigt eine unmögliche Menge an Daten, um dies zu beheben.
Online-Lernen (Üben): Erfolgt, weil man Fehler direkt beim Entstehen korrigieren kann. Es verwandelt einen „verrauschten“ Lehrer in einen zuverlässigen Wegweiser, vorausgesetzt, man bittet auf die richtige Weise um Hilfe (unter Verwendung der beschriebenen spezifischen „On-Policy“-Methode).

Kurz gesagt: Wenn dein Lehrer menschlich (oder eine leicht fehlerhafte KI) ist, schau nicht nur seinen alten Hausaufgaben zu. Setz dich neben ihn, erledige die Arbeit gemeinsam und bitte währenddessen um Korrekturen. Das ist der einzige Weg, um lange, komplexe Aufgaben zu meistern.

Technisches Resümee: Behavior Cloning ist nicht alles, was man braucht

Problemstellung

Die Arbeit adressiert ein zentrales Rätsel im Imitation Learning (IL): Während theoretische Ergebnisse nahelegen, dass Offline-Methoden wie Behavioral Cloning (BC) im Fall eines sauberen Experten eine horizon-freie, optimale Performance erreichen können, zeigt die empirische Evidenz in modernen Anwendungen (insbesondere beim Training von Large Language Models via On-Policy Distillation, oder OPD) konsistent, dass Online-Methoden Offline-Methoden übertreffen.

Die Autoren schlagen ein verrauschtes Expertenmodell vor, um diese Diskrepanz zu erklären. In diesem Setting hat der Lernende keinen Zugriff auf eine perfekte Expertenpolitik $\pi^\star$ , sondern auf eine korrumpierte Version $\pi^\star_\eta = (1-\eta)\cdot\pi^\star + \eta\cdot\nu$ , wobei $\eta$ das Rauschniveau und $\nu$ eine Rauschverteilung ist. Das Ziel des Lernenden ist es, eine Politik $\hat{\pi}$ zu erlernen, die mit dem erwarteten Reward des sauberen Experten $\pi^\star$ konkurriert, obwohl er nur Zugriff auf Trajektorien hat, die vom verrauschten Experten generiert wurden. Dieses Modell bildet reale Szenarien ab, wie etwa das Training von Sprachmodellen auf imperfectem menschlichem Text, die Destillation von großen Teacher-Modellen, die nicht vollständig konvergiert sind, oder Reasoning-Aufgaben, bei denen der „Experte“ stochastisch ist.

Methodik und theoretischer Rahmen

Die Autoren analysieren sowohl Offline- als auch Online-IL-Settings unter dieser Annahme eines verrauschten Experten und nutzen dabei die Hellinger-Distanz zwischen Trajektorienverteilungen als Proxy für den Regret.

1. Offline Imitation Learning (Das Härte-Resultat)

Im Offline-Setting erhält der Lernende einen festen Datensatz von $n$ Trajektorien aus $\pi^\star_\eta$ .

Analyse: Die Autoren zeigen, dass man, um eine Politik zu gewinnen, die nah an der sauberen Expertenpolitik $\pi^\star$ liegt, das Rauschen invertieren muss. Sie leiten eine Schranke her, die die Hellinger-Distanz der sauberen Trajektorien $D_H^2(P_{\pi^\star}, P_{\hat{\pi}})$ mit der Hellinger-Distanz der verrauschten Trajektorien $D_H^2(P_{\pi^\star_\eta}, P_{\hat{\pi}_\eta})$ in Beziehung setzt.
Kernergebnis: Ohne zusätzliche Annahmen wächst die benötigte Stichprobenkomplexität (Sample Complexity), um mit dem sauberen Experten zu konkurrieren, exponentiell mit dem Horizont $H$ (speziell skaliert als $(1-\eta)^{-H}$ ). Selbst mit einer „Dominationsbedingung“ (bei der die Rauschverteilung durch die Politikklasse dominiert wird), bleibt die Abhängigkeit exponentiell in $H$ , wenn das Rauschen im Verhältnis zu $1/H$ nicht vernachlässigbar ist.
Untere Schranke (Lower Bound): Die Autoren beweisen, dass diese exponentielle Abhängigkeit fundamental ist. Sie konstruieren ein Gegenbeispiel, das zeigt, dass jeder Offline-Algorithmus eine exponentielle Stichprobenkomplexität in $H$ benötigt, um einen konstanten Fehler zu erreichen, was Offline-IL in langen, verrauschten Horizonten fundamental unpraktikabel macht.

2. Online Imitation Learning (Die Lösung)

Im Online-Setting kann der Lernende mit der Umgebung interagieren, seine aktuelle Politik ausrollen (rollout) und den verrauschten Experten für Aktionen in den besuchten Zuständen abfragen.

Augmentierte Trajektorien: Die Autoren führen das Konzept der augmentierten Trajektorienverteilungen $P_{\pi, \pi'}$ ein, bei denen der Lernende die Politik $\pi$ ausrollt, aber den Experten $\pi'$ für Aktionen in den jeweiligen Zuständen abfragt. Dies ermöglicht es dem Lernenden, seine eigene Trajektorienverteilung gegenüber dem Verhalten des Experten auf denselben Zuständen zu vergleichen.
Theoretische Garantie: Sie beweisen, dass die Suboptimalität der gelernten Politik durch die Hellinger-Distanz (oder KL-Divergenz) zwischen den augmentierten Trajektorienverteilungen des Lernenden und des verrauschten Experten begrenzt werden kann. Entscheidend ist, dass unter einer $\kappa$ -Dominationsbedingung (bei der die Rauschverteilung durch die Experten- und Lernenden-Politiken dominiert wird), diese Schranke horizon-frei wird. Selbst ohne diese Bedingung ist die Abhängigkeit vom Horizont nur polynomial ( $\sqrt{H}$ ), ein starker Kontrast zur exponentiellen Abhängigkeit im Offline-Fall.
Algorithmus (NAIL): Die Autoren schlagen NAIL vor (Noise-robust Aggregation for Imitation Learning). Im Gegensatz zu Standard-DAgger, das schrittweise Politiken lernt, aggregiert NAIL Politiken auf Trajektorienebene unter Verwendung exponentieller Gewichte auf der negativen Log-Likelihood augmentierter Trajektorien.
- Bekannte Korruption: NAIL erreicht eine Regret-Schranke, die als $H \sqrt{\log|\Pi|/n}$ skaliert.
- Unbekannte Korruption (Deterministischer Experte): Für den Fall, dass der Experte deterministisch ist und das Rauschen „glatt“ ist (beschränkte Wahrscheinlichkeitsmasse auf jeder Aktion), schlagen die Autoren NAILGUN vor. Dieser Algorithmus erreicht eine horizon-freie Regret-Schranke von $\log|\Pi|/n$ , ohne das Wissen über das Rauschniveau $\eta$ oder die Verteilung $\nu$ zu benötigen.

Zentrale Beiträge

Theoretische Trennung: Die Arbeit etabliert eine scharfe Trennung zwischen Offline- und Online-IL in Gegenwart verrauschter Experten. Sie beweist, dass Offline-Learning fundamental schwer ist (exponentiell im Horizont), während Online-Learning horizon-freie oder polynomiale Horizont-Garantien erreichen kann.
Verrauschtes Expertenmodell: Die Einführung eines allgemeinen verrauschten Expertenmodells ( $\pi^\star_\eta$ ), das den empirischen Erfolg von OPD gegenüber Supervised Fine-Tuning (SFT) beim Training von Sprachmodellen erklärt, selbst wenn die Teacher- und Student-Architekturen identisch sind (was Misspezifikation als alleinige Ursache ausschließt).
Analyse augmentierter Trajektorien: Die Ableitung von Schranken, die die Performance des sauberen Experten mit der Divergenz zwischen augmentierten Trajektorienverteilungen ( $P_{\hat{\pi}, \pi^\star_\eta}$ vs. $P_{\hat{\pi}, \hat{\pi}_\eta}$ ) verknüpfen, was eine theoretische Rechtfertigung für On-Policy-Distillations-Ziele liefert.
Algorithmen und Schranken:
- NAIL: Ein Algorithmus für Settings mit bekannter Korruption mit nahezu optimaler Stichprobenkomplexität.
- NAILGUN: Ein Algorithmus für Settings mit unbekannter Korruption (deterministischer Experte), der horizon-freie Garantien erreicht.
- Untere Schranken (Lower Bounds): Passende untere Schranken, die die Optimalität der vorgeschlagenen Algorithmen bis auf konstante Faktoren demonstrieren.

Experimentelle Ergebnisse

Die Autoren validieren ihre Theorie anhand zweier Aufgaben:

Modular Addition (Synthetisch): Eine Aufgabe, die einen „Chain of Thought“ erfordert, um Zahlen modulo 7 zu addieren.
- Sauberer Experte: Offline BC (SFT) performt am besten, konsistent mit der Theorie.
- Verrauschter Experte: Offline BC und Standard-OPD scheitern beim Lernen. Die vorgeschlagenen NAIL-Varianten (Minimierung der Forward/Reverse-KL auf augmentierten Trajektorien) erreichen eine perfekte Genauigkeit.
GSM-8K (Natürliche Sprache): Ein Benchmark für mathematisches Reasoning unter Verwendung von Gemma-Modellen.
- Sauberer Experte: Online-Methoden übertreffen das Offline-BC.
- Verrauschter Experte: Nur NAIL-Varianten bleiben effektiv und erreichen eine nicht-triviale Genauigkeit, während Standard-OPD und SFT vollständig versagen (0% Genauigkeit).

Diese Ergebnisse bestätigen, dass die aus der theoretischen Analyse abgeleiteten Verlustfunktionen (speziell jene, die auf augmentierten Trajektorien basieren) robuster gegenüber verrauschtem Experten-Feedback sind als Standard-Supervised-Learning-Objectives.

Bedeutung und Ansprüche

Die Arbeit behauptet, eine theoretische Grundlage dafür zu liefern, warum On-Policy Distillation (OPD) gegenüber Standard-Supervised Fine-Tuning (SFT) beim Training von Sprachmodellen aus imperfecten Lehrern besser abschneidet.

Erklärung empirischer Phänomene: Sie löst die Lücke zwischen „Theorie vs. Praxis“ im IL auf, indem sie zeigt, dass die Annahme eines „sauberen“ Experten in der Praxis oft verletzt wird (aufgrund von Rauschen in menschlichen Daten oder imperfecten Teacher-Modellen), und dass unter solchem Rauschen die Online-Interaktion nicht nur vorteilhaft, sondern notwendig ist, um eine exponentielle Stichprobenkomplexität zu vermeiden.
Prinzipielle Verlustfunktion: Die Analyse führt zu einer alternativen Verlustfunktion (Minimierung der Divergenz auf augmentierten Trajektorien), die zwar empirisch häufig für das Training von LMs verwendet wird, der es jedoch an rigider Rechtfertigung mangelte. Das Paper liefert diese Rechtfertigung.
Einschränkungen: Die Autoren sind bescheiden in ihren Ansprüchen und merken an, dass ihre Ergebnisse auf endlichen Politikklassen, idealisierten Korruptionsmodellen und spezifischen Annahmen beruhen (wie deterministischen Experten für den Fall der unbekannten Korruption). Sie räumen ein, dass die direkte Übertragung dieser Ergebnisse auf die Praxis weitere Arbeit an anspruchsvolleren Rauschmodellen und Skalierungsexperimenten erfordert.

Zusammenfassend argumentiert das Paper, dass Behavior Cloning nicht alles ist, was man braucht, wenn Experten verrauscht sind; stattdessen ist On-Policy Distillation theoretisch optimal, um das Verhalten eines sauberen Experten aus verrauschten Daten in Aufgaben mit langem Horizont zu rekonstruieren.