🤖 machine learning

When Does Online Imitation Learning Help in LLM Post-Training? The Role of (Non-)Realizability Beyond Horizon

Diese Arbeit stellt die herkömmliche Ansicht infrage, wonach die Fehlerakkumulation den Erfolg von Online-Imitationslernen vorantreibt, und zeigt stattdessen auf, dass dessen Vorteil gegenüber Offline-Methoden primär durch Nicht-Realisierbarkeit bestimmt wird, wobei die Online-Interaktion informationstheoretische Engpässe in misspezifizierten Settings überwindet, die Offline-Ansätze selbst bei einem Horizont von eins nicht auflösen können.

Ursprüngliche Autoren: Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

Veröffentlicht 2026-06-30

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Huaqing Zhang, Jingchu Gai, Juno Kim, Bingbin Liu, Andrej Risteski

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wann schlägt „Learning by Doing“ das „Lernen aus dem Lehrbuch“?

Stellen Sie sich vor, Sie versuchen, einem Schüler (dem KI-Modell) beizubringen, wie man komplexe mathematische Probleme löst. Sie haben zwei Möglichkeiten, dies zu tun:

Die Lehrbuch-Methode (Offline-Lernen): Sie geben dem Schüler einen statischen Stapel mit Lösungsschlüsseln, die von einem genialen Lehrer geschrieben wurden. Der Schüler liest sie und versucht, die Muster auswendig zu lernen. Dies nennt man Supervised Fine-Tuning (SFT).
Die Tutor-Methode (Online-Lernen): Der Schüler versucht, ein Problem zu lösen, und der geniale Lehrer sieht sich den spezifischen Versuch des Schülers an und sagt: „Hier ist die Wahrscheinlichkeit, dass dies richtig ist“ oder „Versuch es stattdessen so“. Der Schüler lernt durch die Interaktion mit dem Lehrer in Echtzeit. Dies nennt man Online Imitation Learning (oder On-Policy Distillation).

In der realen Welt funktioniert die „Tutor-Methode“ oft besser als die „Lehrbuch-Methode“. Aber warum?

Lange Zeit dachten die Leute, die Antwort sei „Fehlerakkumulation“ (Error Accumulation).

Die alte Theorie: Wenn ein Schüler in Schritt 1 einer langen Matheaufgabe einen kleinen Fehler macht, kann er sich in Schritt 2, 3 und 4 verlieren. Die Lehrbuch-Methode erkennt diese kleinen Ausrutscher nicht frühzeitig, sodass sich die Fehler wie ein Schneeball aufstauchen, der einen Hang hinunterrollt. Der Tutor hingegen fängt sie sofort ab.

Dieses Paper sagt: „Das ist nicht die ganze Geschichte.“
Die Autoren argumentieren, dass der wahre Grund, warum Online-Lernen gewinnt, etwas ganz anderes ist: Der „Größenunterschied“ (Non-Realizability).

Die zentrale Entdeckung: Das Problem mit dem „kleinen Rucksack“

Das Paper führt das Konzept der Realisierbarkeit (Realizability) ein.

Realisierbar: Der Schüler ist genauso klug (oder hat dieselbe „Gehirngröße“) wie der Lehrer. Der Schüler kann das Denken des Lehrers perfekt kopieren.
Nicht realisierbar (Misspezifiziert): Der Schüler ist kleiner oder weniger fähig als der Lehrer. Der „Rucksack“ des Schülers ist zu klein, um das gesamte komplexe Denken des Lehrers zu tragen.

Szenario A: Der Schüler ist klug genug (Realisierbar)**

Stellen Sie sich vor, der Lehrer und der Schüler sind beide PhDs.

Das Ergebnis des Papers: Wenn Sie dem PhD-Schüler das Lehrbuch geben (Offline-Lernen), wird er alles perfekt lernen. Er wird die Punktzahl des Lehrers erreichen.
Das Ergebnis: Ein Live-Tutor (Online-Laden) macht ihn nicht klüger oder schneller. Die „Lehrbuch-Methode“ ist bereits perfekt.
Analogie: Wenn Sie eine perfekte Karte einer Stadt haben, brauchen Sie keinen GPS-Guide, um dorthin zu laufen. Sie können einfach der Karte folgen.

Szenario B: Der Schüler ist kleiner (Nicht realisierbar)**

Stellen Sie sich vor, der Lehrer ist ein Schachgroßmeister, aber der Schüler ist ein Anfänger. Die Züge des Lehrers sind zu komplex, als dass der Schüler sie vollständig verstehen oder direkt kopieren könnte.

Das Problem mit dem Lehrbuch: Der Lösungsschlüssel des Lehrers könnte sagen: „Ziehe den Springer nach F3.“ Aber das Gehirn des Schülers ist zu einfach, um zu verstehen, warum dieser Zug funktioniert, oder vielleicht kann der Schüler diesen speziellen Zug gar nicht effizient ausführen. Der Schüler versucht, das „Aussehen“ der Antwort auswendig zu lernen, aber weil das Gehirn des Schülers anders ist, bleibt er stecken. Er stößt auf einen Informationsengpass (Information Bottleneck). Er kann die richtigen Züge nicht lernen, weil die „richtigen“ Züge im Lehrbuch nicht in sein begrenztes Gehirn passen.
Die Kraft des Tutors: Wenn der Schüler einen Zug ausführt und nachfragt, gibt der Lehrer Feedback, das speziell auf den aktuellen Versuch des Schülers zugeschnitten ist. Selbst wenn der Schüler klein ist, kann der Lehrer ihn zu den bestmöglichen Zügen führen, die der Schüler tatsächlich leisten kann.
Das Ergebnis des Papers: Online-Lernen glänzt hier, weil es dem Schüler hilft, die „beste Version seiner selbst“ innerhalb seiner begrenzten Kapazität zu finden, während das Lehrbuch ihm eine Version des Spiels zeigt, die er gar nicht spielen kann.

Die „Stil vs. Substanz“-Analogie

Das Paper erklärt auch, warum es irreführend ist, lediglich zu messen, „wie anders der Schüler vom Lehrer aussieht“ (Distributional Discrepancy).

Stellen Sie sich einen Lehrer vor, der ein Matheproblem in 3 Schritten löst, und einen Schüler, der es in 10 Schritten löst.

Die alte Sichtweise: „Wow, der Schüler ist völlig anders als der Lehrer! Er nutzt andere Wörter und nimmt andere Wege. Der Schüler muss scheitern.“
Die Sichtweise des Papers: „Warten Sie, beide haben das richtige Ergebnis erzielt (100 % Genauigkeit). Der Unterschied liegt nur im Stil (3 Schritte vs. 10 Schritte). Der Schüler macht eigentlich einen tollen Job!“

In der „Nicht-realisierbaren“ Einstellung muss der Schüler vielleicht einen längeren, unbeholfenen Weg nehmen, um das richtige Ergebnis zu erhalten, weil er die elegante Abkürzung des Lehrers nicht beherrschen kann.

Offline-Lernen (Lehrbuch): Versucht, den Schüler dazu zu zwingen, den eleganten 3-Schritte-Pfad des Lehrers zu kopieren. Der Schüler scheitert, weil er das nicht leisten kann.
Online-Lernen (Tutor): Sieht, dass der Schüler mit dem 3-Schritte-Pfad kämpft, und sagt: „Okay, das kannst du nicht machen. Aber wenn du diesen 10-Schritte-Pfad nimmst, kannst du trotzdem das richtige Ergebnis erzielen.“ Der Tutor hilft dem Schüler, seine Belohnung (das richtige Ergebnis zu erhalten) zu maximieren, auch wenn sein Stil dem des Lehrers sehr unterschiedlich sieht.

Zusammenfassung der Thesen des Papers

Wenn der Schüler klug genug ist (Realisierbar): Ist die „Lehrbuch-Methode“ (Offline) bereits perfekt. Online-Lernen bietet keinen Mehrwert.
Wenn der Schüler kleiner ist (Nicht realisierbar): Stößt die „Lehrbuch-Methode“ an eine Wand. Sie versucht, dem Schüler Dinge beizubringen, die er physisch nicht darstellen kann.
Der wahre Gewinner: Online-Lernen funktioniert im „Nicht-realisierbaren“ Fall deshalb so gut, weil es nicht nur versucht, den Stil des Lehrers zu kopieren. Es findet die bestmögliche Lösung, die der Schüler tatsächlich erreichen kann, auch wenn diese ganz anders aussieht als die ursprüngliche Lösung des Lehrers.
Der „Schneeball“-Mythos: Das Paper argumentiert, dass die alte Idee von „Fehlern, die sich über die Zeit aufstauen“, nicht der Hauptgrund ist, warum Online-Lernen gewinnt. Selbst in kurzen, einfachen Aufgaben (in denen Fehler nicht aufstauen können) gewinnt Online-Lernen, wenn der Schüler kleiner als der Lehrer ist.

Zusammenfassend lässt sich sagen: Online-Lernen hilft nicht primlich deshalb, weil es Fehler schneller korrigiert, sondern weil es einem kleineren Schüler hilft, den bestmöglichen Weg zum Erfolg zu finden, selbst wenn er den Lehrer nicht perfekt kopieren kann.

Technisches Resümee: Wann hilft Online-Imitation Learning beim LLM Post-Training?

Problemstellung

Das Paper adressiert eine fundamentale Frage im Post-Training von Large Language Models (LLMs): Warum und wann übertrifft Online-Imitation Learning (IL), spezifisch On-Policy-Distillation, das Offline-Supervised Fine-Tuning (SFT)?

Während empirische Studien darauf hindeuten, dass Online-IL überlegen ist, wird die vorherrschende theoretische Erklärung – nämlich, dass die Online-Interaktion die „Fehlerakkumulation“ über lange Horizonte abmildert (wie bei DAgger-ähnlichen Algorithmen) – durch jüngste Erkenntnisse infrage gestellt. Foster et al. [15] zeigten, dass in realisierbaren Settings (wo die Experten-Policy innerhalb der Hypothesenklasse des Studenten liegt) Offline-IL mit Log-Likelihood-Zielen dieselben Stichprobenkomplexitäts-Garantien erreicht wie Online-Methoden. Dies wirft die Frage auf: Wenn die Fehlerakkumulation nicht der einzige Treiber ist, was ist dann die Quelle des Vorteils von Online-IL im praktischen LLM-Training, in dem Student-Modelle oft kleiner und weniger fähig sind als die Experten, die sie imitieren?

Die Autoren schlagen vor, dass Nicht-Realisierbarkeit (Misspezifikation) – das Szenario, in dem die Student-Policy-Klasse $\Pi$ die Experten-Policy $\pi_e$ nicht repräsentieren kann – der entscheidende Faktor ist. Sie untersuchen, ob Online-Interaktion in nicht-realisierbaren Settings selbst in Abwesenheit von langfristigen kumulativen Fehlern (d. h. in kontextuellen Banditen mit Horizont $H=1$ ) Vorteile bietet.

Methodik

Theoretischer Rahmen

Die Autoren abstrahieren das LLM Post-Training als ein kontextuelles Bandit-Problem mit Horizont $H=1$ .

Kontexte ( $X$ ): Prompts.
Aktionen ( $Y$ ): Generierte Antwortsequenzen.
Policy ( $\pi$ ): Eine bedingte Verteilung über Antworten.
Realisierbarkeit: Definiert als $\pi_e \in \Pi$ . Wenn $\pi_e \notin \Pi$ , ist das Setting nicht-realisierbar.

Sie analysieren zwei Lernparadigmen:

Offline IL (SFT): Lernt aus einem statischen Datensatz von i.i.d. Experten-Demonstrationen $(x_i, y_i)$ durch Minimierung des Behavior-Cloning-Loss (negative Log-Likelihood).
Online IL (On-Policy-Distillation): Der Lernende sampelt aus seiner aktuellen Policy $\pi$ , fragt den Experten nach der Wahrscheinlichkeit $\pi_e(y|x)$ ab und optimiert ein Reverse-KL-Divergenz-Ziel (oder eine allgemeine Shaping-Funktion $f(\pi_e(y|x))$ ).

Zentrale analytische Werkzeuge

Diskrepanz-Analyse: Das Paper kritisiert traditionelle Bounds, die auf Diskrepanzen zwischen Experte und Student (z. B. Total Variation, Hellinger-Distanz) beruhen. Die Autoren argumentieren, dass diese Bounds in nicht-realisierbaren Settings zu pessimistisch sind und nicht mit dem wahren Reward-Ziel übereinstimmen.
Informationstheoretische untere Schranken (Offline): Die Autoren leiten eine untere Schranke für die Stichprobenkomplexität von Offline-IL in nicht-realisierbaren Settings ab und zeigen, dass diese mit einem Coverage-Koeffizienten $C_\infty^e$ skaliert. Dieser Koeffizient misst die Diskrepanz zwischen der Verteilung des Experten und der besten erreichbaren Policy innerhalb der eingeschränkten Student-Klasse.
Strukturelle Bedingung für Online IL (Misspezifikations–Reward-Alignment): Um den Erfolg von Online-IL zu erklären, schlagen sie eine Bedingung vor, bei der das Signal des Experten (verwendet für die Distillation) mit der Reward-Funktion so korreliert, dass die Student-Klasse dies ausnutzen kann, selbst wenn sie die Experten-Policy nicht vollständig repräsentieren kann.
- Annahme 1 (Misspezifikations–Reward-Alignment): Das Experten-Signal $f(\pi_e(y|x))$ wird in eine reward-affine Komponente $\alpha r(x,y)$ und einen Residuum $h(x,y)$ zerlegt. Die Bedingung erfordert, dass innerhalb der Menge der für das Online-Ziel nahezu optimalen Policies der Residuum-Term $h$ die Policies, die sich in ihrer Reward-Performance unterscheiden, nicht signifikant voneinander unterscheidet. Im Wesentlichen muss die „Misspezifikation“ orthogonal zum Reward sein oder durch die Student-Klasse unrepräsentierbar sein.

Zentrale Beiträge und Ergebnisse

1. Realisierbare Settings: Offline IL genügt

Die Autoren verifizieren empirisch, dass in realisierbaren Settings Online-IL keinen Vorteil gegenüber Offline-IL bietet.

Experimente: Sie führten Experimente zu synthetischen (Countdown) und realen mathematischen Reasoning-Aufgaben (GSM8K, DeepScaleR) durch. In diesen Setups wurde der „Experte“ durch ein RL-trainiertes Modell aus derselben Familie wie der Student generiert, was Realisierbarkeit garantierte.
Ergebnisse: SFT (offline) stellte die Performance des Experten vollständig wieder her. On-Policy-Distillation (online) lieferte keine Gewinne in der finalen Genauigkeit oder Trainingsgeschwindigkeit im Vergleich zu SFT. Dies bestätigt, dass die Fehlerakkumulation nicht der primäre Treiber des Erfolgs von Online-IL in diesen Regimen ist.

2. Nicht-realisierbare Settings: Der Informations-Bottleneck

In nicht-realisierbaren Settings (in denen der Experte ein wesentlich größeres oder anderes Modell ist), identifiziert das Paper eine fundamentale Limitierung für Offline-IL:

Theorem 1: Offline-IL-Algorithmen, die von i.i.d. Experten-Daten lernen, stehen vor einer informationstheoretischen Barriere. Wenn der Experte eine geringe Wahrscheinlichkeitsmasse auf die spezifischen Antworten legt, die die eingeschränkte Student-Klasse lernen kann (hohes $C_\infty^e$ ), kann Offline-IL unabhängig von der Stichprobengröße keine verschwindende Suboptimalität erreichen. Die Demonstrationen des Experten enthalten möglicherweise schlichtweg nicht die „richtigen“ Beispiele, damit der Student die optimale Policy innerhalb seiner Klasse lernt.

3. Der Vorteil von Online IL durch strukturelles Alignment

Das Paper liefert eine theoretische Rechtfertigung dafür, warum Online-IL in nicht-realisierbaren Settings erfolgreich ist:

Theorem 2: Unter der Misspezifikations–Reward-Alignment-Bedingung kann Online-IL eine geringe Reward-Suboptimalität erreichen, selbst bei großen Verteilungsdiskrepanzen.
Mechanismus: Die Online-Interaktion ermöglicht es dem Studenten, den Experten auf Zuständen (Prompts) abzufragen, die er tatsächlich besucht. Wenn das Signal des Experten so strukturiert ist, dass die reward-relevante Information für den Studenten zugänglich ist (selbst wenn die volle Verteilung des Experten nicht ist), kann Online-IL zu einer High-Reward-Policy konvergieren.
Empirische Validierung: Unter Verwendung von DeepSeek-R1-Modellen zeigten die Autoren, dass Verteilungsdiskrepanzen (z. B. in der Antwortlänge oder Keyword-Frequenz) massiv sein können (z. B. ~~30% TV-Distanz), während der Performance-Unterschied gering bleibt (~~5%). Dies stützt die Behauptung, dass Diskrepanz-basierte Bounds unpräzise sind. Des Weiteren zeigten sie, dass die Distillation von einem besser „alignierten“ Experten (Skywork-7B) eine signifikant bessere Student-Performance lieferte als ein weniger alignierter Experte (R1-Distill-7B), was konsistent mit ihren theoretischen Bound-Schätzungen ist.

Bedeutung und Ansprüche

Das Paper beansprucht, das theoretische Verständnis des LLM Post-Trainings von einer Fehlerakkumulations-Perspektive hin zu einer Misspezifikations-Perspektive zu verschieben.

Neubewertung des Vorteils: Der primäre Vorteil von Online-IL in LLMs ist nicht bloß die Korrektur kumulativer Fehler über lange Horizonte, sondern die Überwindung des informationstheoretischen Bottlenecks, das durch Nicht-Realisierbarkeit verursacht wird. In realisierbaren Settings ist Offline-SFT theoretisch und empirisch ausreichend.
Notwendigkeit einer Reward-bewussten Analyse: Die Autoren argumentieren, dass eine Analyse von IL allein durch Verteilungsdiskrepanzen (z. B. KL-Divergenz) unzureichend und oft irreführend ist. Eine Reward-abhängige Analyse ist erforderlich, um zu erklären, warum Online-Methoden erfolgreich sind, wenn der Student den Experten nicht perfekt imitieren kann.
Praktische Implikationen: Die Ergebnisse legen nahe, dass die beobachtete Performance-Lücke zwischen SFT und Online-Methoden (wie RL oder On-Policy-Distillation) in der Praxis oft aus der Nicht-Realisierbarkeit des Experten relativ zum Studenten resultiert. Wenn der Experte zu stark oder strukturell zu verschieden ist, sind Offline-Daten möglicherweise unzureichend, und Online-Interaktion wird notwendig, um den Studenten in die High-Reward-Regionen seines eigenen Policy-Raums zu führen.

Das Paper schließt mit dem Hinweis, dass ihr Framework zwar den Offline-Online-Gap erklärt, aber nicht vollständig begründen kann, warum On-Policy-Distillation manchmal effizienter als RL (welches ebenfalls Online-Interaktion nutzt) ist. Dies deutet darauf hin, dass die mehrstufige Struktur der Sprachgenerierung und dichte Reward-Signale weiterhin offene Forschungsgebiete bleiben.