💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

Diese Arbeit zeigt auf, dass übermäßiges Supervised Fine-Tuning (SFT) die Rollout-Verteilung komprimieren kann, was zu einem Entropiekollaps führt, der eine Ranginversion und eine verschlechterte Leistung im nachfolgenden Group Relative Policy Optimization (GRPO)-Training verursacht – ein Fehlermodus, der durch die Überwachung der prä-RL-Entropie und der frühen GRPO-Dynamik vorhergesagt und gemildert werden kann.

Ursprüngliche Autoren: Siddharth Aphale, Kelly Liu

Veröffentlicht 2026-06-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Siddharth Aphale, Kelly Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Die „Zu perfekt“-Falle

Stellen Sie sich vor, Sie trainieren einen Roboter darauf, Code zu schreiben. Das Standardrezept besteht aus zwei Schritten:

Supervised Fine-Tuning (SFT): Sie zeigen dem Roboter tausende Beispiele für korrekten Code, damit er die Muster lernt.
Reinforcement Learning (RL): Sie lassen den Roboter versuchen, neue Probleme eigenständig zu lösen. Wenn er es richtig macht, bekommt er eine Belohnung (ein Leckerli); wenn er scheitert, bekommt er nichts.

Das Problem: Die Autoren fanden heraus, dass der Roboter schlechter im zweiten Schritt wird, wenn man ihn im ersten Schritt zu sehr trainiert (Step 1 Overtraining).

Normalerweise denken wir: „Je mehr Beispiele der Roboter in Schritt 1 auswendig lernt, desto besser wird er sein.“ Die Autoren entdeckten das Gegenteil: Der Roboter, der in Schritt 1 am meisten auswendig lernt, schneidet in Schritt 2 am schlechtesten ab. Tatsächlich ist der Roboter, der am wenigsten auswendig lernt, am Ende der Champion.

Die Metapher: Der steife Tänzer vs. der flexible Tänzer

Um zu verstehen, war Warum das passiert, stellen Sie sich zwei Tänzer vor, die sich auf einen Wettbewerb vorbereiten, bei dem sie eine Routine basierend auf zufälliger Musik improvisieren müssen.

Der „übertrainierte“ Tänzer (Deep SFT): Dieser Tänzer hat dieselben 10 perfekten Routinen tausendfach geübt. Er ist unglaublich präzise. Aber wenn sich die Musik ändert, erstarrt er. Er kennt nur diese 10 Bewegungen. Er hat keine Ahnung, wie er sich auf andere Weise bewegen soll.
Der „gerade richtig“ Tänze (Shallow SFT): Dieser Tänzer hat die Grundlagen geübt, aber seinen Körper locker und flexibel gehalten. Er kennt die Regeln, kann aber trotzdem wackeln, sich drehen und Neues ausprobieren, wenn sich die Musik ändert.

Der Wettbewerb (RL):
Beim Wettbewerb geht es darum, dass die Tänzer viele verschiedene Bewegungen gleichzeitig ausprobieren, um zu sehen, welche am besten funktionieren.

Der übertrainierte Tänzer versucht immer wieder exakt dieselbe perfekte Bewegung zu machen. Da alle Bewegungen gleich aussehen, können die Preisrichter (der Algorithmus) nicht erkennen, welche Bewegung besser ist. Der Tänzer bleibt stecken und kann nichts Neues lernen.
Der flexible Tänzer probiert eine große Vielfalt an Bewegungen aus. Die Preisrichter können sehen: „Ah, diese Bewegung hat funktioniert, jene nicht!“ – und der Tänzer lernt schnell.

Das technische „Warum“: Entropie-Kollaps

Die Arbeit verwendet ein schickes Wort für „Vielfalt“ oder „Flexibilität“: Entropie.

Entropie-Kollaps: Wenn der Roboter übertrainiert ist, wird sein „Geist“ zu engstirnig. Er hört auf, verschiedene Möglichkeiten zu erforschen, und wiederholt einfach dieselben paar Antworten. In der Fachsprache der Arbeit sagt man: Seine Entropie kollabiert.
Das Signal stirbt: Der Lernalgorithmus (genannt GRPO) arbeitet dadurch, dass er verschiedene Antworten vergleicht. Wenn der Roboter 8 Mal hintereinander die gleiche Antwort gibt, wird der Algorithmus verwirrt. Er kann keinen „Gradienten“ (eine Richtung zur Verbesserung) berechnen, weil es keinen Unterschied zum Vergleichen gibt. Es ist, als würde man versuchen, ein Auto zu steuern, während das Lenkrad fest in der Gerade positioniert ist.
Die Rang-Inversion (Rank Inversion): Dies führt zu einem seltsamen Ergebnis namens Rank Inversion.
- Vor der zweiten Trainingsphase sieht der übertrainierte Roboter wie ein Genie aus (er liefert in der Übung 100 % der richtigen Antworten).
- Nach der zweiten Trainingsphase wird er zu einem Desaster.
- Währenddessen wird der „weniger perfekte“ Roboter, der anfangs etwas schlechter aussah, zum Superstar.

Die zwei Modelle: Eine Geschichte von zwei Städten

Die Autoren testeten dies an zwei verschiedenen Roboter-Gehirnen (Modellen):

Qwen (Das Opfer): Dieses Modell fiel in die Falle. Je mehr sie es in Schritt 1 trainierten, desto steifer wurde es. Der „beste“ Checkpoint (höchster Score) erwies sich als der schlechteste Ausgangspunkt für die nächste Phase.
DeepSeek (Der Überlebende): Dieses Modell war von Natur aus flexibler. Selbst nach intensivem Training wurde es nicht steif. Es blieb in der „sicheren Zone“, in der es noch lernen konnte. Dies bewies, dass das Problem nicht die zweite Trainingsphase selbst war, sondern spezifisch, wie die erste Phase die Flexibilität des Qwen-Modells ruinierte.

Die Lösung: Eine zweistufige Untersuchung

Die Autoren haben das Problem nicht nur gefunden, sondern auch ein Diagnosewerkzeug gebaut, um es zu erkennen, bevor Zeit und Geld verschwendet werden.

Schritt 1: Der „Dehnungs“-Test (Pre-RL Entropy): Bevor die zweite Trainingsphase beginnt, prüfen sie, wie „locker“ der Geist des Roboters ist. Wenn der Roboter zu starr ist (niedrige Entropie), markieren sie ihn als Hochrisiko.
Schritt 2: Der „Frühwarn“-Monitor: Wenn sie die zweite Phase starten, beobachten sie die ersten Minuten. Wenn der Roboter sofort aufhört, Neues auszuprobieren, und anfängt, sich zu wiederholen, brechen sie das Training frühzeitig ab, um Ressourcen zu sparen.

Was nicht funktionierte?

Die Autoren versuchten, den kaputten Roboter mit Standardtricks zu reparieren, wie zum Beispiel:

Einen Penalty hinzufügen: „Weiche nicht zu sehr von deinem ursprünglichen Training ab.“ (Das machte es schlimmer).
Die Labels glätten: „Sei dir bei deinen Antworten etwas weniger sicher.“ (Das ließ den Roboter wieder selbstbewusst erscheinen, aber er scheiterte dennoch beim Wettbewerb).

Das Fazit: Man kann einen steifen Tänzer nicht reparieren, indem man ihm während des Wettbewerbs sagt, er solle sich „mehr anstrengen“. Man muss verhindern, dass man ihn im Vorfeld so starr trainiert. Die Arbeit beweist, dass Vielfalt (Entropie) wichtiger ist als Perfektion, wenn man möchte, dass ein Modell weiterhin lernt.

Technisches Resümee: SFT-Overtraining sagt Rang-Inversion durch Entropie-Kollaps unter RLVR voraus

Problemstellung
Die Standardheuristik für Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) in der Codegenerierung besteht darin, den Checkpoint der Supervised Fine-Tuning (SFT)-Phase auszuwählen, der den höchsten pass@1-Score aufweist, um die RL-Phase (z. B. GRPO) zu initialisieren. Diese Arbeit zeigt auf, dass diese Heuristik versagt, wenn SFT-Overtraining die Rollout-Distribution des Modells komprimiert. Insbesondere führt langes SFT zu einem „Entropie-Kollaps“, bei dem die Diversität der Ausgaben des Modells so stark abnimmt, dass der RL-Algorithmus kein aussagekräftiges Gradientensignal mehr generieren kann. In diesem Regime identifiziert die Auswahl des Checkpoints mit dem höchsten pass@1 systematisch den am schlechtesten performenden RL-Initialisierer, was zu einer „Rang-Inversion“ führt, bei der flachere SFT-Checkpoints nach dem RL-Training bessere Ergebnisse erzielen als tiefere.

Methodik
Die Studie isoliert die SFT-Dauer als einzige unabhängige Variable über zwei Modellfamilien hinweg: Qwen2.5-Coder-3B-Base und DeepSeek-Coder-6.7B-Base.

Experimentelles Setup: Beide Modelle wurden auf 5.000 Problemen mittlerer Schwierigkeit aus KodCode-V1 feinabgestimmt. Checkpoints wurden bei variierenden SFT-Tiefen ausgewählt (1,0 bis 5,8 Epochen für Qwen; 1,0 bis 9,6 Epochen für DeepSeek).
RL-Training: Alle Checkpoints wurden einem identischen GRPO-Training unterzogen (400 Schritte, Gruppengröße $g=8$ , binäre Korrektheitsbelohnung) auf einem gehaltenen Datensatz (held-out dataset).
Metriken: Die Leistung wurde mittels pass@1 und pass@10 (unter Verwendung eines unverzerrten Schätzers) auf einer eingefrorenen 40-Problem-HumanEval+-Teilmenge gemessen. Entscheidend ist, dass die Autoren die Pre-RL-Entropie (mittlere Next-Token-Entropie bei $T=1,0$ ) und die In-Training-Entropie verfolgten, um die Verteilungskollaps zu diagnostizieren.
Interventionen: Um zu testen, ob der Fehler ein Hyperparameter-Artefakt war, wandten die Autoren eine KL-Strafe auf die Referenz-Policy während GRPO sowie Label Smoothing während SFT an, um die Entropie künstlich wiederherzustellen.

Zentrale Beiträge

Theoretische Schwelle für Gradientenkollaps: Die Autoren leiten her, dass für binäre Belohnungen die erwartete Varianz des Within-Group-Advantage $E[\sigma^2_G] = p(1-p)(g-1)/g$ beträgt. Sie identifizieren eine kritische Schwelle $p^*(g)$ , bei der, falls die Wahrscheinlichkeit eines korrekten Rollouts ( $p$ ) unter diesen Wert fällt, das relative Signal innerhalb der Gruppe strukturell kollabiert (die meisten Gruppen erhalten identische Belohnungen), was dazu führt, dass der Gradient verschwindet.
Fallstudie zur Rang-Inversion: Am Qwen2.5-Coder-3B dokumentiert die Arbeit eine klare Rang-Inversion: Mit zunehmender SFT-Tiefe steigt der Pre-RL pass@1, aber der Peak Post-RL pass@10 sinkt monoton (von 0,806 auf 0,481). Der Checkpoint mit dem höchsten pass@1 (5,8 Epochen) performt unter RL am schlechtesten.
Kontrastive Validierung: Bei DeepSeek-Coder-6.7B, wo der Pre-RL pass@1 signifikant über der theoretischen Kollapsschwelle $p^*(8)$ bleibt, tritt keine Rang-Inversion auf. Stattdessen komprimieren sich die Ränge, und alle Checkpoints verbessern sich, was die Hypothese der Schwelle validiert.
Zweistufiges Diagnoseprotokoll: Die Autoren schlagen ein Diagnoseprotokoll vor, um Hochrisiko-Checkpoints vor oder frühzeitig in der RL-Phase zu identifizieren:
- Stufe 1 (Pre-RL): Markierung von Checkpoints, bei denen die mittlere Next-Token-Entropie unter einen Schwellenwert ( $\tau_H = 0,18$ nats) fällt.
- Stufe 2 (Early RL): Überwachung des relativen Abfalls der Worst-Token-Entropie zwischen GRPO-Schritt 10 und 150. Ein Abfall von mehr als 50 % deutet auf einen Kollaps hin.
Lokalisierung des Fehlers: Die Studie zeigt, dass einfache Interventionen (KL-Strafen oder Label Smoothing) kollabierte Checkpoints nicht retten können, was darauf hindeutet, dass der Fehler in der Depletion der Plastizität und Entropie während der SFT-Phase verwurzelt ist und nicht ein anpassbares GRPO-Hyperparameter-Problem darstellt.

Ergebnisse

Qwen2.5-Coder-3B: Es besteht eine starke negative Korrelation ( $\rho = -0,75$ ) zwischen Pre-RL pass@1 und Peak Post-RL pass@10. Der 5,8-Epochen-Checkpoint, trotz des höchsten Pre-RL pass@1 (0,187), kollabierte zu einem Peak pass@10 von 0,481, während der 1,0-Epochen-Checkpoint 0,806 erreichte. Die Entropie des 5,8-Epochen-Modells sank während des Trainings um 78 %, verglichen mit 37 % beim 1,0-Epochen-Modell.
DeepSeek-Coder-6.7B: Alle Checkpoints hielten den Pre-RL pass@1 deutlich über der Kollapsschwelle ( $p \geq 4,2 \times p^*(8)$ ). Infolgedessen verbesserten sich alle Arme unter GRPO, und das Pre-RL-Ranking blieb post-RL perfekt erhalten ( $\rho = +1,00$ ).
Interventionen: Das Hinzufügen einer KL-Strafe ( $\beta=0,01$ ) reduzierte die Leistung sowohl für flache als auch für tiefe Checkpoints, konnte die Rang-Inversion jedoch nicht umkehren. Label Smoothing auf dem 5,8-Epochen-Checkpoint erhöhte den Pre-RL pass@1 auf 0,600, führte aber zum niedrigsten Post-RL pass@10 (0,214), was zeigt, dass das künstliche Abflachen der Distribution ohne Wiederherstellung der zugrunde liegenden Lösungsvielfalt unzureichend ist.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die gängige Praxis, den SFT-Checkpoint mit dem höchsten pass@1 für RL auszuwählen, irreführend ist, wenn SFT-Overtraining zu Entropie-Kollaps führt. Die Autoren argumentieren, dass pass@1 die Fähigkeit bei der falschen Temperatur (greedy, $T=0$ ) misst und versagt, die für RL bei $T=1,0$ erforderliche Diversität zu erfassen.

Die Bedeutung liegt in der Identifizierung des Entropie-Kollapses als mechanistisches Bindeglied zwischen SFT-Overtraining und RL-Versagen. Die Arbeit postuliert, dass der Fehler kein triviales Artefakt von GRPO-Hyperparametern ist, sondern ein fundamentales Problem des Verlusts der Plastizität während des SFT. Das vorgeschlagene zweistufige Diagnoseverfahren bietet eine praktische, modellagnostische Methode (basierend auf Ordnung und Risikosignalen statt universeller Schwellenwerte), um Checkpoints herauszufiltern, die das Lernsignal bereits vor der RL-Rechenzeit erschöpft haben. Die Autoren kommen zu dem Schluss, dass die Erhaltung der Entropie während des SFT eine Voraussetzung für erfolgreiches RLVR ist und dass, sobald die Entropie kollabiert, Standard-RL-Varianten die Policy nicht mehr wiederherstellen können.