🤖 machine learning

Primal Generation, Dual Judgment: Self-Training from Test-Time Scaling

Dieser Beitrag stellt DuST vor, ein Self-Training-Framework, das Test-Time-Sampling nutzt, um einen „dualen Urteilsraum" zu schaffen, in dem Modelle durch on-policy-Reinforcement-Learning lernen, Kandidatenprogramme zu rangieren, wodurch sowohl ihre Fähigkeit zur Bewertung der Codekorrektheit als auch zur Generierung hochwertiger Lösungen verbessert wird, ohne dass direkte Belohnungen für eine korrekte Generierung erforderlich sind.

Ursprüngliche Autoren: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yizhu Jiao, Ruixiang Zhang, Richard Bai, Jiawei Han, Ronan Collobert, Yizhe Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, Computercode zu schreiben. Traditionell unterrichten Sie ihn, indem Sie sagen: „Hier ist ein Problem. Schreiben Sie eine Lösung. Führen Sie sie aus. Wenn sie funktioniert, großartig! Wenn sie abstürzt, versuchen Sie es erneut." Dies ist vergleichbar damit, dem Roboter für jeden Versuch eine einzelne Note „Bestanden" oder „Nicht bestanden" zu geben. Der Roboter lernt, weiß aber nur, dass er gescheitert ist, nicht warum er im Vergleich zu anderen Dingen, die er hätte schreiben können, gescheitert ist.

Dieser Artikel stellt eine neue Unterrichtsmethode namens DuST (Dual Self-Training) vor. Sie verändert das Spiel durch ein Konzept namens „Primal Generation" (primäre Generierung) versus „Dual Judgment" (duale Bewertung).

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Der alte Weg: Der „Bestanden/Nicht bestanden"-Test

Primal Generation:
Stellen Sie sich den Roboter als einen Schüler vor, der eine Prüfung schreibt.

Der Prozess: Der Schüler schreibt eine Antwort. Der Lehrer prüft sie.
Das Feedback: Der Lehrer gibt ein einziges rotes „X" oder ein grünes Häkchen.
Das Problem: Wenn der Schüler ein „X" erhält, weiß er, dass er falsch liegt, aber er weiß nicht, wie nah er am Richtigen war, oder warum seine spezifische Antwort schlechter war als eine andere mögliche Antwort, an die er vielleicht gedacht hätte. Er weiß nur: „Machen Sie das nicht."

2. Die neue Idee: Das „Geschmackstest"-Panel

Test-Time Scaling (Das Setup):
Bevor die Methode des Artikels eingeführt wurde, versuchten Forscher, zu helfen, indem sie den Roboter viele Antworten (sagen wir 4 oder 5) gleichzeitig schreiben ließen und die beste auswählten. Dies ist wie ein „Geschmackstest".

Der Fehler: Auf die alte Weise werden die anderen 4 Antworten, sobald der Roboter die beste Antwort ausgewählt hat, in den Müll geworfen. Der Roboter lernt nichts daraus, dass Antwort Nr. 2 „fast richtig" war, während Antwort Nr. 4 „völlig falsch" war. Diese wertvollen Vergleichsdaten gehen verloren.

3. Die DuST-Lösung: Lernen von den „Verlierern"

Dual Judgment Space:
Die Autoren argumentieren, dass der Roboter aus dem Vergleich seiner eigenen Antworten lernen sollte, nicht nur aus dem endgültigen Gewinner.

Die Analogie: Stellen Sie sich einen Kochwettbewerb vor.
- Alter Weg: Der Richter probiert ein Gericht und sagt: „Verbrannt. Nicht bestanden." Der Koch lernt nichts darüber, was ein Gericht gut macht.
- DuST-Weg: Der Koch erstellt 4 verschiedene Versionen desselben Gerichts. Der Richter probiert alle 4.
  - Gericht A: Perfekt.
  - Gericht B: Ein wenig zu salzig.
  - Gericht C: Nicht durchgegart.
  - Gericht D: Verbrannt.
- Die Lektion: Anstatt dem Koch nur zu sagen „Gericht A ist gut", sagt der Lehrer: „Gericht A ist der Gewinner, weil es ausgewogen ist. Gericht B ist wegen des Salzes gescheitert. Gericht C ist wegen der Hitze gescheitert." Der Koch lernt die Unterschiede zwischen Erfolg und Misserfolg.

4. Wie DuST funktioniert (Das Rezept)

Der Artikel beschreibt eine spezifische Schleife, die der Roboter durchläuft:

Generieren: Der Roboter schreibt einen Stapel von Code-Lösungen (den „Geschmackstest"-Stapel).
Bewerten: Der Roboter führt sie alle in einer sicheren Sandbox aus, um zu sehen, welche tatsächlich funktionieren (Bestanden/Nicht bestanden).
Gruppieren: Der Roboter betrachtet den Stapel. Wenn alle gescheitert sind oder alle bestanden haben, wirft er diesen Stapel weg. Er behält nur Stapel, bei denen einige funktioniert haben und einige gescheitert sind. Dies ist die „Gemischte Gruppe".
Rangieren (Das Training): Der Roboter wird gebeten, diese gemischten Gruppen von „Best" bis „Schlechteste" zu rangieren.
- Kritischer Punkt: Der Roboter wird niemals dafür belohnt, den Code selbst zu schreiben. Er wird nur dafür belohnt, korrekt zu identifizieren, welcher Code besser ist.
- Er erhält Punkte dafür, zu sagen: „Dieser funktionierende Code ist besser als dieser defekte Code."
Der magische Transfer: Obwohl der Roboter nur trainiert wurde, ein Richter zu sein, wird er überraschenderweise besser darin, ein Schreiber zu sein. Indem er lernt, die subtilen Unterschiede zwischen einer funktionierenden Lösung und einer defekten Lösung zu erkennen, beginnt der Roboter zu „verstehen", was Code zum Laufen bringt. Er internalisiert diese Regeln und beginnt, besseren Code selbst zu schreiben.

5. Die Ergebnisse: Warum es wichtig ist

Der Artikel testete dies an mehreren verschiedenen KI-Modellen (von klein bis sehr groß) unter Verwendung eines Standard-Code-Tests namens LiveCodeBench.

Bessere Richter: Die Modelle wurden viel besser darin, korrekten Code zu erkennen (Verbesserung ihrer „Rangierungs"-Punktzahl).
Bessere Schreiber: Überraschenderweise wurden die Modelle auch besser darin, Code von Grund auf zu schreiben, obwohl sie nie direkt gesagt bekamen: „Schreiben Sie ein korrektes Programm."
Das „One-Shot"-Wunder: Vor diesem Training musste ein Modell möglicherweise 4 Antworten schreiben und die beste auswählen, um eine hohe Punktzahl zu erzielen. Nach dem DuST-Training konnte das Modell nur eine Antwort schreiben und dieselbe hohe Punktzahl erzielen. Es lernte, sofort die „beste" Antwort zu generieren, anstatt raten und prüfen zu müssen.

6. Das Geheimnis: RL versus bloßes Kopieren

Die Autoren führten ein letztes Experiment durch, um zu sehen, warum dies funktionierte.

SFT (Supervised Fine-Tuning): Sie versuchten, dem Roboter einfach beizubringen, die korrekten Rangierungen zu kopieren (wie ein Schüler, der einen Lösungsschlüssel auswendig lernt). Dies machte den Roboter zu einem besseren Richter, aber nicht zu einem besseren Schreiber.
RL (Reinforcement Learning): Sie verwendeten eine Methode namens GRPO, bei der der Roboter lernt, indem er versucht, scheitert und sein eigenes Verhalten basierend auf den Belohnungen anpasst. Dies war der Schlüssel. Das „aktive Lernen" des Rangierens ermöglichte es dem Roboter, seine Denkweise zu ändern, was seine Schreibfähigkeiten verbesserte.

Zusammenfassung

DuST ist eine Methode, bei der eine KI lernt, Code zu schreiben, indem sie zur Meisterkritikerin ihrer eigenen Arbeit wird. Indem die KI trainiert wird, zwischen ihren eigenen „guten" und „schlechten" Versuchen zu unterscheiden, lernt sie die verborgenen Regeln der Korrektheit. Dieses Wissen fließt dann zurück in ihre Schreibfähigkeit, wodurch sie zu einem besseren Programmierer wird, ohne jemals direkt angewiesen worden zu sein, wie man ein perfektes Programm schreibt. Sie verwandelt die „verschwendeten" Daten gescheiterter Versuche in einen mächtigen Lehrer.

Technische Zusammenfassung: Primal-Generierung, Duale Bewertung: Selbsttraining durch Skalierung zur Laufzeit

Problemstellung

Code-Generierungsmodelle werden typischerweise im primalen Raum trainiert, wobei ein Modell eine Kandidatenlösung erzeugt und eine spärliche, binäre Ausführungsfeedback (Bestanden/Nicht bestanden) erhält. Obwohl Skalierung zur Laufzeit (Sampling mehrerer Kandidaten und Auswahl des Besten durch einen Bewerter) die Inferenzgenauigkeit verbessert, wird die in diesem Prozess offenbarte vergleichende Information – insbesondere die strukturellen Unterschiede zwischen erfolgreichen und gescheiterten Versuchen – nach der Inferenz verworfen. Bestehende „Generieren-dann-Bewerten"-Systeme nutzen diese vergleichende Struktur nur für das Ranking zur Laufzeit und versäumen es, den Generator selbst zu aktualisieren. Folglich kann das Modell auch in zukünftigen Durchläufen weiterhin eine hohe Wahrscheinlichkeit für plausible, aber falschen Code zuweisen.

Die Arbeit argumentiert, dass die vergleichende Struktur der Skalierung zur Laufzeit einen dualen Bewertungsräum definiert. Dieser Raum bietet ein dichteres Trainingssignal als der primale Raum: Anstelle isolierter Bestanden/Nicht-bestanden-Bits liefert er relative Korrektheitsstrukturen über plausible Versuche hinweg und zeigt auf, was Erfolg von Misserfolg unterscheidet.

Methodik: DuST (Dual Self-Training)

Die Autoren stellen DuST vor, ein Framework für Selbsttraining aus diesem dualen Bewertungsräum. Die Kernhypothese lautet, dass ein Modell, das im dualen Raum trainiert wird, korrektes von inkorrektem Code zu unterscheiden, korrektheits-sensitive Merkmale erwirbt, die der primalen Generierung zugutekommen, selbst ohne direkte Belohnungen für die Generierung korrekten Codes.

1. Datenkonstruktion

Sampling: Für ein Programmierproblem $x$ sampelt das Basismodell einen großen Pool von Kandidaten-Code ( $M$ Kandidaten).
Ausführung & Kennzeichnung: Kandidaten werden in einer Sandbox ausgeführt, um binäre Korrektheitslabels zu erhalten ($1$ für bestanden, $0$ für nicht bestanden).
Gruppierung: Kandidaten werden in Gruppen der Größe $K$ partitioniert. Nur Gemischte-Qualitäts-Gruppen (die mindestens einen korrekten und einen inkorrekten Kandidaten enthalten) werden beibehalten. Gruppen mit ausschließlich korrekten oder ausschließlich inkorrekten Kandidaten werden verworfen, da ihnen der Ranking-Kontrast fehlt.
Datensatz: Der resultierende Datensatz besteht aus Problemen, die mit selbstgenerierten Kandidatensätzen und aus der Ausführung abgeleiteten Labels gepaart sind.

2. Trainingsziel

Das Modell wird trainiert, Kandidaten innerhalb einer Gruppe basierend auf der Ausführungskorrektheit zu ranken.

Belohnungsfunktion: Die Belohnung ist rein diskriminativ. Sie misst, wie oft ausführungskorrekte Kandidaten über ausführungsinkorrekte Kandidaten gerankt werden.
- $R_{exec}$ berechnet den Anteil der korrekt-über-inkorrekt-Paare $(i, j)$ , bei denen der vorhergesagte Rang von $i$ besser ist als der von $j$ .
- Fehlformierte Antworten erhalten eine negative Format-Strafe.
Optimierung: Das Framework verwendet Group Relative Policy Optimization (GRPO).
- Die Kandidaten-Code-Samples werden festgehalten (off-policy bezüglich der Generierung).
- Das Modell sampelt Bewertungsantworten (Begründungsspuren und Rankings) on-policy.
- Die Policy wird aktualisiert, um die Ranking-Belohnung zu maximieren, regularisiert gegen eine eingefrorene Referenz-Policy.

3. Wesentlicher Unterschied

Im Gegensatz zum standardmäßigen Reinforcement Learning (RL) für Code-Generierung belohnt DuST niemals direkt die Generierung korrekter Programme. Die Supervision stammt ausschließlich aus der Bewertung der Korrektheitskontraste unter den eigenen Versuchen des Modells. Die aktualisierten Parameter sind dieselben, die für die nachfolgende Code-Generierung verwendet werden.

Hauptbeiträge

Framework für den dualen Bewertungsräum: Die Arbeit schlägt vor, die Skalierung zur Laufzeit nicht nur als Inferenzstrategie, sondern als Quelle dichter, kontrastiver Trainingssignale in einem dualen Raum zu betrachten.
Diskriminatives Selbsttraining: DuST zeigt, dass das Trainieren eines Modells, Kandidaten nach Ausführungskorrektheit zu ranken (eine diskriminative Aufgabe), seine generativen Fähigkeiten (eine generative Aufgabe) verbessert, ohne direkte Generierungsbelohnungen.
Mechanismus-Isolierung: Durch Ablationsstudien, die Supervised Fine-Tuning (SFT) und GRPO vergleichen, identifiziert die Arbeit on-policy RL als den kritischen Mechanismus für den Transfer des Lernens aus dem dualen Raum zurück zur primalen Generierung. SFT verbessert zwar die Bewertung, versagt aber bei der Verbesserung der Generierung, wohingegen GRPO beides verbessert.
Belohnungsdichte: Die Arbeit hebt hervor, dass das dichte kontrastive Signal des Rankings (das $O(N^2)$ paarweise Vergleiche offenlegt) für den Transfer effektiver ist als spärliche primale Belohnungen oder selektionsbasierte Belohnungen.

Experimentelle Ergebnisse

Die Methode wurde auf LiveCodeBench (v5 und v6) über fünf Modelle hinweg evaluiert, die zwei Familien (Qwen, GPT-oss) und drei Skalen (4B bis 30B) umfassen.

Genauigkeit der Skalierung zur Laufzeit: DuST verbessert die Best-of-4-Genauigkeit konsistent. Für Qwen3-30B-Thinking auf LiveCodeBench v6 verbesserte sich die Genauigkeit um +4,1 % (von 68,7 % auf 72,6 %).
Qualität der Bewertung: Die Fähigkeit des trainierten Modells, Kandidaten zu ranken, verbesserte sich signifikant, wobei sich der NDCG für Qwen3-30B-Thinking um +6,2 erhöhte.
Primale Generierung (Pass@1): Bemerkenswerterweise verbesserte sich die Qualität der Einzel-Sample-Generierung ohne direkte Belohnungen. Für Qwen3-30B-Thinking stieg pass@1 um +3,1 % (von 65,4 % auf 68,5 %).
Generalisierung: Verbesserungen wurden über alle Modellgrößen (4B–30B) und Familien hinweg beobachtet, was darauf hindeutet, dass der Ansatz architekturagnostisch ist.
Vergleich mit SFT: Wenn auf denselben Ranking-Daten trainiert, verbesserte SFT die Bewertung (NDCG), ließ aber die Generierung (pass@1) unverändert. Nur GRPO verbesserte beides, was bestätigt, dass der on-policy-Feedback-Loop für den Transfer essentiell ist.
Belohnungssensitivität: Ranking-Belohnungen (Pairwise Accuracy/NDCG) schnitten bei der Übertragung auf die Generierung besser ab als Selektionsbelohnungen (nur Top-1), wahrscheinlich weil das Ranking die gesamte kontrastive Struktur von korrektem versus inkorrektem Code offenlegt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die primalen (Generierungs-) und dualen (Bewertungs-) Räume der Code-Generierung enger gekoppelt sind, als Standard-Trainingsverfahren annehmen.

Transfer des Verständnisses: Die Autoren argumentieren, dass das Modell durch das Erlernen zu unterscheiden, warum eine Lösung im Vergleich zu anderen plausiblen Versuchen scheitert oder erfolgreich ist, Merkmale ausführender Korrektheit (z. B. algorithmische Invarianten, Randfälle) internalisiert. Diese Merkmale verschieben anschließend die Wahrscheinlichkeitsmasse des Generators hin zu korrekten Trajektorien.
Effizienz: Der einzelne Durchlauf des trainierten Modells entspricht der Best-of-4-Leistung des Basismodells und „backt" die Vorteile der Skalierung zur Laufzeit effektiv in die Modellgewichte ein.
Grenzen aktueller Paradigmen: Die Arbeit legt nahe, dass das Verwerfen vergleichender Informationen nach der Inferenz eine verpasste Gelegenheit darstellt. Die zur Laufzeit offenbarte kontrastive Struktur ist ein reichhaltiges, weitgehend ungenutztes Trainingssignal.

Die Arbeit schließt, dass on-policy Reinforcement Learning im dualen Bewertungsräum ein gangbarer und effektiver Mechanismus zur Verbesserung der Code-Generierung ist und einen neuen Pfad für Selbstverbesserung bietet, der nicht auf externen menschlichen Präferenzen oder direkten Generierungsbelohnungen beruht.