🤖 AI

Cross-Entropy Games and Frost Training

Dieser Beitrag stellt Frost Training vor, eine neuartige Methode, die Gradienten der Belohnungsfunktion im Embedding-Raum – zuvor für Jailbreaks genutzt –, nutzt, um die Monte-Carlo-basierte Policy-Optimierung für LLM-as-a-judge-Aufgaben zu beschleunigen und zu verbessern, was zu höher bewerteten Ausgaben und einer schnelleren Trainingskonvergenz führt.

Ursprüngliche Autoren: Arthur Renard, Franck Gabriel, Valentin Hartmann, Clément Hongler

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arthur Renard, Franck Gabriel, Valentin Hartmann, Clément Hongler

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, eine Geschichte zu schreiben. Sie geben ihm den Anfang eines Satzes und das sehr Ende und bitten ihn, die Mitte einzufügen. Dies wird als „Infilling"-Aufgabe bezeichnet.

Normalerweise verwenden Sie zum Lehren des Roboters eine Methode namens Monte-Carlo. Denken Sie dabei an ein Spiel aus „Raten und Prüfen".

Der Roboter rät einen mittleren Teil.
Ein strenger Lehrer (der „Richter") liest ihn und gibt eine Bewertung ab.
Ist die Bewertung gut, lernt der Roboter; ist sie schlecht, versucht er es erneut.
Der Roboter rät weiterhin zufällig, bis er genug Glück hat, um eine großartige Antwort zu finden.

Das Problem ist, dass dies langsam und verschwenderisch ist. Der Roboter könnte einen schrecklichen Satz raten, eine niedrige Bewertung erhalten und dann einen weiteren schrecklichen Satz raten, ohne jemals zu erkennen, warum er schlecht war oder wie man ihn nur anhand der Bewertung beheben könnte.

Die neue Idee: „Frost Training"

Die Autoren dieses Papiers von Xent Labs schlagen eine neue Methode namens Frost Training vor. Sie nennen es „Frost" als Hommage an den Dichter Robert Frost und sein Gedicht The Road Not Taken (Der Weg, den man nicht ging). Die Idee besteht darin, die „nicht gewählten Wege" des Roboters zu erkunden.

Anstatt nur darauf zu warten, dass der Roboter eine gute Antwort rät, nutzt Frost Training einen mathematischen Trick, um die „Nachbarschaft" jeder vom Roboter gemachten Schätzung zu betrachten.

Die Analogie: Der blinde Wanderer versus der Führer mit Kompass

Standard-Training (GRPO): Stellen Sie sich einen blinden Wanderer vor, der versucht, den Gipfel eines Berges zu finden. Er macht einen Schritt, spürt, ob der Boden höher ist, und wenn ja, geht er weiter. Wenn er in ein Loch tritt, geht er zurück. Er weiß nur über den Ort Bescheid, auf dem er steht.
Frost Training: Stellen Sie sich denselben Wanderer vor, aber nun hat er einen Kompass, der in jede Richtung um ihn herum leicht bergauf zeigt. Selbst wenn der Wanderer in einem Tal steht, sagt ihm der Kompass: „Hey, wenn Sie nur einen Schritt nach links gehen würden, wären Sie höher."

In der Sprache des Papiers ist dieser „Kompass" der Gradient. Da der „Richter" (das Bewertungssystem) eine Art KI ist, die Mathematik (Cross-Entropy) verwendet, besitzt er eine verborgene, glatte Struktur. Die Forscher stellten fest, dass sie dieses „Kompass"-Signal berechnen konnten, um zu sehen, wie sich die Bewertung ändern würde, wenn der Roboter nur ein Wort in seinem Satz durch ein anderes Wort austauschen würde.

Wie es funktioniert (Der „Frost-GRPO"-Algorithmus)

Hier ist der von ihnen verwendete schrittweise Prozess, vereinfacht:

Der Ratsversuch: Der Roboter (der „Spieler") schreibt ein paar verschiedene mittlere Abschnitte für die Geschichte.
Der „Was-wäre-wenn"-Scan: Bevor der Lehrer die Antworten des Roboters überhaupt bewertet, scannt das Frost-System schnell jedes einzelne Wort in diesen Antworten. Es fragt: „Was wäre, wenn wir dieses Wort durch jenes Wort austauschen würden?"
- Es verwendet einen schnellen mathematischen Abkürzungsweg (eine Taylor-Reihe), um die Bewertung dieser neuen, „Was-wäre-wenn"-Versionen abzuschätzen, ohne sie tatsächlich vollständig auszuschreiben.
Der Tausch: Wenn die Mathematik sagt: „Das Austauschen dieses Wortes würde die Geschichte viel besser machen", wählt das System diese neue Version aus.
Der echte Test: Das System bittet dann den strengen Lehrer, diese „Was-wäre-wenn"-Versionen zu bewerten, um sicherzustellen, dass die Mathematik korrekt war.
Das Upgrade: Wenn eine „Was-wäre-wenn"-Version tatsächlich besser ist als der ursprüngliche Ratsversuch des Roboters, ersetzt das System den ursprünglichen Ratsversuch des Roboters durch diese bessere Version.
Lernen: Der Roboter lernt dann von dieser aufgewerteten, besseren Version.

Warum es besser ist (Die Ergebnisse)

Das Papier testete dies an einer spezifischen Aufgabe: das Einfügen fehlenden Textes in Geschichten. Sie verglichen ihre neue „Frost"-Methode mit der Standardmethode „GRPO".

Schnelleres Finden des besten Gipfels: In einer „Best-of-K"-Umgebung (bei der man die einzelne beste Antwort aus vielen Versuchen betrachtet) fand Frost Training viel schneller Antworten mit deutlich höheren Bewertungen. Es war, als würde der Wanderer mit dem Kompass den Berggipfel in der Hälfte der Zeit finden.
Kreativität bewahren: Das Standardtraining lässt den Roboter oft „zusammenbrechen". Er bekommt Angst vor Fehlern und beginnt, dieselben sicheren, langweiligen Phrasen zu wiederholen. Frost Training hielt die Antworten des Roboters vielfältig und kreativ (hohe „Entropie"), während sie gleichzeitig hochwertig blieben.
Effizienz: Sie zeigten, dass Frost Training die gleichen Ergebnisse wie die Standardmethode erzielen konnte, jedoch mit weniger „Forward-Passes" (RechenSchritten), oder bessere Ergebnisse mit der gleichen Rechenleistung.

Das Fazit

Das Papier behauptet, dass wir für eine bestimmte Familie von Aufgaben, die Cross-Entropy-Spiele genannt werden (bei denen die Belohnung darauf basiert, wie wahrscheinlich ein Satz korrekt ist), nicht auf blindes Raten angewiesen sind. Indem wir das verborgene „Gradient"-Signal (den Kompass) nutzen, um dem Roboter bevor wir ihn bewerten kleine, intelligente Änderungen an seinen Ratsversuchen vorzuschlagen, können wir den Roboter trainieren, viel schneller bessere und kreativere Geschichten zu schreiben.

Sie validierten dies, indem sie zeigten, dass ihre Methode, Frost-GRPO, bei der Suche nach Textergänzungen mit den höchsten Bewertungen konsistent die Standardmethode übertraf, während sie gleichzeitig den Schreibstil des Roboters abwechslungsreich und natürlich hielt.

Technische Zusammenfassung: Frost-Training und Cross-Entropy-Spiele

Problemstellung

Reinforcement Learning (RL) für Large Language Models (LLMs) stützt sich typischerweise auf Monte-Carlo-Policy-Optimierungsmethoden (z. B. REINFORCE, PPO, GRPO). In diesen Standardparadigmen generiert ein Modell eine Antwort $y$ für eine gegebene Aufgabe $x$ , erhält eine skalare Belohnung $R(x, y)$ und aktualisiert seine Parameter, um die Wahrscheinlichkeitsmasse auf höher bewertete Ausgaben zu verschieben.

Die Autoren argumentieren, dass für eine spezifische natürliche Klasse von Aufgaben, bekannt als Cross-Entropy-Spiele, dieser Standard-Monte-Carlo-Ansatz suboptimal ist, da er die implizite differenzierbare Struktur der Belohnungsfunktion ignoriert. Bei Cross-Entropy-Spielen wird die Belohnung aus dem Cross-Entropy-Verlust eines „Richter"-LLMs abgeleitet. Obwohl der Ausgaberaum (Token-Sequenzen) diskret ist, ist der zugrunde liegende Embedding-Raum kontinuierlich und differenzierbar. Standard-RL-Methoden behandeln die Belohnung als Blackbox, wohingegen diese Arbeit die These aufstellt, dass der Gradient der Belohnung bezüglich der Token-Embeddings verwertbare Informationen enthält, um das Training zu beschleunigen und die Ausgabequalität zu verbessern.

Methodik: Frost-Training

Der Kernbeitrag ist Frost-Training, eine Methode, die den Gradienten der Belohnungsfunktion im Embedding-Raum nutzt, um „alternative Züge" (Mutationen) vorzuschlagen und auszuwählen, die das Modell nicht selbst gesampelt hat. Dieser Ansatz wird in den GRPO-Algorithmus (Group Relative Policy Optimization) integriert, was zu Frost-GRPO führt.

1. Theoretische Grundlage: Differenzierbare Struktur

Für ein Cross-Entropy-Spiel ist die Belohnung $R$ als negativer Cross-Entropy-Verlust eines Richter-LLMs definiert. Die Autoren zeigen, dass die Belohnungsfunktion eine implizite differenzierbare Struktur besitzt. Spezifisch kann die Belohnung für eine Token-Sequenz unter Verwendung einer Taylor-Entwicklung erster Ordnung im One-Hot-Embedding-Raum approximiert werden.

Gegeben ein gesampelter Zug $y$ und eine potenzielle Token-Mutation $\tilde{y}$ an einer bestimmten Position, kann die Belohnung $R(\tilde{y})$ wie folgt approximiert werden:
$R(\tilde{y}) \approx R(y) + \nabla_{e_y} R(y) \cdot (e_{\tilde{y}} - e_y)$
wobei $e_y$ das Embedding des Tokens ist. Dies ermöglicht dem System, die Scores aller möglichen Single-Token-Mutationen ( $V$ ) für jede Position in einer gesampelten Sequenz unter Verwendung eines einzigen Rückwärtsdurchlaufs durch die Belohnungsfunktion zu schätzen, anstatt teure Vorwärtsdurchläufe für jeden Kandidaten zu erfordern.

2. Der Frost-GRPO-Algorithmus

Frost-GRPO modifiziert den Standard-GRPO-Aktualisierungsschritt, indem er eine Phase „Mutation und Ersetzung" zwischen dem Sampling und dem Gradienten-Update einfügt:

Sampling: Die Policy $\pi_\theta$ sampelt $K$ on-policy-Züge $\{y_k\}$ für einen gegebenen Prompt.
Approximation (Frost-Vorschlag): Für jeden gesampelten Zug (Elternknoten) berechnet der Algorithmus approximative Scores für alle möglichen Single-Token-Mutationen (Kindknoten) unter Verwendung der aus dem Belohnungsgradienten abgeleiteten Taylor-Entwicklung.
Auswahl:
- Ein Wahrscheinlichkeits-Gate wird angewendet: Nur Kandidaten, bei denen die Policy-Wahrscheinlichkeit $\pi_\theta(v | \dots) > \tau$ ist, werden berücksichtigt.
- Die Top- $D$ -Kandidaten mit den höchsten approximativen Scores werden ausgewählt.
Verifikation (Frost-Ersetzung): Der exakte Score für diese $D$ Kandidaten wird via Vorwärtsdurchlauf berechnet.
Ersetzung: Wenn der exakte Score eines Kandidaten den Score seines Elternknotens strikt übersteigt, wird der Elternknoten durch den höchstbewerteten gültigen Kindknoten ersetzt.
Update: Die Standard-GRPO-Vorteilsberechnung und Policy-Aktualisierung werden unter Verwendung dieser neuen „Frost-Gruppe" von $K$ Zügen durchgeführt.

Die Methode ist nach Robert Frosts Gedicht The Road Not Taken benannt und symbolisiert die Erkundung von Zügen, die das Modell ursprünglich nicht gewählt hat.

Hauptbeiträge

Ausnutzung von Belohnungsgradienten: Die Arbeit zeigt erstmals, dass das in Jailbreaking-Techniken verwendete Gradientensignal (speziell Greedy Coordinate Gradient, oder GCG) umfunktioniert werden kann, um das Modell-Training zu boosten und nicht nur zum Angriff darauf zu dienen.
Frost-GRPO-Algorithmus: Eine konkrete Implementierung, die gradientenbasierte Mutationsvorschläge in das GRPO-Rahmenwerk integriert. Sie nutzt Gradienten, um Bearbeitungen vorzuschlagen, und exakte Belohnungsauswertungen, um diese zu filtern, wodurch sichergestellt wird, dass das finale Update auf verifizierten Verbesserungen basiert.
Empirische Validierung bei Infilling: Die Autoren validieren die Methode an einer Maximum-Likelihood-Infilling-Aufgabe (ein spezifisches Cross-Entropy-Spiel) und zeigen, dass Frost-GRPO im Vergleich zu Vanilla GRPO höhere maximale Scores und eine schnellere Konvergenz erreicht.

Experimentelle Ergebnisse

Die Experimente wurden unter Verwendung von Qwen3-14B sowohl als Spieler (Policy) als auch als Richter durchgeführt. Die Aufgabe bestand darin, eine Textlücke der Länge $L=8$ Tokens unter Angabe eines Anfangs- und eines Endkontexts aufzufüllen.

Analyse der Auswahlnregel

Vor dem vollständigen Training analysierten die Autoren die Wirksamkeit der Auswahlnregel (wie die $D$ Kandidaten ausgewählt werden).

Taylor-Gated (unter Verwendung der Gradientenapproximation mit einem Wahrscheinlichkeits-Gate) schnitt deutlich besser ab als zufällige Auswahl, TopProb (nur Policy-Prior) und un-gated Taylor-Auswahl.
Der „Taylor"-Term (Gradientensignal) lieferte ein nicht-triviales Signal, das den eigenen Prior der Policy übertraf, was die Nützlichkeit des Gradienten des Richters bestätigt.

Trainingsleistung (Kanonesches Setup)

Vergleich von Frost-GRPO ( $K=4, D=4$ ) mit Vanilla GRPO ( $K=8$ ) bei abgeglichenen Rechenbudgets (8 Richter-Vorwärtsdurchläufe pro Schritt):

Best-of-K-Scores: Frost-GRPO erreichte während des gesamten Trainings konsistent höhere „Best-of-8"-Scores. Die Lücke wurde früh etabliert und beibehalten.
Stabilität: Frost-GRPO zeigte eine signifikant geringere Varianz zwischen verschiedenen Seeds im Vergleich zu GRPO.
Diversität: Während die Token-Entropie und Score-Varianz von GRPO stark abfielen (was auf einen Kollaps auf einen schmalen Satz von Vervollständigungen hindeutet), behielt Frost-GRPO eine höhere Entropie und Varianz bei, was darauf hindeutet, dass es die Diversität bewahrt, während es die Qualität verbessert.
Konvergenz: Frost-GRPO erreichte hochbewertete Ausgaben schneller. Eine qualitative Analyse zeigte, dass GRPO oft in einer Phase des „lokalen Optimums" stecken blieb (Wiederholung des Eingabetextes), bevor es entkam, wohingegen Frost-GRPO viel schneller zu konsistentem Inhalt aufstieg.

Robustheit

Der Vorteil von Frost-GRPO war über verschiedene Zuglängen ( $L \in \{4, 8, 12\}$ ) und Gruppengrößen hinweg konsistent. Die Autoren stellen fest, dass Frost-GRPO bei Gruppengröße $K$ Vanilla GRPO bei Gruppengröße $2K$ in Bezug auf Best-of-K-Trajektorien entspricht oder übertrifft, was effektiv einen Richter-Rückwärtsdurchlauf gegen eine effektive Verdopplung der on-policy-Gruppengröße tauscht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Cross-Entropy-Spiele eine einzigartige Klasse von Aufgaben darstellen, bei der die differenzierbare Struktur der Belohnungsfunktion genutzt werden kann, um die Monte-Carlo-Policy-Optimierung zu verbessern.

Jenseits von Blackbox-RL: Die Arbeit stellt das Standard-RL-Paradigma in Frage, Belohnungen als Blackboxes zu behandeln, und zeigt, dass Informationen erster Ordnung (Gradienten) verwendet werden können, um hochwertige Bearbeitungen vorzuschlagen, die anschließend verifiziert werden.
Effizienz und Qualität: Frost-Training ermöglicht es Modellen, schneller und mit größerer Stabilität höher bewertete Ausgaben zu generieren als Standard-GRPO, ohne eine massive Erhöhung der Rechenleistung zu erfordern (es tauscht einen günstigen Rückwärtsdurchlauf gegen einen signifikanten Gewinn in der Sample-Qualität).
Erhaltung der Diversität: Im Gegensatz zu Standard-Policy-Gradient-Methoden, die die Entropie kollabieren lassen können, behält Frost-GRPO eine höhere Token-Entropie und Score-Varianz bei, was einen vielversprechenden Weg für das Training robuster und diverser LLMs darstellt, was potenziell die Generalisierung außerhalb der Trainingsverteilung unterstützt.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und stellen fest, dass, obwohl das Signal bei Infilling-Aufgaben klar ist, weitere Validierungen für andere Trainingsalgorithmen, größere Modelle (einschließlich MoE) und andere Arten von Cross-Entropy-Spielen erforderlich sind.