🤖 AI

Reference-Sampled Boltzmann Projection for KL-Regularized RLVR: Target-Matched Weighted SFT, Finite One-Shot Gaps, and Policy Mirror Descent

Dieser Artikel stellt die Referenz-gesampelte Boltzmann-Projektion (BOLT) vor, eine Methode, die ein eindeutiges, prompt-normiertes gewichtetes SFT-Ziel ableitet, um die KL-regulisierte RLVR-Zielpolitik exakt nachzubilden, wodurch Online-Rollout-Engpässe beseitigt werden und gleichzeitig eine endliche One-Shot-Analyse bereitgestellt wird, die die Grenzen statischen Trainings und die Vorteile von aktualisiertem Sampling verdeutlicht.

Ursprüngliche Autoren: Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yao Shu, Chenxing Wei, Hongbin Lin, Shuang Qiu, Hui Xiong

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Schüler (ein KI-Modell) beizubringen, schwierige Mathematikaufgaben zu lösen. Sie haben einen sehr strengen Lehrer (einen „Verifizierer"), der sofort prüfen kann, ob eine Antwort richtig oder falsch ist, aber der Lehrer erklärt nicht, warum sie richtig ist; er gibt lediglich eine Punktzahl.

Dieser Artikel behandelt ein spezifisches Problem: Wie bringen wir dem Schüler diese Punktzahlen bei, ohne jedes Mal neue Übungsprobleme generieren zu müssen, wenn wir das Gehirn des Schülers aktualisieren?

Hier ist die Aufschlüsselung der Ideen des Artikels mit einfachen Analogien:

1. Der alte Weg: Die „Live"-Trainings-Schleife

Derzeit funktioniert das Training fortschrittlicher KI wie ein Live-Kochwettbewerb.

Der Koch (die KI) kocht ein Gericht (generiert eine Antwort).
Der Richter (der Verifizierer) kostet es und gibt eine Punktzahl.
Der Koch passt sein Rezept sofort basierend auf dieser Punktzahl an.
Dann kocht der Koch ein neues Gericht, der Richter kostet es erneut, und der Zyklus wiederholt sich.

Das Problem: Dies ist unglaublich teuer und langsam. Jedes Mal, wenn der Koch etwas lernt, muss er zurück in die Küche gehen, frische Zutaten kaufen und erneut kochen, nur um die nächste Lektion zu erhalten. Die „Küche" (Rechenleistung) ist der Flaschenhals.

2. Der vorgeschlagene Shortcut: Das „eingefrorene Menü"

Der Artikel schlägt einen anderen Ansatz vor: Machen Sie einen Schnappschuss der Küche.

Anstatt live zu kochen, bitten wir den Koch, 100 Gerichte einmal mit seinem aktuellen Rezept zu kochen.
Wir lassen den Richter alle 100 Gerichte bewerten.
Wir frieren diese Liste von Gerichten und Punktzahlen ein.
Jetzt können wir den Koch so oft wie gewünscht auf dieser statischen Liste trainieren, ohne zurück in die Küche zu gehen.

Der Haken: Wenn Sie nur auf dieser Liste trainieren, müssen Sie entscheiden, wie viel Aufmerksamkeit Sie jedem Gericht schenken.

Schlechter Ansatz: „Dieses Gericht erhielt eine Punktzahl von 10, also lernen wir es 10-mal mehr als das, das eine Punktzahl von 1 erhielt."
Die Erkenntnis des Artikels: Diese einfache Mathematik funktioniert nicht. Die Liste der Gerichte wurde vom alten Rezept des Kochs erstellt. Wenn das alte Rezept selten „perfekte" Gerichte zubereitete, wird Ihre Liste sie nicht enthalten, egal wie viel Sie lernen.

3. Die Kernentdeckung: Das „perfekte Rezept" (Boltzmann-Projektion)

Die Autoren entdeckten die exakte mathematische Formel zum Gewichten dieser eingefrorenen Gerichte, damit der Schüler dasselbe lernt, was er im teuren „Live"-Wettbewerb gelernt hätte.

Sie nennen dies BOLT (Boltzmann-Targeted SFT).

Stellen Sie es sich so vor:

Stellen Sie sich das „perfekte Rezept" als eine Karte vor, wo die besten Gerichte sein sollten.
Das „eingefrorene Menü" ist eine Karte, wo die Gerichte tatsächlich sind.
Der Artikel beweist, dass Sie, um das eingefrorene Menü das perfekte Rezept lehren zu lassen, nicht nur auf die Punktzahl schauen können. Sie müssen für jedes Gericht ein spezielles Gewicht berechnen.
Dieses Gewicht basiert auf: Wie viel besser dieses Gericht im Vergleich zum Durchschnitt ist, angepasst daran, wie selten es von Anfang an war.

Wenn der Koch selten ein perfektes Gericht zubereitet, aber der Richter ihm eine hohe Punktzahl gab, sagt diese Formel: „Dieses Gericht ist ein seltenes Juwel! Wir müssen es intensiv studieren." Wenn der Koch ein perfektes Gericht sehr leicht zubereitet hat, sagt die Formel: „Wir haben das schon gesehen; studieren Sie es normal."

4. Die „One-Shot"-Grenze: Die fehlenden Zutaten

Der Artikel erklärt auch eine harte Grenze.

Die Analogie: Stellen Sie sich vor, Sie versuchen, dem Koch beizubringen, einen „Goldenen Drachenkuchen" zu backen.
Wenn das alte Rezept des Kochs niemals einen Goldenen Drachenkuchen produziert hat (nicht einmal einen schlechten), und Sie nur ein eingefrorenes Menü von 1.000 normalen Kuchen haben, können Sie ihnen nicht beibringen, den Drachenkuchen zu backen.
Kein Maß an Studium des eingefrorenen Menüs wird einen Drachenkuchen erschaffen, wenn die Zutaten (die Daten) nicht vorhanden sind.
Die Lehre: Sie können eine fehlende Zutat nicht durch intensiveres Studium reparieren. Sie müssen zurück in die Küche gehen und versuchen, den Drachenkuchen zuerst zu backen (dies wird als „Aktualisieren des Samplers" bezeichnet).

5. Die „Refresh"-Strategie: Iteratives Lernen

Was, wenn der Koch den Drachenkuchen fast backt?

Der Artikel schlägt eine Strategie namens Iteratives BOLT vor.
Schritt 1: Trainieren Sie auf dem eingefrorenen Menü. Der Koch wird etwas besser.
Schritt 2: Nehmen Sie den neuen Koch und bitten Sie ihn, eine neue Charge von Gerichten zu kochen.
Schritt 3: Friern Sie diese neue Charge ein und trainieren Sie erneut.
Warum es funktioniert: Weil der Koch jetzt besser ist, ist es wahrscheinlicher, dass er versehentlich einen „Goldenen Drachenkuchen" in der neuen Charge zubereitet. Durch Wiederholung dieser Schleife lernt der Koch schrittweise, das unmögliche Gericht zu backen.

6. Die Ergebnisse: Schneller und intelligenter

Die Autoren testeten dies an Mathematik- und Programmieraufgaben (wie GSM8K und HumanEval).

Geschwindigkeit: Da sie das „Kochen" (Generieren von Antworten) und die „Bewertung" aus der Haupt-Trainings-Schleife herausverlagerten, sparten sie massive Mengen an Zeit und Computerspeicher (in einigen Tests bis zu 85 % schneller).
Genauigkeit: Durch die Verwendung ihrer speziellen „BOLT"-Gewichte anstelle von rohen Punktzahlen lernte die KI besser als Methoden, die nur rohe Punktzahlen verwendeten.
Der „Sättigungs"-Punkt: Sie zeigten, dass, wenn Sie nur auf derselben eingefrorenen Liste weitertrainieren, die KI schließlich aufhört, sich zu verbessern (sie stößt an eine Wand). Aber wenn Sie die Liste „aktualisieren" (zurück in die Küche gehen für eine neue Charge), springt die KI auf ein neues Leistungsniveau.

Zusammenfassung

Dieser Artikel liefert einen Bauplan für effizientes KI-Training. Er besagt:

Trainieren Sie nicht nur auf „guten" Antworten; trainieren Sie auf Antworten, die mit einer spezifischen Formel gewichtet sind, die berücksichtigt, wie schwer es war, sie zu finden.
Sie können nicht lernen, was Sie nicht gesampelt haben; wenn Ihre Daten die Antwort nicht enthalten, wird kein Maß an Training sie erschaffen.
Um schwierige Dinge zu lernen, müssen Sie periodisch zurückgehen und neue Daten basierend auf Ihren aktuellen Fähigkeiten generieren und dann neu trainieren.

Es verwandelt eine langsame, teure Live-Feedback-Schleife in einen schnellen, effizienten Zwei-Schritte-Prozess: Einmal generieren, korrekt gewichten und tiefgründig lernen.

Problemstellung

Online-Reinforcement-Learning mit verifizierbaren Belohnungen (RLVR) wandelt überprüfbare Ergebnisse (z. B. mathematische Beweise, Code-Unit-Tests) in skalierbare Trainingssignale um. Standardmäßige Online-Methoden (wie PPO oder GRPO) halten jedoch die Generierung von Rollouts, die Bewertung durch den Verifizierer und die Auswertung der Referenzrichtlinie auf dem kritischen Optimierungspfad fest, was zu hohen Rechenkosten und einem hohen Speicherbedarf führt.

Eine natürliche Alternative besteht darin, die Generierung von der Optimierung zu entkoppeln: einmalig verifizierte Rollouts zu sampeln, Gewichte zuzuweisen und über statisches Supervised Fine-Tuning (SFT) zu trainieren. Das Paper identifiziert jedoch eine grundlegende Mehrdeutigkeit in diesem Ansatz: Gewichtetes SFT ist kein einzelnes Ziel. Die durch gewichtetes SFT induzierte Richtlinie hängt gemeinsam vom Sampler ab, der die Rollouts erzeugt hat, und den ihnen zugewiesenen Gewichten. Das einfache Anhängen von Gewichten an vorausberechnete Daten garantiert nicht, dass die resultierende Richtlinie mit dem Optimierer des ursprünglichen Online-KL-regulierten RLVR-Ziels übereinstimmt. Ohne eine spezifische Zielabstimmungsbedingung kann statisches gewichtetes SFT eine andere Richtlinie anpassen als die beabsichtigte RLVR-Lösung, selbst bei unendlichen Daten und exakter Optimierung.

Methodik: Theorie der Boltzmann-Projektion

Das Paper entwickelt einen theoretischen Rahmen, um die exakte Übereinstimmung auf Richtlinienebene zwischen statischem gewichtetem SFT und festreferenziertem KL-reguliertem RLVR zu identifizieren.

1. Die Zielrichtlinie (Festreferenziertes Boltzmann-Ziel)
Das Paper stellt fest, dass der Optimierer des KL-regulierten RLVR-Ziels (Maximierung der Belohnung abzüglich der KL-Divergenz zu einer Referenzrichtlinie $\pi_{ref}$ ) eine spezifische bedingte Richtlinie ist, das Boltzmann-Ziel $\pi^*$ :
$\pi^*(y | x) \propto \pi_{ref}(y | x) \exp(r(x, y) / \beta)$
wobei $r(x, y)$ die Belohnung des Verifizierers und $\beta$ die Temperatur ist. Dieses Ziel ist eine exponentielle Neigung der Referenzrichtlinie.

2. Die Identität des induzierten Ziels
Unter Verwendung von Proposition 1 zeigen die Autoren, dass jedes gewichtete SFT-Ziel eine Zielrichtlinie $\tilde{\pi}_w$ induziert, die proportional zum Produkt des Samplers $q$ und des Gewichts $w$ ist: $\tilde{\pi}_w \propto q(y|x)w(x,y)$ .
Um Online-RLVR treu zu ersetzen, muss die induzierte Richtlinie $\tilde{\pi}_w$ gleich dem Boltzmann-Ziel $\pi^*$ sein.

3. Das Gesetz der Zielabstimmung
Das Paper leitet die notwendige Bedingung für diese Übereinstimmung ab (Theorem 4). Für einen festen Sampler $q$ müssen die Gewichte proportional zum Dichteverhältnis $\pi^*/q$ sein.
Entscheidend ist, dass sich im Unterklassenbereich der referenzgesampelten Daten, in dem die Rollouts aus der Referenzrichtlinie generiert werden ( $q = \pi_{ref}$ ), die Bedingung eindeutig zur prompt-normalisierten Boltzmann-Gewichtung vereinfacht:
$w(x, y) = \frac{\exp(r(x, y) / \beta)}{Z(x)}$
wobei $Z(x)$ die Partitionfunktion (Normalisierer) ist. Dieses Gewicht entspricht exakt der Radon–Nikodym-Ableitung, die referenzgesampelte Rollouts in Zielrollouts umwandelt.

4. Der BOLT-Algorithmus
Basierend auf dieser Theorie schlagen die Autoren BOLT (Boltzmann-Targeted SFT) vor. Es arbeitet in zwei Phasen:

Phase 1 (Vorberechnung): Rollouts aus der Referenzrichtlinie sampeln, diese mit einem Verifizierer bewerten und die empirischen prompt-normalisierten Boltzmann-Gewichte unter Verwendung einer Monte-Carlo-Schätzung von $Z(x)$ berechnen.
Phase 2 (Optimierung): Das Modell mit standardmäßigem mehrstufigem SFT auf diesem festen, gewichteten Datensatz trainieren.
Da die schwere Arbeit (Sampling, Scoring, Normalisierung) vorab berechnet wird, erfordert die Optimierungsphase keine Vorwärtsdurchläufe des Referenzmodells, was den Speicher- und Rechenbedarf im Vergleich zu Online-RLVR erheblich reduziert.

Analyse endlicher Ein-Schuss-Fälle und Grenzen

Das Paper liefert eine rigorose Analyse endlicher Stichproben (Abschnitte 5 und 6), die den Fehler der statischen Ersetzung in verschiedene Komponenten zerlegt:

Support-beschränkter Gap: Wenn die Referenzrichtlinie $\pi_{ref}$ eine hochbelohnte Vervollständigung niemals sampelt, kann keine Menge an Gewichtung oder Optimierung diese wiederherstellen. Das Paper beweist eine exakte untere Schranke für den Werteverlust: $\beta \log(1/\pi^*(S_N | x))$ , wobei $S_N$ der gespeicherte Support ist. Dies erklärt, warum zusätzliche SFT-Epochen fehlende Abdeckung nicht reparieren können.
Temperatur-Abdeckung-Varianz-Front: Es besteht ein Trade-off, bei dem eine Senkung von $\beta$ (Verschärfung des Ziels) die Kosten für die effektive Stichprobengröße (ESS) und die Varianz des Normalisierers erhöht, was die Schätzung erschwert, wenn die Wahrscheinlichkeit des Referenzdurchlaufs gering ist.
Iteratives Aktualisieren als KL-Richtlinien-Mirror-Descent: Wenn die Abdeckung schwach, aber nicht null ist, zeigt das Paper, dass iteratives BOLT (bei dem die aktualisierte Richtlinie zur neuen Referenz für die nächste Runde wird) mathematisch äquivalent zu KL-Richtlinien-Mirror-Descent (KL-PMD) ist. Dieser Prozess akkumuliert Belohnungsneigungen und verbessert die zukünftige Rollout-Abdeckung, was eine statische Ein-Schuss-Wiederverwendung nicht kann.

Wichtige Ergebnisse und empirische Evidenz

Die Autoren validieren ihre Theorie mit Qwen-Modellen auf den Benchmarks GSM8K (Mathematik) und HumanEval (Code). Die Experimente sind darauf ausgelegt, spezifische theoretische Mechanismen zu isolieren, anstatt eine Dominanz in Leaderboards zu beanspruchen.

Zielabstimmung: Der Vergleich von BOLT (Boltzmann-Gewichte) mit „Refit" (rohe Belohnungsgewichte) auf denselben Referenzrollouts zeigt, dass BOLT eine deutlich höhere Genauigkeit erreicht (z. B. +1,44 auf GSM8K, +3,60 auf MATH). Dies bestätigt, dass nicht nur die Datenquelle, sondern das spezifische Dichteverhältnis-Gewicht das induzierte Ziel bestimmt.
Effizienz: BOLT erreicht eine Genauigkeit, die mit Online-GRPO vergleichbar ist oder diese leicht übertrifft, und reduziert gleichzeitig die Trainingszeit um ca. 75–85 % und den Spitzen-Speicherbedarf um ca. 18–31 %, da die Online-Schleife entfernt wird.
Ein-Schuss-Sättigung vs. Aktualisierung: Experimente zeigen, dass Ein-Schuss-BOLT oft nach wenigen Epochen sättigt, wenn der Referenzsupport begrenzt ist. Iteratives BOLT (Aktualisierung des Samplers) verbessert jedoch weiterhin die Leistung und validiert die Interpretation als KL-PMD.
Beibehaltung: Methoden, die Referenzrollouts verwenden (BOLT, Refit), zeigen weniger katastrophales Vergessen auf allgemeinen Benchmarks (PIQA, HellaSwag) im Vergleich zu Demonstrations-only-SFT, was darauf hindeutet, dass Referenzrollouts helfen, die Verteilung zu verankern.

Bedeutung und Behauptungen

Das Paper beansprucht, ein mechanismus-level Verständnis der statischen RLVR-Ersetzung zu liefern und geht über heuristische Vergleiche von Trainingsverlusten hinaus. Seine Hauptbeiträge sind:

Zielidentifikation: Es stellt fest, dass statisches gewichtetes SFT nur dann ein treuer Ersatz für festreferenziertes RLVR ist, wenn das Produkt aus Sampler und Gewicht das spezifische Boltzmann-Ziel induziert. Es identifiziert das prompt-normalisierte Boltzmann-Dichteverhältnis als das eindeutige Gewicht für referenzgesampelte Daten.
Zerlegung endlicher Gaps: Es trennt den irreduziblen „Support-Preis" (fehlende Abdeckung) von endlichen Schätzfehlern (Varianz des Normalisierers, Optimierungsdrift). Dies klärt, dass statische Methoden keine Abdeckungslücken beheben können, die die Referenzrichtlinie nicht gesampelt hat.
Interpretation der Iteration: Es rahmt iteratives Sampling und Gewichten nicht nur als „mehr Optimierung" um, sondern als eine Form von KL-Richtlinien-Mirror-Descent, die die Abdeckung aktiv verbessert.
Praktische Effizienz: Es zeigt, dass die Vorberechnung der zieldefinierenden Größen (Gewichte) ein statisches SFT-Verfahren ermöglicht, das das theoretische Ziel von Online-RLVR mit deutlich reduziertem Rechenaufwand erreicht.

Die Autoren bleiben bescheiden und stellen fest, dass ihre Ergebnisse auf Ein-Lauf-Experimenten und spezifischen Modellgrößen basieren. Sie betonen, dass die Theorie identifiziert, wann eine statische Ersetzung gültig ist (abgedeckte Regime) und warum sie scheitert (Support-Lücken), anstatt eine universelle Überlegenheit gegenüber allen Online-Methoden zu beanspruchen. Die Arbeit dient als theoretische Brücke zwischen der Geometrie von KL-reguliertem RL und der praktischen Implementierung statischen, gewichteten überwachten Lernens.