🤖 machine learning

Power Distribution Bridges Sampling, Self-Reward RL, and Self-Distillation

Dieser Artikel zeigt, dass die Power-Verteilung als vereinheitlichender theoretischer Rahmen dient, der Sampling, Self-Reward-RL und Self-Distillation verbindet, was zur Entwicklung von Power Self-Distillation führt – einer kosteneffizienten Offline-Methode, die auf Reasoning-Aufgaben die Leistung von Power Sampling erreicht oder übertrifft.

Ursprüngliche Autoren: Akiyoshi Tomihari, Issei Sato

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Akiyoshi Tomihari, Issei Sato

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Drei Wege, um schlauer zu werden

Stellen Sie sich einen sehr talentierten Schüler (ein Large Language Model) vor, der gut darin ist, Matheaufgaben zu lösen, aber manchmal kleine Fehler macht oder in Schleifen steckt. Das Papier fragt: Wie machen wir diesen Schüler noch besser?

Derzeit verwenden Forscher drei Hauptmethoden, um diese Schüler zu verbessern:

Sampling (Die „Versuch es noch einmal"-Methode): Bitten Sie den Schüler, 10 verschiedene Antworten zu generieren, und wählen Sie dann die beste aus.
Reinforcement Learning (Die „Trainer"-Methode): Lassen Sie den Schüler üben, erhalten Sie eine Bewertung und passen Sie sein Gehirn an, um beim nächsten Mal höhere Punktzahlen zu erzielen.
Distillation (Die „Kopierer"-Methode): Lassen Sie einen superschlauen Lehrer die perfekten Antworten schreiben und den Schüler diese auswendig lernen.

Das große Rätsel war: Tun diese drei Methoden tief im Inneren eigentlich dasselbe, oder sind sie völlig unterschiedlich?

Dieses Papier sagt: Sie sind alle dasselbe. Sie versuchen alle, denselben „Sweet Spot" der Intelligenz zu erreichen, den die Autoren als Power Distribution bezeichnen.

Das Kernkonzept: Die „Power Distribution"

Stellen Sie sich das Gehirn des Schülers als eine Karte aller möglichen Antworten vor.

Normale Antworten sind wie eine flache Landschaft; der Schüler wandert zufällig umher.
Die Power Distribution ist wie ein Berggipfel. Sie repräsentiert die „perfekten" Antworten, bei denen der Schüler am meisten Zuversicht hat und am wahrscheinlichsten richtig liegt.

Das Papier argumentiert, dass alle drei Methoden (Sampling, RL und Distillation) nur verschiedene Wege sind, um diesen Berggipfel zu erklimmen.

1. Sampling: Die teure Wanderung

Die Behauptung des Papiers: Um die perfekte Antwort (den Gipfel) zu finden, können Sie nicht nur auf den nächsten Schritt schauen. Sie müssen den gesamten Pfad betrachten.

Die Analogie: Stellen Sie sich vor, Sie wandern. Ein billiger, lokaler Führer (Token-Level-Näherung) schaut auf den nächsten Schritt und sagt: „Gehen Sie links, es sieht schön aus." Aber der wirklich beste Pfad (die Power Distribution) erfordert zu wissen, dass der Weg, wenn Sie links gehen, drei Meilen später in einer Klippe endet.
Das Ergebnis: Das Papier beweist, dass man diese „Gesamtpfad"-Sicht nicht mit billigen, lokalen Tricks vortäuschen kann. Um die beste Antwort zu erhalten, muss man die teure Arbeit leisten, die gesamte Reise zuerst zu simulieren.

2. Reinforcement Learning: Der Selbst-Trainer

Die Behauptung des Papiers: Wenn Sie dem Schüler sagen: „Ihre Belohnung ist, wie zuversichtlich Sie sich über Ihre eigene Antwort fühlen", entwickelt sich der Schüler natürlich zum perfekten Kletterer.

Die Analogie: Stellen Sie sich einen Trainer vor, der sagt: „Machen Sie sich keine Sorgen, ob Sie richtig oder falsch liegen. Versuchen Sie einfach, Dinge zu sagen, die sich für Sie am natürlichsten anfühlen."
Das Ergebnis: Das Papier zeigt mathematisch, dass ein Schüler, der auf diese „Selbstzuversicht" optimiert, am Ende genau denselben Berggipfel (die Power Distribution) erklimmt, den die teuren Wanderer zu erreichen versuchten.

3. Distillation: Der billige Abkürzungsweg

Die Behauptung des Papiers: Da wir wissen, dass der „Selbst-Trainer" zum perfekten Gipfel führt, können wir den Schüler einfach die Antworten auswendig lernen lassen, die der „Selbst-Trainer" generiert hat, ohne jedes Mal die teure Wanderung durchführen zu müssen.

Die Analogie: Anstatt den Schüler den Berg 1.000 Mal wandern zu lassen, um den Gipfel zu finden (was ewig dauert und viel Energie kostet), wandert der Lehrer einmal hoch, schreibt die perfekte Route auf und gibt dem Schüler eine Karte. Der Schüler studiert dann die Karte.
Das Ergebnis: Dies wird als Power Self-Distillation bezeichnet. Es ermöglicht dem Schüler, das „perfekte" Verhalten offline zu lernen, sodass er später, wenn er eine Frage erhält, sofort die richtige Antwort geben kann, ohne die teure „Versuch es noch einmal"-Sampling-Methode durchführen zu müssen.

Der Haken: Wann hilft es tatsächlich?

Das Papier fügt eine sehr wichtige Warnung hinzu.

Nur weil der Schüler lernt, „zuversichtlicher" zu sein (schärfere Verteilung), bedeutet das nicht, dass er „korrekter" wird.

Die Analogie: Stellen Sie sich einen Schüler vor, der sehr zuversichtlich, aber falsch liegt. Wenn er die „perfekten" falschen Antworten auswendig lernt, wird er nur zuversichtlich falsch liegen.
Die Regel: Der Schüler wird nur beim tatsächlichen Test (True Reward) besser, wenn seine „Zuversicht" (Self-Reward) tatsächlich mit dem „Korrekten" übereinstimmt.
- Wenn die Zuversicht des Schülers mit der Wahrheit übereinstimmt, wird er schlauer.
- Wenn die Zuversicht des Schülers nur eine ausgefeilte Art ist, falsch zu liegen, wird er sich beim echten Test nicht verbessern.

Zusammenfassung der Ergebnisse

Die Autoren haben dies an Matheaufgaben getestet:

Sampling funktioniert: Die Verwendung der teuren „Versuch es noch einmal"-Methode macht das Modell zuversichtlicher und oft auch korrekter.
Die Abkürzung funktioniert: Die „Power Self-Distillation"-Methode (Auswendiglernen der perfekten Antworten) lässt das Modell genauso gut abschneiden wie die teure Sampling-Methode, ist aber später viel schneller und günstiger anzuwenden.
Die Grenze: Die Verbesserung tritt nur ein, wenn das interne Vertrauen des Modells tatsächlich ein guter Leitfaden für die richtige Antwort ist.

Kurz gesagt: Das Papier hat entdeckt, dass „mehrmals versuchen", „sich selbst coachen" und „einen Lehrer auswendig lernen" alle mathematisch miteinander verbunden sind. Sie alle zielen auf dieselbe „Power Distribution" ab. Durch das Verständnis dessen können wir das teure, langsame „mehrmals Versuchen" durch einen schnellen, billigen „Auswendiglern"-Schritt ersetzen, der uns dieselben klugen Ergebnisse liefert.

Technische Zusammenfassung: Power Distribution Bridges Sampling, Self-Reward RL und Self-Distillation

1. Problemstellung

Neuere empirische Analysen haben infrage gestellt, ob Reinforcement Learning (RL) der primäre Treiber für emergente reasoning-Fähigkeiten in Large Language Models (LLMs) ist. Studien deuten darauf hin, dass Modelle nach RL oft nicht besser abschneiden als ihre Vorgänger vor RL, wenn sie mit großen Sampling-Budgets evaluiert werden. Dies impliziert, dass RL-Gewinne eher aus einer „Verfeinerung der Verteilung" (distribution sharpening) resultieren als aus der Schaffung neuer reasoning-Pfade. Gleichzeitig haben Inferenzzeit-Techniken wie Power Sampling (Sampling aus einer Power-Verteilung $\pi^\alpha$ ) und Self-Distillation vielversprechende Ergebnisse gezeigt, um reasoning ohne externe Belohnungen zu verbessern.

Die theoretische Beziehung zwischen diesen drei Paradigmen – Sampling, RL und Self-Distillation – bleibt jedoch unklar. Insbesondere ist unbekannt, ob der Erfolg von Power Sampling einen von RL und Distillation verschiedenen Mechanismus widerspiegelt oder ob sie durch ein gemeinsames strukturelles Ziel verbunden sind. Ferner ist unklar, ob die teuren Inferenzzeit-Rechenkosten für Power Sampling in ein Offline-Training amortisiert werden können.

2. Methodik und Theoretischer Rahmen

Die Autoren postulieren, dass die Power-Verteilung als verbindende theoretische Brücke zwischen diesen Methoden dient. Für eine Basis-Policy $\pi$ und einen Exponenten $\alpha > 1$ ist die Power-Verteilung definiert als:
$\pi_\alpha(y | x) \propto \pi(y | x)^\alpha$

2.1 Die Sampling-Perspektive: Grenzen lokaler Approximation

Der Beitrag untersucht zunächst, ob die Power-Verteilung zur Inferenzzeit kostengünstig durch lokale (Token-Level-)Operationen approximiert werden kann.

Token-weise Temperaturskalierung: Die Autoren zeigen, dass die Anwendung einer Power-Transformation pro Token (Temperaturskalierung) die sequenzweite Power-Verteilung nicht reproduzieren kann. Sie beweisen (Proposition 1), dass die Lücke zwischen token-weiser Temperatur und sequenzweiter Power durch die Rényi-Entropie der Suffix-Verteilung bestimmt wird. Spezifisch begünstigt sequenzweite Power Fortsetzungen mit niedrigerer Suffix-Entropie (spitzere Suffixe), eine Eigenschaft, die lokale Approximationen ohne globale Sequenzinformation nicht erfassen können.
Sequentielles Importance Sampling (SIS): Die Autoren analysieren den optimalen einstufigen Vorschlag für SIS, der auf $\pi_\alpha$ abzielt. Sie zeigen (Proposition 2), dass der varianzminimierende Vorschlag Kenntnis der Prefix-Totale (Summen der Power-Massen über alle möglichen Suffixe) erfordert. Folglich können kostengünstige lokale Vorschläge die Zielverteilung nicht erreichen, was erklärt, warum frühere Arbeiten rechenintensive Inferenzzeit-Verfahren (z. B. Metropolis-Hastings) benötigen, um Power Sampling zu approximieren.

2.2 Die RL-Perspektive: Geschlossene Form der Optimalität

Die Autoren verknüpfen Power Sampling mit KL-reguliertem RL. Sie betrachten ein RL-Ziel, bei dem die Belohnung die eigene sequenzweite Log-Wahrscheinlichkeit des Modells ist (Self-Reward, $r_{self}(x, y) = \log \pi(y|x)$ ).

Korollar 1: Sie beweisen, dass die Power-Verteilung $\pi_\alpha$ der geschlossene Optimierer des KL-regulierten RL-Ziels ist, wenn die Belohnung der Self-Reward ist und $\alpha = 1 + \beta^{-1}$ gilt. Dies identifiziert Power Sampling nicht als Heuristik, sondern als exakte Lösung eines spezifischen Self-Improvement-RL-Problems.

2.3 Die Distillation-Perspektive: Power Self-Distillation

Unter Ausnutzung der RL-Verbindung leiten die Autoren Power Self-Distillation ab.

Herleitung: Durch Umformulierung des RL-Ziels zeigen sie, dass die Minimierung der Reverse-KL-Divergenz (standard RL) äquivalent zur Minimierung der Forward-KL-Divergenz von der Lehrer-Verteilung $\pi_\alpha$ zur Student-Policy ist.
Algorithmus: Dies ermöglicht es, die teuren Inferenzzeit-Kosten des Samplings aus $\pi_\alpha$ $π_{α}$ in ein Offline-Training zu amortisieren. Der Prozess umfasst:
1. Sampling eines Datensatzes $D = \{(x_i, y_i)\}$ , wobei $y_i \sim \pi_\alpha(\cdot|x_i)$ unter Verwendung eines approximativen Samplers (z. B. Metropolis-Hastings).
2. Training eines Studentenmodells durch Supervised Fine-Tuning (SFT) auf $D$ , um die Likelihood dieser „power-gesampelten" Completions zu maximieren.
Verfeinerungsgarantien: Die Autoren liefern eine theoretische Schranke (Proposition 3), die zeigt, dass mit zunehmender Anzahl von Samples $n \to \infty$ und $\alpha \to \infty$ das distillierte Modell eine $(\epsilon, \delta)$ -Verfeinerung erreicht, die die Wahrscheinlichkeitsmasse auf die Self-Reward-Maximierer konzentriert.

2.4 Ausrichtung auf die wahre Belohnung

Der Beitrag adressiert, ob die Verfeinerung des Self-Rewards eine „wahre" externe Belohnung $r^*$ (z. B. Korrektheit) verbessert.

Proposition 4: Die Änderungsrate der erwarteten wahren Belohnung bezüglich $\alpha$ wird durch die Kovarianz zwischen der wahren Belohnung und dem Self-Reward unter der Power-Verteilung bestimmt: $\partial_\alpha \mathbb{E}_{\pi_\alpha}[r^*] = \text{Cov}_{\pi_\alpha}(r^*, r_{self})$ .
Implikation: Eine Verbesserung der wahren Belohnung ist nur garantiert, wenn der Self-Reward (Log-Wahrscheinlichkeit) unter der Power-Verteilung positiv mit der wahren Belohnung korreliert. Sind sie unkorreliert oder negativ korreliert, kann die Verfeinerung die wahre Leistung nicht verbessern (und sogar verschlechtern).

3. Hauptbeiträge

Theoretische Vereinheitlichung: Der Beitrag stellt fest, dass Power Sampling, Self-Reward-KL-reguliertes RL und Self-Distillation natürlich durch die Power-Verteilung verbunden sind, die als Sampling-Ziel, RL-Optimum und Lehrer-Verteilung fungiert.
Sampling-Härte: Es wird bewiesen, dass kostengünstige Token-Level-Approximationen (Temperaturskalierung, einfaches SIS) die sequenzweite Power-Sampling nicht reproduzieren können, ohne Zugriff auf Suffix-Level-Informationen zu haben, was die Notwendigkeit rechenintensiver Inferenzzeit-Berechnungen in früheren Arbeiten erklärt.
Power Self-Distillation: Es wird ein Offline-Distillation-Algorithmus eingeführt, der die Kosten von Power Sampling in ein überwachtes Training amortisiert und ähnliche Leistungsgewinne erzielt, ohne Power Sampling zur Inferenzzeit zu erfordern.
Kovarianz-Bedingung: Es werden die Bedingungen charakterisiert, unter denen Self-Improvement (Verfeinerung) in eine Verbesserung der wahren Belohnung übersetzt wird, wobei der Gewinn mit der Kovarianz zwischen Self-Reward und wahrer Belohnung verknüpft wird.

4. Experimentelle Ergebnisse

Die Autoren evaluierten ihren Rahmenwerk an reasoning-Aufgaben (MATH, HumanEval, MBPP, GPQA) unter Verwendung von Modellen wie Qwen2.5-Math-7B und Phi-3.5-mini-instruct.

RQ1 (Self-Reward-Erhöhung): Power Sampling erhöhte den Self-Reward ( $r_{self}$ ) im Vergleich zu standard Sampling und token-weiser Temperaturskalierung konsistent.
RQ2 (Ausrichtung auf wahre Belohnung): Verbesserungen der wahren Belohnung ( $r^*$ ) wurden beobachtet, wenn $r^*$ mit $r_{self}$ übereinstimmte. Beispielsweise verbesserte Power Sampling die Genauigkeit bei MATH. Bei einem zufällig initialisierten Modell (RandW), bei dem $r_{self}$ nicht mit der Korrektheit korrelierte, wurde jedoch keine Gewinnung der wahren Belohnung beobachtet, was die Kovarianz-Bedingung validiert.
RQ3 (Distillations-Leistung): Power Self-Distillation erzielte Self-Improvement. Das distillierte Modell erreichte bei Verwendung standardmäßiger autoregressiver Dekodierung (mit Temperatur) die Leistung des Basismodells unter Verwendung von teurem Power Sampling oder übertraf sie.
- Qualitative Analyse: Bei einem Geometrie-Problem erzeugte das Basismodell mit Temperaturskalierung halluzinierte Formeln. Power Sampling erzeugte korrekte Logik, enthielt jedoch nicht ausgeführten Code. Das power-distillierte Modell erzeugte bei Verwendung standardmäßiger Dekodierung robuste, schrittweise reasoning mit der korrekten Antwort.
Effizienz: Das distillierte Modell eliminierte den Bedarf an teurem Inferenzzeit-Sampling (Metropolis-Hastings) während des Einsatzes und verlagerte die Rechenkosten auf das Offline-Training.

5. Bedeutung und Behauptungen

Der Beitrag behauptet, den Mechanismus hinter den jüngsten „reasoning"-Gewinnen in LLMs zu klären. Er geht davon aus, dass:

Der Erfolg von Power Sampling kein von RL verschiedenes Phänomen ist, sondern die geschlossene Lösung eines Self-Reward-RL-Ziels darstellt.
Die scheinbaren „reasoning"-Verbesserungen durch RL weitgehend das Ergebnis einer Verfeinerung der Verteilung (Konzentration der Masse auf hochwahrscheinliche, hochbelohnte Pfade) und nicht das Entstehen neuer Fähigkeiten sind.
Power Self-Distillation einen praktischen Weg bietet, diese Verfeinerungsvorteile bei geringeren Inferenzkosten zu erzielen, wodurch fortgeschrittene reasoning-Fähigkeiten zugänglicher werden, indem teure Inferenzzeit-Suche in Offline-Training umgewandelt wird.

Die Autoren bleiben bescheiden und stellen fest, dass Self-Improvement durch die Fähigkeiten des Basismodells begrenzt ist; wenn das Basismodell die notwendigen reasoning-Pfade nicht besitzt, kann Verfeinerung diese nicht erschaffen. Die Analyse ist spezifisch für autoregressive Modelle über endliche Horizonte.