💬 NLP

Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR

Dieser Beitrag stellt PACED-RL vor, ein Nachtrainierungsframework, das die GFlowNet-Partitionfunktion als pro-Prompt-Genauigkeitssignal neu interpretiert, um informative Prompts zu priorisieren und das Replay zu optimieren, wodurch die Stichprobeneffizienz und die reasoning-Leistung von LLMs erheblich verbessert werden, ohne zusätzliche Rechenkosten zu verursachen.

Ursprüngliche Autoren: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dohyung Kim, Minbeom Kim, Jeonghye Kim, Sangmook Lee, Sojeong Rhee, Kyomin Jung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber sehr wörtlich denkenden Schüler (die KI) darin, komplexe Rätsel zu lösen, wie etwa Matheaufgaben oder Programmierherausforderungen. Sie möchten, dass er im logischen Schlussfolgern besser wird, aber gleichzeitig seine Kreativität behält und nicht nur einen einzigen Weg lernt, um alles zu lösen.

Dieser Artikel stellt eine neue Lehrmethode namens PACED-RL vor. Um zu verstehen, wie sie funktioniert, werfen wir einen Blick auf die Probleme bestehender Methoden und darauf, wie dieser neue Ansatz sie durch einen cleveren Trick behebt.

Das Problem: Der „übermütige" Schüler

Bestehende Lehrmethoden (wie PPO oder GRPO) sind wie ein strenger Drillmeister. Sie sagen dem Schüler: „Wenn du die Antwort richtig hast, großartig! Wenn du sie falsch hast, versuche es beim nächsten Mal härter."

Das Ergebnis: Der Schüler wird sehr gut darin, die richtige Antwort zu finden, wird aber starr. Er hört auf, verschiedene Ansätze zu versuchen, und gibt nur noch das eine aus, von dem er glaubt, es sei „sicher". Er verliert seine Vielfalt im Denken.

Die bisherige Lösung: Die „Flow"-Methode

Kürzlich versuchten Forscher eine Methode namens GFlowNets. Anstatt nur nach der höchsten Punktzahl zu jagen, versucht diese Methode, dem Schüler beizubringen, eine bestimmte „ideale Verteilung" von Antworten zu erreichen. Es ist, als würde man sagen: „Finde nicht nur die eine richtige Antwort; finde alle möglichen richtigen Antworten in den richtigen Anteilen."

Der Haken: Damit dies funktioniert, muss das System eine komplexe Zahl berechnen, die Partitionfunktion genannt wird. Bis jetzt behandelten alle diese Zahl wie eine langweilige Taschenrechner-Taste – etwas, das man drücken muss, damit die Mathematik funktioniert, aber das Ergebnis danach sofort wieder wegwirft.

Die große Idee: Die Partitionfunktion ist ein „Schwierigkeitsmesser"

Die Autoren dieses Artikels hatten einen „Eureka!"-Moment. Sie erkannten, dass diese „langweilige" Zahl (die Partitionfunktion) ein Geheimnis birgt: Sie sagt Ihnen genau, wie schwer eine bestimmte Frage für den Schüler im Moment ist.

Stellen Sie sich die Partitionfunktion nicht als Taschenrechner vor, sondern als Schwierigkeits-Planer.

Ist die Zahl hoch, ist die Frage für den Schüler leicht.
Ist die Zahl niedrig, ist die Frage zu schwer.
Liegt die Zahl in der Mitte, ist die Frage „genau richtig" (der ideale Lernbereich).

Wie PACED-RL funktioniert: Der intelligente Tutor

Anstatt diesen „Schwierigkeitsmesser" wegzuwerfen, nutzt PACED-RL ihn, um eine superintelligente Nachhilfestunde durchzuführen. Es tut im Wesentlichen zwei Dinge:

1. Auswahl der „Goldlöckchen"-Fragen (Adaptive Prompt-Auswahl)
Stellen Sie sich einen Lehrer mit einem Stapel von 10.000 Übungsaufgaben vor.

Alter Weg: Der Lehrer wählt Fragen zufällig aus. Manche sind zu leicht (der Schüler langweilt sich), und manche sind zu schwer (der Schüler gibt auf).
PACED-RL-Weg: Der Lehrer schaut sich den „Schwierigkeitsmesser" für jede Frage an. Er wählt nur diejenigen aus, bei denen die Wahrscheinlichkeit einer korrekten Lösung 50 % beträgt.
- Warum? Dies ist die „Goldlöckchen-Zone". Nicht zu leicht, nicht zu schwer. Es ist die perfekte Herausforderung, bei der der Schüler am meisten lernt.
- Die Magie: Der Lehrer erhält diese Information kostenlos! Er musste den Schüler nicht erst die Probleme lösen lassen, um die Schwierigkeit zu kennen; der „Messwert" (Partitionfunktion) hatte ihm dies bereits während des Trainingsprozesses mitgeteilt.

2. Die „Fehler-Überprüfung"-Sitzung (Priorisiertes Replay)
Wenn der Schüler eine Vermutung anstellt, prüft das System: „Hat unser Schwierigkeitsmesser dies korrekt vorhergesagt?"

Wenn der Messwert sagte „Das ist leicht", der Schüler es aber falsch machte, ist das eine große Überraschung.
Wenn der Messwert sagte „Das ist schwer", der Schüler es aber richtig machte, ist das ebenfalls eine Überraschung.
PACED-RL speichert diese „Überraschungsmomente" in einem speziellen Notizbuch (Replay-Puffer). Später überprüft es diese spezifischen Fälle erneut, da sie am wertvollsten sind, um das Verständnis des Schülers zu korrigieren.

Die Ergebnisse: Schneller und intelligenter

Der Artikel testete dies an Mathe- und Programmieraufgaben. Hier ist, was passierte:

Geschwindigkeit: Da PACED-RL sich nur auf die nützlichsten Fragen konzentriert, lernte es viel schneller. In einigen Tests erreichte es das gleiche Leistungsniveau in weniger als der Hälfte der Zeit im Vergleich zu anderen Methoden.
Kreativität: Im Gegensatz zu den „Drillmeister"-Methoden, die den Schüler starr machten, behielt PACED-RL die Fähigkeit des Schülers, diverse Lösungen zu finden. Es lernte nicht nur eine Art, ein Problem zu lösen, sondern viele Arten.
Effizienz: Es benötigte keine zusätzlichen Computer oder zusätzliche Zeit, um herauszufinden, welche Fragen ausgewählt werden sollten. Es nutzte die Informationen, die es bereits generierte.

Zusammenfassende Analogie

Stellen Sie sich das Training für einen Marathon vor.

Alte Methode: Sie laufen jeden Tag die gleichen 10 Meilen, unabhängig davon, wie Sie sich fühlen.
GFlowNets (Bisherige): Sie versuchen, eine bestimmte Mischung aus Hügeln und Ebenen zu laufen, wissen aber nicht, welche Mischung für heute am besten ist.
PACED-RL: Sie haben einen smarten Trainer, der Ihre Herzfrequenz und Ihren Ermüdungszustand (die Partitionfunktion) in Echtzeit beobachtet. Der Trainer sagt: „Laufen Sie heute nicht die einfache, flache Straße (langweilig) oder den steilen Berg (zu schwer). Lassen Sie uns den Hügel laufen, der gerade herausfordernd genug ist, um Sie stärker zu machen."

Indem es den bereits vorhandenen „Schwierigkeitsmesser" nutzt, trainiert PACED-RL die KI, intelligenter, schneller und kreativer zu werden, ohne Zeit oder Energie zu verschwenden.

Technischer Überblick: Über die Normalisierung hinaus: Das Partitionierungs-Verfahren als Schwierigkeits-Scheduler für RLVR neu denken

Problemstellung
Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als wirksam zur Steigerung der reasoning-Fähigkeiten von Large Language Models (LLMs) erwiesen. Standardmethoden zur Maximierung der Belohnung wie PPO und GRPO führen jedoch häufig zu übermäßig scharfen Ausgabeverteilungen, was die Generierungsvielfalt verringert. Während neuere Ansätze, die GFlowNets nutzen, dieses Problem adressieren, indem sie Strategien trainieren, um eine durch die Belohnung induzierte Zielverteilung zu erreichen, behandeln sie die erlernte Partitionierungsfunktion ( $Z$ ) typischerweise lediglich als Normalisierungskonstante, die für die Trainingsstabilität erforderlich ist. Dieser Beitrag argumentiert, dass diese Perspektive die in $Z$ kodierten Informationen unzureichend nutzt und damit die Chance verpasst, die Probeneffizienz zu verbessern, ohne zusätzliche Rechenkosten zu verursachen.

Methodik: PACED-RL
Die Autoren schlagen Partition Function-Guided RL (PACED-RL) vor, ein Nachtrainierungs-Framework, das die GFlowNet-Partitionierungsfunktion nicht nur als Normalisierer, sondern als Signal für die pro-Prompt-Online-Genauigkeit neu interpretiert. Die Methodik besteht aus drei Kernkomponenten:

Theoretische Neuinterpretation der Partitionierungsfunktion:
Der Beitrag stellt eine theoretische Verbindung zwischen der optimalen Partitionierungsfunktion $Z^*(x)$ und der Online-Genauigkeit $p_{old}(x)$ eines Fragen-Prompts $x$ unter der vor-Update-Policy her. Durch Modifikation des Trajectory-Balance (TB)-Verlusts, um die KL-Divergenz an der aktuellen Policy ( $\pi_{old}$ ) statt an einem festen Referenzmodell zu verankern, leiten die Autoren ab, dass $Z^*(x)$ direkt Genauigkeitsinformationen kodiert. Konkret gilt $p_{old}(x) \approx \beta \log Z^*(x)$ , wobei der KL-Divergenz-Term während standardmäßiger Trainingsdynamiken empirisch als vernachlässigbar nachgewiesen wird. Dies ermöglicht es, die Partitionierungsfunktion, die ohnehin für die Normalisierung erlernt wird, als kostenlosen, Online-Genauigkeitsschätzer zu nutzen.
Adaptive Prompt-Auswahl:
Unter Ausnutzung der aus $Z_\phi(x)$ abgeleiteten Genauigkeitsschätzungen implementiert PACED-RL eine schwierigkeitssensitive Prompt-Auswahlstrategie. Anstatt Prompts gleichmäßig zu sampeln, wählt die Methode gierig die Top- $m$ Prompts aus, deren geschätzte Genauigkeiten einem Zielwert $\tau$ (typischerweise 0,5) am nächsten kommen. Dies konzentriert das Training auf Proben mit „mittlerer Schwierigkeit", die nach früheren Arbeiten die informativsten Lernsignale bieten, wodurch die Probeneffizienz maximiert wird.
Fehler-priorisiertes Replay zur Genauigkeitsschätzung:
Um die Effizienz weiter zu steigern und die Partitionierungsfunktion zu kalibrieren, führt das Framework einen Replay-Mechanismus ein. Ein Puffer speichert Prompt-Ausgabe-Paare mit korrekten Belohnungen ( $r=1$ ). Innerhalb dieses Puffers werden Proben basierend auf der Größe ihres Genauigkeitsschätzfehlers priorisiert: $| \frac{N_{correct}}{N} - \hat{p}_{old}(x) |$ . Dies stellt sicher, dass das Modell Proben erneut durchspielt, bei denen die Vorhersage der Partitionierungsfunktion am stärksten von der beobachteten Realität abweicht, wodurch die Genauigkeitsschätzungen und die Normalisierung der Zielverteilung verfeinert werden.

Kritisch ist, dass sowohl die Prompt-Auswahl als auch die Replay-Priorisierung Informationen wiederverwenden, die während des standardmäßigen GFlowNet-Trainings generiert werden, wodurch der Rechenoverhead in den bestehenden Optimierungsprozess amortisiert wird.

Hauptbeiträge

Theoretische Einsicht: Der Beitrag zeigt, dass die GFlowNet-Partitionierungsfunktion für das LLM-Nachtraining intrinsisch mit Online-Genauigkeiten verknüpft ist, was ihre direkte Nutzung als Genauigkeitsschätzer ohne zusätzliche Mechanismen ermöglicht.
PACED-RL-Framework: Die Einführung eines neuartigen Trainingsframeworks, das diese Genauigkeitsschätzungen für adaptive Prompt-Auswahl und fehler-priorisiertes Replay nutzt, wodurch die Probeneffizienz verbessert wird, während die Vielfaltsvorteile von GFlowNets erhalten bleiben.
Empirische Validierung: Umfassende Evaluierungen über Benchmarks für mathematisches Reasoning und Code-Generierung hinweg zeigen, dass PACED-RL im Vergleich zu starken Baselines (GRPO, FlowRL) und adaptiven Sampling-Methoden (DS, LILO, MoPPS) signifikante Leistungssteigerungen erzielt, ohne den damit verbundenen Rechenoverhead durch übermäßiges Sampling.

Experimentelle Ergebnisse
Die Experimente wurden auf Code-Generierung (DeepCoder-Datensatz, DeepSeek-R1-Distill-Qwen-1.5B) und mathematisches Reasoning (DeepScaleR-Datensatz, Qwen2.5-Math-1.5B/7B) durchgeführt.

Leistungssteigerungen: Auf dem AIME 24-Benchmark verbesserte PACED-RL die durchschnittliche Pass@1-Leistung um 29,1 % gegenüber GRPO und um 40,0 % gegenüber FlowRL unter Verwendung des Qwen2.5-Math-7B-Modells.
Probeneffizienz: PACED-RL erreichte die beste Leistung von GRPO und FlowRL in deutlich weniger Zeit (z. B. 0,42× der Trainingszeit auf LiveCodeBench). Im Gegensatz zu Methoden, die übermäßiges Sampling erfordern (DS, LILO), behielt PACED-RL ein 1,0×-Rollout-Verhältnis im Verhältnis zum Standardtraining bei und vermied damit die Latenzstrafen, die mit der Generierung zusätzlicher Proben zur Genauigkeitsschätzung verbunden sind.
Vielfalt: Gemessen anhand von Pass@k-Metriken übertraf PACED-RL die Baselines konsistent und zeigte Verbesserungen von bis zu 14,2 % gegenüber GRPO und 9,1 % gegenüber FlowRL, was bestätigt, dass die Methode die Ausgabevielfalt und die Explorationsfähigkeit erhält.
Ablationsstudien: Die Autoren verifizierten, dass das Weglassen des KL-Divergenz-Terms im Genauigkeitsschätzer nur vernachlässigbare Auswirkungen auf die Sampling-Dynamik hat, während erhebliche Rechenressourcen eingespart werden. Sie zeigten zudem, dass die Methode das Training natürlicherweise zu schwierigeren Fragen hin verschiebt, sobald sich das Modell verbessert, und so einen Kollaps auf einen schmalen Teil des Datensatzes verhindert.

Bedeutung und Behauptungen
Der Beitrag behauptet, dass PACED-RL einen „prinzipiellen und praktischen Weg" bietet, um das Verteilungs-matching-Training für LLMs zu verbessern. Durch die Neuinterpretation der Partitionierungsfunktion als Online-Genauigkeitssignal ermöglicht die Methode ein probeneffizienteres Training ohne die Rechenbelastung zusätzlicher Genauigkeitsschätzer oder übermäßiger Rollout-Generierung. Die Autoren positionieren diese Arbeit als einen Schritt hin zu effizienterem RLVR-Nachtraining und deuten an, dass die Rolle der Partitionierungsfunktion über die Normalisierung hinausgeht, um als dynamischer Schwierigkeits-Scheduler zu fungieren. Als zukünftige Arbeit wird vorgeschlagen, Inferenzzeit-Strategien (z. B. adaptive Selbstkonsistenz) zu erforschen und das Framework auf asynchrone GFlowNet-Umgebungen zu erweitern.