🤖 machine learning

Hölder Policy Optimisation

Dieser Beitrag stellt HölderPO vor, ein generalisiertes Rahmenwerk zur Politikoptimierung, das den Parameter des Hölder-Mittels dynamisch anpasst, um Gradientenkonzentration und Varianzstabilität auszubalancieren, wodurch die Einschränkungen der festen Aggregation in der Group Relative Policy Optimization (GRPO) behoben und State-of-the-Art-Leistung auf mathematischen und aufgabenorientierten Benchmarks erreicht werden.

Ursprüngliche Autoren: Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

Veröffentlicht 2026-05-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen brillanten, aber leicht verwirrten Schüler (ein Large Language Model) darin, komplexe mathematische Probleme zu lösen oder eine Videospielwelt zu navigieren. Sie geben ihm eine Reihe von Übungsversuchen, und für jeden Versuch müssen Sie entscheiden: "Welche spezifischen Wörter in seiner Antwort waren am wichtigsten, um sie richtig zu haben?"

Dies ist die Kernherausforderung, die der Artikel adressiert. Die Autoren schlagen eine neue Unterrichtsmethode namens HölderPO (Hölder Policy Optimisation) vor.

Hier ist die Aufschlüsselung mit einfachen Analogien:

1. Das Problem: Der "Ein-Größe-Passt-Alle"-Lehrer

Frühere Methoden (wie GRPO) verhielten sich wie ein Lehrer, der immer dieselbe Regel anwendet, um einen Schüleraufsatz zu benoten.

Das arithmetische Mittel (Standard-GRPO): Dieser Lehrer mittelt jedes Wort gleich. Wenn der Schüler 90 % der Wörter richtig hat, aber einen entscheidenden "Aha!"-Moment bei einem schwierigen mathematischen Problem verpasst, behandelt der Lehrer diesen verpassten Moment nur als winzigen Ausschlag im Durchschnitt. Der Schüler lernt aus diesem spezifischen Fehler nicht genug.
Das geometrische Mittel (Andere Methoden): Dieser Lehrer ist sehr sanft. Er glättet die Noten so, dass kein einzelnes Wort zu viel zählt. Das ist großartig für einfache Aufgaben, bei denen der Schüler nur konsistent sein muss, aber bei schwierigen Aufgaben ignoriert es die seltenen, kritischen Momente, in denen der Schüler endlich etwas begriffen hat.

Das Problem: Der Artikel stellt fest, dass es keine einzelne "perfekte" Regel gibt.

Bei schwierigen, spärlichen Aufgaben (wie dem AIME-Mathematikwettbewerb) hängt die richtige Antwort von wenigen seltenen, brillanten Schritten ab. Sie brauchen einen Lehrer, der auf diese spezifischen Schritte zoomt und den Rest ignoriert.
Bei dichten Aufgaben (wie standardmäßiger Mathematik-Hausaufgaben) ist die richtige Antwort über viele Wörter verteilt. Sie brauchen einen Lehrer, der das ganze Bild betrachtet, um nicht durch Rauschen verwirrt zu werden.

2. Die Lösung: Der "Regler"-Lehrer (HölderPO)

Die Autoren haben ein neues System mit einem einzigen Regler (Parameter $p$ ) entwickelt, der steuert, wie der Lehrer den Schüler benotet.

Den Regler NACH OBEN drehen (Hohe $p$ ): Der Lehrer wird zu einem Scheinwerfer. Er ignoriert die langweiligen, durchschnittlichen Wörter und konzentriert sich intensiv auf die wenigen Wörter, die "super richtig" oder "super falsch" waren. Das ist wie ein Trainer, der schreit: "Dieser eine Zug, den du gemacht hast, war perfekt! Mach das nochmal!" Das hilft dem Schüler, seltene, schwierige Fähigkeiten zu erlernen.
Den Regler NACH UNTEN drehen (Niedrige $p$ ): Der Lehrer wird zu einem Weitwinkelobjektiv. Er betrachtet die gesamte Wortsequenz gleichmäßig. Das verhindert, dass der Schüler verrückt wird, indem er versucht, ein winziges Detail perfekt zu machen und den Rest ignoriert. Das hält das Training stabil und ruhig.

3. Das Geheimnis: Der "Dynamische Zeitplan"

Die größte Durchbruchsleistung des Artikels ist die Erkenntnis, dass Sie den Regler nicht für immer an einer Stelle lassen sollten.

Stellen Sie sich das Training eines Marathonläufers vor:

Frühe Phase (Der Sprint): Wenn der Läufer neu ist, muss er die spezifischen, explosiven Bewegungen lernen, um anzufangen. Sie drehen den Regler NACH OBEN (Hohe $p$ ). Sie rufen: "Konzentriere dich auf diesen einen perfekten Schritt!" Dies verstärkt die seltenen, guten Signale, um ihn in Bewegung zu bringen.
Späte Phase (Die Ausdauer): Sobald er weiß, wie man läuft, muss er ein gleichmäßiges, stabiles Tempo halten, ohne über die eigenen Füße zu stolpern. Sie drehen den Regler NACH UNTEN (Niedrige $p$ ). Sie sagen: "Halte deinen ganzen Körper im Gleichgewicht und geschmeidig." Das verhindert, dass er überkorrigiert und abstürzt.

HölderPO bewegt den Regler automatisch von "Hoch" nach "Niedrig", während das Training fortschreitet. Es beginnt damit, aggressiv nach den "Aha!"-Momenten zu suchen, und endet damit, alles zu glätten, um ein stabiles Finish zu erreichen.

4. Die Ergebnisse: Das Rennen gewinnen

Die Autoren testeten diesen "Regler-Lehrer" an zwei Arten von Herausforderungen:

Mathematikwettbewerbe (AIME, MATH, usw.): Die dynamische Methode erreichte eine durchschnittliche Genauigkeit von 54,9 % und schlug die bisherigen besten Methoden mit einem signifikanten Vorsprung. Sie brach Rekorde bei den schwierigsten Mathematikproblemen (AIME), indem sie diese seltenen, korrekten Denkprozesse erfolgreich verstärkte.
Roboter-/Agenten-Aufgaben (ALFWorld): In einer simulierten Welt, in der ein Agent Objekte finden, reinigen und erhitzen muss, erreichte die Methode eine Erfolgsrate von 93,8 %. Das ist enorm, da es bedeutet, dass der Agent bei langen, mehrstufigen Aufgaben selten verloren geht oder verwirrt ist.

Zusammenfassung

Stellen Sie sich HölderPO als einen intelligenten Trainingscoach vor, der weiß, wann er den Schüler anschreien muss, um sich auf einen spezifischen Durchbruch zu konzentrieren, und wann er ihn beruhigen muss, um sicherzustellen, dass er keine Fehler macht. Indem es automatisch zwischen diesen beiden Modi wechselt, lehrt es KI-Modelle, schwierige Probleme schneller und zuverlässiger zu lösen als je zuvor.

Technische Zusammenfassung: Hölder-Policy-Optimierung (HölderPO)

1. Problemstellung

Group Relative Policy Optimisation (GRPO) hat sich als dominierender, rechen-effizienter Algorithmus zur Ausrichtung von Large Language Models (LLMs) mit komplexen reasoning-Fähigkeiten etabliert, insbesondere durch die Eliminierung der Notwendigkeit eines externen Kritiker-Modells. Allerdings verlässt sich GRPO auf einen festen Aggregationsmechanismus, um Trajektorien-Level-Vorteile auf Token-Level-Policy-Updates abzubilden. Konkret verwendet es das arithmetische Mittel ( $p=1$ ), um Token-Level-Wichtigkeitsverhältnisse innerhalb einer Sequenz zu aggregieren.

Die Autoren identifizieren eine kritische Einschränkung dieses statischen Ansatzes: Unterschiedliche Reasoning-Aufgaben weisen varying Signal-Dichten auf, und keine einzelne feste Aggregationsfunktion ist universell optimal.

Sparse-Signal-Aufgaben (z. B. AIME, bei denen korrekte Reasoning-Schritte selten und von hoher Magnitude sind): Feste Aggregationen wie das arithmetische Mittel verwässern diese seltenen „Aha-Momente" oft, indem sie sie mit unauffälligen Tokens mitteln, oder versagen andererseits darin, sie ausreichend zu verstärken.
Dense-Signal-Aufgaben (z. B. MATH, bei denen die Supervision über viele Tokens verteilt ist): Aggregationen, die sich zu stark auf Tokens mit hohen Verhältnissen konzentrieren, können Gradienten-Updates mit hoher Varianz hervorrufen, was zum Trainingskollaps führt.

Empirische Beobachtungen zeigen einen Zielkonflikt: Feste Aggregationen, die einen Trainingskollaps verhindern, erzielen oft keine Spitzenleistung bei Sparse-Aufgaben, während diejenigen, die die Leistung bei Sparse-Aufgaben maximieren, oft Instabilität bei Dense-Aufgaben aufweisen. Die Arbeit argumentiert, dass die optimale Wahrscheinlichkeits-Aggregation keine Konstante, sondern eine Funktion der Signal-Dichte der Aufgabe und des Trainingsfortschritts ist.

2. Methodik: HölderPO

Um dies zu lösen, schlagen die Autoren HölderPO vor, ein generalisiertes Policy-Optimierungs-Framework, das die Token-Level-Wahrscheinlichkeits-Aggregation über das Hölder-Mittel (oder $p$ -Norm) vereinheitlicht.

Kernmechanismus

Anstelle eines festen Mittels parametrisiert HölderPO den Aggregationsoperator mit einem Skalar $p \in \mathbb{R}$ . Gegeben eine Sequenz von Token-Level-Wichtigkeitsverhältnissen $\{r_{i,t}(\theta)\}$ , ist der sequenz-level surrogate term $\rho_{i,p}(\theta)$ definiert als:
$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{falls } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{falls } p = 0 \end{cases}$
Diese Formulierung stellt das Standard-GRPO ( $p=1$ , arithmetisches Mittel) und GSPO/GMPO ( $p \to 0$ , geometrisches Mittel) als Spezialfälle wieder her, erweitert das Spektrum jedoch auf negative Werte.

Theoretische Analyse: Der Konzentration-Stabilitäts-Zielkonflikt

Die Arbeit liefert eine theoretische Charakterisierung der Rolle des Parameters $p$ im Optimierungs-Landschaft:

Gradienten-Konzentration ( $p > 0$ ): Mit zunehmendem $p$ konzentriert sich die Gradientengewichtsverteilung $W_{i,t}(p)$ monoton auf Tokens mit den höchsten Wichtigkeitsverhältnissen. Dies verstärkt sparse, hoch-magnitude Lernsignale (kritisch für das Lernen in frühen Phasen bei Sparse-Aufgaben), lockert jedoch die Varianzschranke.
Varianz-Schranken ( $p \le 0$ ): Mit abnehmendem $p$ (einschließlich negativer Werte) wird die Varianz des Policy-Gradienten-Schätzers strikt eingedampft. Negative $p$ -Werte kehren die Konzentration um und gewichten Tokens mit Verhältnissen $<1$ (die Zögern signalisieren) höher, was die Reasoning-Vielfalt fördert und das Training bei Dense-Signal-Aufgaben stabilisiert.
Der Zielkonflikt: Kein statisches $p$ kann gleichzeitig die Signalverstärkung maximieren und die Varianz minimieren. Ein hohes $p$ ist für die Entdeckung von Signalen in frühen Phasen optimal, während ein niedriges (oder negatives) $p$ für die Stabilität der Konvergenz in späten Phasen optimal ist.

Dynamische Scheduling-Strategie

Da erkannt wird, dass sich das optimale $p$ mit dem Trainingsfortschritt verschiebt, führt HölderPO einen dynamischen Annealing-Algorithmus ein. Der Parameter $p$ wird so geplant, dass er über den Trainingslebenszyklus monoton von einem positiven Anfangswert ( $p_{high}$ ) auf einen niedrigen oder negativen Endwert ( $p_{low}$ ) abfällt.

Frühe Phase: Hohes $p$ verstärkt sparse, hoch-magnitude Signale, um die initiale Policy-Verbesserung voranzutreiben.
Späte Phase: Niedriges/negatives $p$ zieht die Gradienten-Varianzschranke zusammen, um eine stabile Konvergenz zu gewährleisten und einen Mode-Kollaps zu verhindern.

3. Hauptbeiträge

HölderPO-Framework: Ein generalisiertes Policy-Optimierungs-Framework, das verschiedene mittelsbasierte Aggregationen durch den anpassbaren Hölder-Parameter $p$ vereinheitlicht und den Suchraum über statische arithmetische oder geometrische Mittel hinaus erweitert.
Theoretische Grundlage: Ein formaler Beweis der zweifachen Rolle von $p$ : Ein größeres $p$ konzentriert Gradienten, um sparse Signale zu verstärken, während ein kleineres $p$ die Gradientenvarianz strikt begrenzt. Die Autoren beweisen, dass keine statische Konfiguration beide Endpunkte gleichzeitig erreichen kann, was dynamisches Scheduling motiviert.
Empirische Durchbrüche:
- Es wurde gezeigt, dass ein statisches hohes $p$ (z. B. $p=3$ ) die Leistungsobergrenze beim herausfordernden AIME-Benchmark durchbricht (Erreichen von 46,7 % Genauigkeit).
- Es wurde gezeigt, dass dynamisches Scheduling ( $p: 2 \to -2$ ) diese Vorteile vereinheitlicht und State-of-the-Art (SOTA)-Ergebnisse ohne zusätzlichen Rechenaufwand erzielt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HölderPO auf Benchmarks für mathematisches Reasoning und agentenbasierte Entscheidungsfindung unter Verwendung der Basismodelle Qwen2.5-Math und Qwen2.5-Instruct.

Mathematisches Reasoning:
- AIME24 (Sparse-Signal): Statisches $p=3$ erreichte 46,7 % Genauigkeit und übertraf den vorherigen GRPO-Rekord von 43,3 %.
- MATH500 (Dense-Signal): Niedrigere $p$ -Werte (z. B. $p=-1$ ) erzielten überlegene Stabilität und Leistung (85,0 % Genauigkeit).
- Gesamtleistung: Die dynamische Annealing-Strategie ( $p: 2 \to -2$ ) erreichte eine 54,9 % durchschnittliche Genauigkeit über fünf mathematische Benchmarks (AIME, AMC, MATH, Minerva, OlympiadBench). Dies stellt einen relativen Gewinn von 7,2 % gegenüber dem Standard-GRPO dar und übertrifft gleichzeitige Methoden wie PMPO.
Agenten-Aufgaben (ALFWorld):
- Auf dem ALFWorld-Benchmark erreichte HölderPO eine 93,8 % Erfolgsrate, ein relativer Gewinn von 28,8 % gegenüber GRPO (72,8 %).
- Die Autoren stellen fest, dass für Agenten-Aufgaben ein konservativeres Scheduling ( $p: 1 \to -1$ ) optimal war, da das Basismodell kein domänenspezifisches Pre-Training aufwies, was die Anpassungsfähigkeit des Frameworks unterstreicht.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass HölderPO den fundamentalen Konzentration-Stabilitäts-Zielkonflikt löst, der in statischen Policy-Optimierungsmethoden wie GRPO inhärent ist. Indem der Aggregationsmechanismus als kontinuierlicher Regler und nicht als fester Hyperparameter behandelt wird, ermöglicht das Framework dem Modell:

Aggressives Verstärken von sparse, hoch-magnitude Lernsignalen während der frühen Trainingsphasen.
Strikte Kontrolle der Gradientenvarianz, um eine stabile Konvergenz in späteren Phasen zu gewährleisten.

Die Autoren betonen, dass diese dynamische Anpassungsfähigkeit für Reasoning-Aufgaben mit langer Horizont entscheidend ist, bei denen sich die Natur des Lernsignals entwickelt. Die Methode erzielt SOTA-Leistung über diverse Benchmarks hinweg, während sie die Recheneffizienz von kritiker-freiem RL beibehält.

Anerkannte Einschränkungen:

Der Plan führt Hyperparameter ( $p_{high}, p_{low}$ , Abfallform) ein, die eine empirische Feinabstimmung pro Aufgabe erfordern.
Das Regime positiver Konzentration ( $p > 0$ ) kann die Anfälligkeit für Reward-Hacking erhöhen, wenn der Verifizierer falsch-positive Signale liefert, da es Tokens mit hohen Verhältnissen aggressiv verstärkt.

Zukünftige Arbeiten:
Die Autoren schlagen die Entwicklung eines adaptiven Schedulers vor, der $p$ basierend auf Echtzeit-Metriken (z. B. Batch-Level-Gradientenvarianz oder Token-Verhältnis-Dispersion) anpasst, um die Notwendigkeit manueller Feinabstimmung zu eliminieren.