🤖 machine learning

HPO: Hysteretic Policy Optimization for Stable and Efficient Training under Sparse-Reward Regime

Dieser Beitrag stellt die hysteretische Politikoptimierung (HPO) und ihre adaptive Variante (A-HPO) vor, um die frühe Trainingsinstabilität bei GRPO-artigem Reinforcement Learning unter spärlichen Belohnungen zu adressieren, indem Updates mit negativem Vorteil heruntergewichtet und die Normalisierung pro Antwortlänge durch eine Mittelwert-Längen-Normalisierung ersetzt wird, was zu überlegener Leistung und Stabilität über verschiedene Benchmarks und Modellskalen hinweg führt.

Ursprüngliche Autoren: Mohamed Sana, Nicola Piovesan, Antonio De Domenico, Fadhel Ayed, Haozhe Zhang

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mohamed Sana, Nicola Piovesan, Antonio De Domenico, Fadhel Ayed, Haozhe Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie lehren einen Roboter, ein schwieriges Rätsel zu lösen, wie etwa ein komplexes mathematisches Problem oder eine Netzwerkfehlerbehebung. Sie geben dem Roboter eine Aufforderung, und er versucht, eine Antwort zu generieren. Manchmal gelingt es ihm richtig; meistens, besonders am Anfang, liegt er falsch.

Dieser Artikel stellt eine neue Methode vor, um diese Roboter zu trainieren, genannt Hysteretic Policy Optimization (HPO). Es handelt sich um eine Anpassung einer bestehenden Methode (GRPO), die das Lernen erheblich schneller und stabiler macht, wenn der Roboter Schwierigkeiten hat, die richtige Antwort zu finden.

Hier ist die Aufschlüsselung mit einfachen Analogien:

Das Problem: Der „Lärmige Klassenraum"

Bei der aktuellen Trainingsmethode (GRPO) betrachtet der Lehrer (der Algorithmus) einen Batch von 8 Versuchen, die der Roboter unternommen hat.

Das Problem des „Seltenen Erfolgs": Bei schwierigen Aufgaben könnte der Roboter nur 1 oder 2 von 8 Antworten richtig haben. Die anderen 6 sind falsch.
Das Problem des „Volumens": Die aktuelle Methode behandelt jede falsche Antwort genauso ernsthaft wie die richtige Antwort. Da es so viele falsche Antworten gibt, ruft der Lehrer am Ende für jede einzelne „Gut gemacht!" sechsmal „Mach das nicht!".
Das Problem der „Länge": Die aktuelle Methode bewertet Antworten auch basierend auf ihrer Länge.
- Wenn der Roboter eine kurze richtige Antwort gibt, erhält er einen riesigen „Gut gemacht!"-Boost.
- Wenn der Roboter eine lange, abschweifende falsche Antwort gibt, wird die „Mach das nicht!"-Bestrafung verwässert, da sie über so viele Wörter verteilt ist.

Das Ergebnis: Der Roboter wird verwirrt. Er wird von dem Lärm aller falschen Antworten überwältigt und könnte beginnen, sehr kurze, zufällige Antworten zu erraten, nur um die langen, schweren Bestrafungen zu vermeiden. Es ist wie ein Schüler, der nach 100-maligem Schelten wegen kleiner Fehler aufhört, ganze Sätze zu schreiben, und nur noch „Ja" oder „Nein" schreibt, um es hinter sich zu bringen.

Die Lösung: HPO (Der „Schlaue Trainer")

Die Autoren schlagen HPO vor, der wie ein schlauer Trainer agiert, der weiß, wie man mit einem kämpfenden Schüler umgeht. Er hat zwei Haupttricks:

1. Der „Lautstärkeregler" (Hysterische Gewichtung)

Statt jede falsche Antwort gleich zu behandeln, dreht der Trainer die Lautstärke bei der negativen Feedback herunter.

Die Analogie: Stellen Sie sich vor, der Roboter befindet sich in einem Raum, in dem 6 Personen „Falsch!" schreien und 1 Person „Richtig!" flüstert.
Alte Methode: Der Trainer hört allen 7 Personen gleichermaßen zu. Die „Falsch!"-Menge übertönt das „Richtig!"-Flüstern.
HPO-Methode: Der Trainer setzt einen „Stummschaltknopf" auf die „Falsch!"-Menge. Sie hören ihnen immer noch zu, drehen die Lautstärke aber erheblich herunter. Dies ermöglicht es, dass das seltene „Richtig!"-Flüstern tatsächlich gehört wird und daraus gelernt werden kann.
Adaptive Version (A-HPO): Dies ist die intelligenteste Version. Der Trainer verwendet keinen festen Stummschaltknopf. Stattdessen zählt er in Echtzeit, wie viele Personen „Falsch!" im Vergleich zu „Richtig!" schreien. Wenn die „Falsch!"-Menge riesig ist, schaltet er sie stark stumm. Wenn der Roboter besser wird und die „Richtig!"-Menge wächst, dreht der Trainer die Lautstärke für die „Falsch!"-Menge langsam wieder hoch, damit der Roboter wieder aus seinen Fehlern lernt.

2. Der „Faire Durchschnitt" (Mittlere-Längen-Normalisierung)

Der Trainer hört auf, Antworten basierend auf ihrer individuellen Länge zu bewerten, und beginnt, sie basierend auf der durchschnittlichen Länge der gesamten Gruppe zu bewerten.

Die Analogie: Bei der alten Methode erhielt eine kurze, richtige Antwort einen goldenen Stern, aber eine lange, falsche Antwort erhielt ein winziges, fast unsichtbares rotes X. Dies ermutigte den Roboter, faul und kurz zu sein.
HPO-Methode: Der Trainer sagt: „Wir werden jeden basierend auf der durchschnittlichen Anstrengung der Gruppe bewerten." Dies verhindert, dass der Roboter versucht, das System zu manipulieren, indem er kurze Antworten schreibt, nur um eine größere Belohnung zu erhalten. Es ermutigt den Roboter, das Problem vollständig durchzudenken, unabhängig davon, wie viele Wörter es dauert.

Was geschah in den Experimenten?

Die Forscher testeten dies an zwei Aufgaben:

TeleLogs: Behebung komplexer 5G-Netzwerkfehler (wie ein Detektiv, der ein Rätsel löst).
Countdown: Ein Mathe-Spiel, bei dem Sie Zahlen kombinieren, um ein Ziel zu erreichen.

Die Ergebnisse:

Schnelleres Lernen: Der Roboter, der die neue Methode (A-HPO) verwendete, lernte viel schneller, besonders am Anfang, als er oft scheiterte.
Bessere Scores: Bei der Netzwerkaufgabe erreichte die neue Methode einen Score von 0,84 und übertraf die alte Methode (0,73) sowie andere Konkurrenten mit einem signifikanten Vorsprung.
Kein „Abkürzen": Im Gegensatz zur alten Methode, die den Roboter manchmal dazu brachte, aufzugeben und sehr kurze, nutzlose Antworten zu schreiben, hielt die neue Methode die Antworten lang und durchdacht, während sie gleichzeitig die Genauigkeit verbesserte.

Das Fazit

Wenn Sie einer KI eine schwierige Aufgabe beibringen, bei der sie oft scheitert, sollten Sie nicht jedes Scheitern als genauso wichtig behandeln wie jeden Erfolg. Tun Sie dies, wird die KI überwältigt und hört auf zu versuchen.

HPO ist eine einfache Lösung, die besagt: „Hören Sie auf die Fehler, aber lassen Sie sie die seltenen Erfolge nicht übertönen. Lassen Sie auch nicht die Länge der Antwort das Bewertungssystem täuschen." Durch das Ausbalancieren des Feedbacks lernt die KI effizienter und löst schwierigere Probleme.

Technische Zusammenfassung: Hysteretische Policy-Optimierung (HPO) für das Training von LLMs mit spärlichen Belohnungen

1. Problemstellung

Die Arbeit untersucht einen spezifischen Fehlermodus bei der Group Relative Policy Optimization (GRPO) im Einsatz auf Large Language Models (LLMs) unter Regimen mit spärlichen, verifizierbaren Belohnungen (z. B.推理-Aufgaben, bei denen nur ein kleiner Bruchteil der gesampelten Antworten korrekt ist). Die Autoren identifizieren zwei voneinander abhängige Verzerrungen, die das Training in diesem Setting destabilisieren:

Sign-Ungleichgewicht (Negative Dominanz): In Szenarien mit spärlichen Belohnungen generiert die initiale Policy oft überwiegend falsche Antworten. Folglich fallen die meisten gesampelten Trajektorien unter den Gruppenmittelwert, was zu einer hohen Häufigkeit negativer Advantages führt ( $p_- > p_+$ ). Eine symmetrische Behandlung dieser zahlreichen negativen Proben kann die seltenen positiven Signale überlagern und nützliche, aber verrauschte Reasoning-Trajektorien unterdrücken.
Antwortlängen-Verzerrung auf Antwort-Ebene: Standard-GRPO normalisiert den Verlust durch die Länge jeder einzelnen Antwort ( $1/|\tau_i|$ $1/∣ τ_{i} ∣$ ). Dies erzeugt eine inverse Beziehung zwischen Antwortlänge und Aktualisierungsmagnitude:
- Kurze korrekte Antworten erhalten unverhältnismäßig große positive Gradienten, was das Modell zu Kürze hin verzerrt.
- Lange falsche Antworten erhalten unverhältnismäßig kleine negative Gradienten und versäumen es, verbose Fehler angemessen zu bestrafen.
- Diese Interaktion macht den Optimierungsdruck sowohl von der Belohnung als auch von der Länge abhängig, was insbesondere für Reasoning-Aufgaben problematisch ist, bei denen die Länge mit der Suchtiefe oder Erklärung korreliert.

2. Methodik

Die Autoren schlagen Hysteretic Policy Optimization (HPO) vor, eine minimale Modifikation des GRPO-Ziels, die darauf ausgelegt ist, diese Verzerrungen durch zwei Mechanismen zu adressieren:

2.1 Fixe HPO

HPO führt zwei strukturelle Änderungen am GRPO-Ziel ein:

Normalisierung nach mittlerer Länge: Anstatt jede Antwort durch ihre eigene Länge ( $|\tau_i|$ ) zu normalisieren, normalisiert HPO den gesamten Batch durch die mittlere Antwortlänge ( $|\bar{\tau}|$ ). Dies entfernt die inverse Skalierung der Aktualisierungsmagnitude mit der Antwortlänge und stellt sicher, dass lange falsche Antworten angemessen bestraft werden und kurze korrekte Antworten den Gradienten nicht dominieren.
Asymmetrische hysteretische Gewichtung: Die Policy-Gradient-Aktualisierungen werden basierend auf dem Vorzeichen der Advantage ( $\hat{A}_i$ $\hat{A}_{i}$ ) asymmetrisch skaliert:
- Positive Advantages ( $\hat{A}_i \geq 0$ ) behalten das volle Gewicht (Faktor = 1).
- Negative Advantages ( $\hat{A}_i < 0$ ) werden um einen hysteretischen Faktor $\alpha \in [0, 1]$ heruntergewichtet.
- Die Zielfunktion lautet:
  $J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$
  wobei $w_i = 1$ , wenn $\hat{A}_i \geq 0$ , und $w_i = \alpha$ sonst.

2.2 Adaptive HPO (A-HPO)

In der Erkenntnis, dass der optimale $\alpha$ vom Trainingsregime abhängt (weniger Hysterese wird benötigt, sobald die Policy sich verbessert), führen die Autoren A-HPO ein. Diese Variante passt $\alpha$ dynamisch basierend auf den Vorzeichenstatistiken des aktuellen Batches an:

Sie schätzt das Verhältnis der Häufigkeiten positiver zu negativer Advantages ( $\hat{p}_+ / \hat{p}_-$ ).
Das adaptive Gewicht wird wie folgt gesetzt:
$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$
Mechanismus: Wenn negative Proben dominieren (spärliches Regime), ist $\hat{p}_+ / \hat{p}_-$ klein, was dazu führt, dass $\alpha$ abnimmt und negative Aktualisierungen dämpft. Sobald sich die Policy verbessert und die Verteilung ausbalanciert, nähert sich $\alpha$ 1 an und stellt eine symmetrische Aktualisierung wieder her. Dies vermeidet das manuelle Tunen eines festen $\alpha$ .

3. Hauptbeiträge

Identifikation von Fehlermodi: Die Arbeit verknüpft die Instabilität von GRPO in Regimen mit spärlichen Belohnungen explizit mit der Kombination aus negativer Advantage-Dominanz und Normalisierung der Antwortlänge auf Antwort-Ebene.
HPO-Algorithmus: Eine Ein-Parameter-Interpolation zwischen „nur-positive" Lernverfahren (die negatives Feedback verwerfen) und vollständig symmetrischen Aktualisierungen. Sie kombiniert die Normalisierung nach mittlerer Länge mit asymmetrischer Gewichtung.
A-HPO: Eine leichte, adaptive Regel, die das hysteretische Gewicht automatisch basierend auf Vorzeichenstatistiken auf Batch-Ebene justiert und die Notwendigkeit manueller Hyperparametersuche beseitigt.
Empirische Validierung: Ablationsstudien zeigen, dass das optimale Verhalten zwischen den Extremen nur-positiver ( $\alpha=0$ ) und symmetrischer ( $\alpha=1$ ) Aktualisierungen liegt, was die Notwendigkeit einer intermediären Hysterese bestätigt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HPO und A-HPO an zwei Aufgaben: TeleLogs (Root-Cause-Analyse von 5G-Netzen) und Countdown (arithmetische Konstruktion), unter Verwendung von Modellen mit 1,5 bis 7 Milliarden Parametern.

TeleLogs (Qwen2.5-1.5B):
- A-HPO erreichte eine finale Belohnung von 0,84 und übertraf GRPO (0,73, +15 %), GSPO (0,76, +11 %) und SAPO (0,80, +5 %).
- A-HPO erreichte signifikant schneller hohe Belohnungsniveaus (Proben-Effizienz) und behielt dabei eine vergleichbare Antwortlänge wie die Baselines bei, wodurch der bei nur-positiven Methoden beobachtete „Längen-Kollaps" vermieden wurde.
Countdown (1,5B–7B-Modelle):
- Die Gewinne waren am ausgeprägtesten im frühen Training und bei schwierigeren Konfigurationen (Countdown-4 mit 4 Zahlen), wo Belohnungen spärlich sind.
- Beispielsweise verbesserte A-HPO bei Llama3.1-3B mit Countdown-4 die Belohnung nach 200 Schritten von 0,40 (GRPO) auf 0,54.
- In gesättigten Regimen (z. B. 7B-Modelle bei einfacherem Countdown-3) verringerte sich die Leistungslücke, was darauf hindeutet, dass A-HPO am kritischsten ist, wenn die Policy noch lernt.
Ablationsstudien:
- Fixe HPO mit $\alpha=0$ (nur-positive) kollabierte zu sehr kurzen Ausgaben (16 Tokens) und niedrigeren Belohnungen (0,71).
- Fixe HPO mit $\alpha=1$ (symmetrisch) schnitt aufgrund negativer Dominanz schlechter ab (0,72).
- Die beste feste Leistung wurde bei $\alpha \approx 0,6$ erzielt, was A-HPO automatisch ohne Tuning erreichte.
- Eine Analyse des „Surrogat-Beitragsausgleichs" bestätigte, dass A-HPO erfolgreich die Magnitude positiver und negativer Aktualisierungsbeiträge ausgleicht, während GRPO verrauscht und negativ dominiert bleibt.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass HPO und A-HPO eine praktische, gering-overhead Modifikation von GRPO darstellen, die Stabilität und Proben-Effizienz bei spärlichen Belohnungs-RL für LLMs signifikant verbessert.

Kernprinzip: Die Autoren argumentieren, dass in Regimen mit spärlichen Belohnungen negative Advantage-Aktualisierungen genutzt, aber nicht symmetrisch vertraut werden sollten, wenn sie überwältigend häufig auftreten.
Ausgleich: Die Methode verhindert erfolgreich die Unterdrückung nützlicher Reasoning-Trajektorien durch häufige Fehler, vermeidet gleichzeitig aber das degenerierte Verhalten, negatives Beweismaterial vollständig zu verwerfen.
Adaptivität: A-HPO wird als robuste Lösung präsentiert, die automatisch das intermediäre Regime zwischen nur-positiven und symmetrischen Aktualisierungen verfolgt und sich anpasst, wenn sich die Trainingsverteilung von spärlichen zu dichten Belohnungen verschiebt.

Die Arbeit positioniert HPO als notwendige Verfeinerung für eine rechen-effiziente Feinabstimmung von LLMs, wenn dichte Prozessbelohnungen oder Kritik-Feedback nicht verfügbar sind.