🤖 machine learning

HMPO: Hybrid Median-length Policy Optimization for Chain-of-Thought Compression

HMPO ist ein kosteneffizientes, einstufiges Reinforcement-Learning-Framework, das die Chain-of-Thought-Argumentation um 19 %–46 % effizient komprimiert, wobei über verschiedene Aufgaben und Modellskalen hinweg ein vernachlässigbarer Genauigkeitsverlust auftritt und so die Einschränkungen der manuellen Feinabstimmung und des mehrstufigen Trainings bestehender Methoden überwindet.

Ursprüngliche Autoren: Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Minghui Zheng, Hongxu Chen, Huimin Ren, Hongsheng Xin, Xiaoyang Qu, Ze Wang, Shuling Yang, Ziyu Peng, Kaike Zhang, Pan Zhou, Kun Zhan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber viel zu geschwätzigen Schüler. Wenn Sie ihm eine Matheaufgabe stellen, schreibt er nicht einfach nur die Antwort; er verfasst einen 50-seitigen Roman über jeden einzelnen Gedanken, der ihm durch den Kopf ging, einschließlich Sackgassen, „Was-wäre-wenn“-Szenarien und langatmigen Erklärungen. Während dieser „Denkprozess“ (Chain-of-Thought) ihm zwar hilft, die richtige Antwort zu finden, ist er unglaublich langsam, teuer in der Ausführung und verschwendet Unmengen an Energie.

Dieses Papier stellt eine neue Methode namens HMPO (Hybrid Median-length Policy Optimization) vor, um diesen Schüler zu lehren, prägnant zu sein, ohne seine Intelligenz zu verlieren.

So funktioniert HMPO, erklärt anhand einfacher Analogien:

1. Das Problem: Der „überlegende“ Schüler

Aktuelle KI-Modelle sind gut im logischen Denken, aber sie „überdenken“ alles (overthinking). Sie generieren tausende Wörter (Tokens) für eine einzige Frage. Das ist so, als würde man jemanden nach der Uhrzeit fragen und stattdert eine Vorlesung über die Geschichte der Uhren erhalten. Das kostet viel Geld (an Rechenleistung) und dauert lange.

Bestehende Methoden, um dies zu beheben, sind umständlich:

Sie verwenden starre Regeln (z. B. „Hör auf zu reden nach 1.000 Wörtern“), was dazu führen kann, dass eine notwendige Erklärung für ein schwieriges Problem abgeschnitten wird.
Sie erfordern ein teures, mehrstufiges Training (wie das Einstellen eines Tutors, dann eines Coaches, dann eines Managers), was ewig dauert und ein Vermögen kostet.
Sie funktionieren oft nicht gut, wenn sie auf sehr große, komplexe Modelle angewendet werden.

2. Die Lösung: HMPO (Der kluge Coach)

HMPO ist eine einzige, effiziente Trainingssitzung, die die KI lehrt, kurz und dennoch präzise zu sein. Es nutzt drei clevere Tricks:

A. Das „Goldlöckchen“-Budget (Adaptiver Median)

Anstatt ein festes Wortlimit festzulegen (wie „maximal 500 Wörter“), schaut HMPO auf die jüngsten erfolgreichen Antworten des Schülers.

Die Analogie: Stellen Sie sich einen Coach vor, der eine Gruppe von Läufern beobachtet. Anstatt zu sagen: „Laufe genau 10 Minuten“, schaut der Coach auf die Median-Zeit (den mittleren Wert) der Läufer, die das Rennen tatsächlich erfolgreich beendet haben.
Wie es hilft: Wenn die Aufgaben schwer sind, sind die „erfolgreichen“ Antworten natürlich länger, sodass sich das Budget lockert. Wenn die Aufgaben leicht sind, sind die erfolgreichen Antworten kurz, sodass sich das Budget verengt. Die KI lernt so, automatisch das „genau richtige“ Maß zu finden, ohne dass ein Mensch die Zahl erraten muss.

B. Die „sanfte Landung“ Belohnung (Cosine Decay)

Normalerweise, wenn man einer KI sagt: „Sei kürzer“, könnte sie schummeln, indem sie eine kurze, falsche Antwort gibt, nur um die Belohnung zu erhalten. HMPO verhindert dies.

Die Analogie: Stellen Sie sich ein Videospiel vor, bei dem man Punkte für das schnelle Abschließen eines Levels bekommt. Aber wenn man das Level falsch abschließt, bekommt man null Punkte, egal wie schnell man war.
Wie es hilft: HMPO verwendet eine spezielle mathematische Formel (multiplikative Belohnung), die besagt: „Korrektheit ist das Einzige, was zuerst zählt. Wenn du falsch liegst, spielt deine Länge keine Rolle; du bekoms gleich null.“ Wenn du jedoch richtig liegst, erhältst du Extrapunkte für Prägnanz. Dies verhindert, dass die KI schummelt, indem sie faul oder inkorrekt wird.

C. Der „Alles-aus-einer-Hand“-Shop (Ein-Stufen-Training)

Alte Methoden erforderten einen langen, komplizierten Prozess: Erst bringt man der KI bei, kurz zu sein (Schritt 1), dann bringt man ihr bei, richtig zu sein (Schritt 2), und dann mischt man beides.

Die Analogie: Anstatt ein Haus Stein für Stein über drei Jahre hinweg zu bauen, ist HMPO wie ein 3D-Drucker, der das ganze Haus in einem Rutsch baut.
Wie es hilft: Es senkt die Trainingszeit und die Kosten um den Faktor 1,5 bis 2,5 im Vergleich zu älteren Methoden.

3. Die Ergebnisse: Schlauer, schneller, günstiger

Die Forscher haben dies an KI-Modellen getestet, die von klein (9 Milliarden Parameter) bis massiv (122 Milliarden Parameter) reichen.

Die Magie: Sie haben die KI nur mit Matheaufgaben trainiert.
Die Überraschung: Obwohl sie nur gelernt hat, in Mathe prägnant zu sein, wurde sie auch in den Bereichen Programmierung, Naturwissenschaften und beim Befolgen von Anweisungen prägnant. Es ist, als würde man einem Schüler beibringen, einen kurzen Aufsatz über Mathematik zu schreiben, und plötzlich schreibt er auch kurze, klare E-Mails und Code, ohne dass man es ihm gesagt hat.
Die Zahlen: Die KI reduzierte ihre „Denklänge“ um 19 % bis 46 % (sie kürzte die Wortanzahl signifikant), während sie die Genauigkeit fast exakt beibehielt.
Der Vergleich: Ein komprimiertes 122-Milliarden-Parameter-Modell, das mit HMPO trainiert wurde, war so leistungsfähig wie viel größere, nicht optimierte Modelle, erreichte dies jedoch mit deutlich weniger Wörtern und weniger Rechenleistung.

Zusammenfassung

HMPO ist eine neue Art, KIs beizubringen, mit dem „Überdenken“ aufzuhören. Es nutzt ein intelligentes, selbstregulierendes System, um die perfekte Balance zwischen Kürze und Korrektheit zu finden. Es ist günstiger zu trainieren, funktioniert bei riesigen Modellen und lehrt die KI überraschenderweise in vielen verschiedenen Fachbereichen, prägnant zu sein, indem sie lediglich Mathematik übt.

Was das Paper NICHT behauptet:

Es behauptet nicht, dass dies für mehrstufige Konversationen (wie einen langen Chat, bei dem die KI sich an vorherige Gesprächsverläufe erinnert) funktioniert.
Es behauptet nicht, dass dies bereit für medizinische Diagnosen oder Rechtsberatung ist.
Es behauptet nicht, dass dies für KI-Agenten funktioniert, die Werkzeuge nutzen (wie das Surfen im Web oder die Verwendung eines Taschenrechners) in komplexen Schleifen.

Technisches Resümee: HMPO – Hybrid Median-length Policy Optimization für Chain-of-Thought-Kompression

1. Problemstellung

Große Sprachmodelle (LLMs) haben durch ausgedehnte Chain-of-Thought-Prozesse (CoT), wie sie bei Modellen wie OpenAI o1, DeepSeek-R1 und Qwen-3 zu sehen sind, bemerkenswerte Fähigkeiten im Bereich des logischen Schlussfolgerns demonstriert. Dieses „Denk-Paradigma“ verursacht jedoch prohibitive Inferenzkosten, die durch hohe Latenzzeiten und einen erheblichen Ressourcenverbrauch gekennzeichnet sind, da pro Abfrage Tausende von Token generiert werden.

Bestehende Methoden zur CoT-Kompression stehen vor drei kritischen Einschränkungen:

Inflexible Constraints: Aktuelle Ansätze verlassen sich auf manuell abgestimmte, statische Längenbudgets oder starre binäre „Denken-oder-Überspringen“-Entscheidungen, was ihre Anwendbarkeit auf enge Domänen (primär Mathematik) beschränkt und eine Anpassung an variierende Komplexitätsgrade der Probleme verhindert.
Prohibitive Trainingskosten: Effektive Kompression erfordert oft rechenintensive mehrstufige Pipelines, einschließlich Datendestillation, Supervised Fine-Tuning (SFT) Warm-ups oder progressiver iterativer Pruning-Verfahren.
Fragile Skalierbarkeit: Evaluierungen beschränken sich weitgehend auf kleine dichte Modelle (≤32B), wodurch die Anwendbarkeit auf hochmoderne großskalige Architekturen und Mixture-of-Experts (MoE)-Architekturen unverifiziert bleibt.

2. Methodik: HMPO

Die Autoren schlagen HMPO (Hybrid Median-length Policy Optimization) vor, ein kosteneffizientes, einstufiges Reinforcement-Learning-Framework, das auf Group Relative Policy Optimization (GRPO) basiert. HMPO adressiert die Einschränkungen vorangegangener Arbeiten durch drei synergetische Komponenten:

A. Adaptives Median-basiertes Budget

Anstatt eines statischen, manuell definierten Token-Budgets leitet HMPO ein Budget $b$ dynamisch aus der Median-Länge erfolgreicher (korrekter) Rollouts innerhalb eines Trainings-Batches ab.

Mechanismus: Für eine Gruppe von $G$ Rollouts wird die Teilmenge $C$ , die korrekte Antworten enthält, identifiziert. Das Budget wird berechnet als $b = \text{median}(\{n_i \mid i \in C\})$ , wobei $n_i$ die Token-Länge ist.
Vorteil: Dieser Ansatz isoliert das Längensignal von verrauschten, fehlerhaften Versuchen und schafft eine schwierigkeitsbewusste Beschränkung. Komplexe Abfragen führen natürlich zu längeren korrekten Rollouts (was das Budget lockert), während einfachere Abfragen strengeren Beschränkungen unterliegen. Wenn sich die Policy verbessert, verringert sich das Budget automatisch, was einen selbstverstärkenden Lehrplan (Curriculum) ohne manuelles Eingreifen bildet.

B. Cosine-Decay Token-Reward

Um Verbosität zu bestrafen, ohne die Genauigkeit zu beeinträchtigen, wendet HMPO eine Längenpräferenz ausschließlich auf erfolgreiche Trajektorien an.

Mechanismus: Ein Token-Reward $R_{token}$ wird mittels einer glatten Cosinus-Decay-Funktion für korrekte Rollouts definiert, bei denen die Länge $n < b$ gilt:
$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$
Fehlerhafte oder leere Antworten erhalten $R_{token} = 0$ . Der Skalar $\lambda$ steuert die Größenordnung des durch die Länge induzierten Gewinns.
Vorteil: Dies bietet ein „Soft Landing“-Penalty, das kürzere korrekte Antworten fördert, während notwendige Denkschritte erhalten bleiben, wodurch die harten Strafen binärer Schwellenwerte vermieden werden.

C. Multiplikative Reward-Formulierung

Um die Korrektheit der Antwort strikt zu priorisieren und „Reward Hacking“ (bei dem das Modell kurze, aber falsche Antworten generiert, um Längen-Rewards zu maximieren) zu verhindern, wird der finale Reward multiplikativ formuliert:
$R_{final} = R_{acc} \cdot R_{token}$

Mechanismus: $R_{acc}$ ist 1 für korrekte Antworten und 0 für inkorrekte Antworten.
Vorteil: Dies erzwingt eine „Korrektheit zuerst, Länge zweitrangig“-Hierarchie. Mathematisch gesehen führt jede inkorrekte Antwort (bei der $R_{acc}=0$ ) zu einem finalen Reward von 0, unabhängig von ihrer Länge. Dies eliminiert Effizienz-Gradienten für inkorrekte Antworten und schützt das Training vor Reward Hacking.

3. Zentrale Beiträge

Methodische Innovation: HMPO führt adaptives korrektes-Median-Budgeting, Cosinus-Reward-Shaping und multiplikative Reward-Faktorisierung ein. Diese Komponenten lösen gemeinsam die Starrheit manueller Budgets, die Aggressivität statischer Strafen und die Anfälligkeit für Reward Hacking, die bei bisherigen RL-basierten Kompressionsmethoden zu finden sind.
Domänenübergreifende Generalisierung: Die Arbeit präsentiert eine umfassende Evaluierung über 9B bis 122B dichte und MoE-Modelle. Entscheidend ist, dass HMPO ausschließlich auf mathematischen Daten trainiert wurde, sich jedoch robust auf Aufgaben in den Bereichen Code, Naturwissenschaften und Instruktionsbefolgung generalisiert, ohne aufenkst-spezifisches Tuning.
Beispiellose Skalierbarkeit: HMPO erreicht die erste erfolgreiche CoT-Kompression auf massiven MoE-Architekturen (bis zu 122 Milliarden Parametern). Es bewahrt eine nahezu perfekte Genauigkeitsparität bei gleichzeitiger signifikanter Reduzierung des Token-Verbrauchs, was es diesen Modellen ermöglicht, mit wesentlich weniger Token mit weit größeren Frontier-Modellen (z. B. 700B+ MoEs) zu konkurrieren.

4. Experimentelle Ergebnisse

Die Experimente wurden an der Qwen3.5-Serie (9B, 35B-A3B und 122B-A10B) durchgeführt, die auf 6,5K Instanzen aus DeepMath-103K trainiert wurden.

Kompression vs. Genauigkeit: HMPO erreicht eine Token-Kompression von 19 %–46 % über verschiedene Modellskalen hinweg bei vernachlässigbarer Genauigkeitsdegradation.
- Bei Qwen3.5-9B reduziert es die Output-Token um 46 % bei einem Rückgang der durchschnittlichen Genauigkeit um lediglich 0,02 Prozentpunkte (pp).
- Bei Qwen3.5-122B erreicht es eine Kompression von 19 % bei einem Genauigkeitsabfall von 0,10 pp.
Vergleich mit Baselines:
- ThinkPrune: Erreicht höhere Kompression (64–72 %), leidet aber unter schwerer Genauigkeitsdegradation (Abfälle von 11–22 pp).
- Thinkless: Zeigt ein katastrophales Scheitern bei kleineren Modellen (<15 % Genauigkeit) aufgrund von SFT-induziertem Mode Collapse.
- AdaptThink: Liefert nur marginale Gewinne, kann aber größere Modelle nicht effektiv komprimieren und erhöht teilweise sogar die Token-Längen.
Trainingseffizienz: Durch den Verzicht auf Destillations- und SFT-Phasen reduziert HMPO die GPU-Stunden des Trainings um das 1,5- bis 2,5-fache im Vergleich zu mehrstufigen Baselines.
Token-Effizienz: Auf AIME 2026 senken HMPO-trainierte 122B-Modelle den Token-Verbrauch um 23 %, während sie eine wettbewerbsfähige Genauigkeit gegenüber deutlich größeren Frontier-Modellen (z. B. Nemotron-3-Super-120B und Kimi-K2.5-1T) beibehalten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass HMPO einen Paradigmenwechsel in der effizienten Argumentation darstellt, indem es eine einstufige, direkt anwendbare Optimierungsstrategie bietet. Seine Bedeutung liegt in:

Eliminierung des manuellen Tunings: Das adaptive Median-Budget macht das mühsame, domänenspezifische Tuning von Längenbudgets überflüssig.
Mathematische Robustheit: Die multiplikative Reward-Formulierung verhindert mathematisch, dass das Modell lernt, auf Kosten der Korrektheit prägnant zu sein.
Praktische Implementierung: Durch das Erreichen hoher Kompression bei vernachlässigbarem Genauigkeitsverlust über diverse Architekturen und Domänen hinweg (trotz Math-only Training), ermöglicht HMPO den effizienten Realwelt-Einsatz fortgeschrittener Reasoning-LLMs und reduziert die Inferenzkosten drastisch, ohne komplexe, mehrstufige Trainings-Pipelines zu benötigen.

Die Autoren räumen Einschränkungen hinsichtlich Multi-Turn-Reasoning und Agentic Tasks ein und merken an, dass das aktuelle Framework für Single-Turn-Settings konzipiert ist und die Erweiterung auf interaktive oder Tool-basierte Szenarien eine Richtung für zukünftige Arbeiten bleibt.