🤖 machine learning

LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models

Das Papier stellt LEAD vor, eine neuartige Methode, die online, selbstadaptierende Mechanismen einsetzt, um während des Reinforcement Learning die Korrektheit und Effizienz dynamisch auszugleichen und dadurch große Reasoning-Modelle in die Lage versetzt, auf diversen mathematischen Benchmarks deutlich kürzere Chain-of-Thought-Ausgaben zu generieren, ohne die Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten, aber übermäßig plappernden Schüler, der einen Mathe-Test schreibt. Dieser Schüler, der moderne Large Language Models (LLMs) repräsentiert, ist unglaublich intelligent und kann schwierige Probleme lösen. Er hat jedoch eine schlechte Angewohnheit: Er neigt dazu, „zu viel nachzudenken". Selbst bei einer einfachen Frage wie „Was ist 2+2?" könnte er einen 10-seitigen Aufsatz schreiben, der die Geschichte der Zahlen, die Philosophie der Addition und die Biografie der Zahl 2 erklärt, bevor er endlich die Antwort „4" gibt.

Dieses „Überdenken" verschwendet Zeit, Energie und Computerressourcen. Die Arbeit stellt eine neue Trainingsmethode namens LEAD (Length-Efficient Adaptive and Dynamic Reasoning) vor, um diesem Schüler beizubringen, prägnant zu sein, ohne seine Intelligenz zu verlieren.

So funktioniert LEAD, aufgeschlüsselt in einfache Konzepte:

Das Problem: Die Falle des „Ein-Größe-für-alles"-Ansatzes

Frühere Versuche, dieses plappernde Verhalten zu korrigieren, waren wie ein strenger Lehrer, der sagt: „Egal welche Frage, deine Antwort muss genau 50 Wörter lang sein."

Das Problem: Das ist unfair. Eine einfache Frage sollte kurz sein, aber ein komplexes mathematisches Problem auf Olympiaden-Niveau benötigt eine lange Erklärung. Wenn Sie bei einem schwierigen Problem eine kurze Antwort erzwingen, macht der Schüler einen Fehler. Wenn Sie bei einem einfachen Problem eine lange Antwort erzwingen, verschwenden sie Zeit.
Das Ergebnis: Alte Methoden machten den Schüler entweder zu kurz (und falsch) oder verkürzten ihn nicht genug.

Die Lösung: Leads zwei clevere Tricks

LEAD agiert wie ein weiser Coach, der seinen Lehrstil in Echtzeit anpasst. Es nutzt zwei Haupttricks:

1. Der „dynamische Lautstärkeregler" (Adaptive Belohnungen)

Stellen Sie sich vor, der Schüler wird an zwei Dingen bewertet: Korrektheit (die richtige Antwort zu finden) und Knappheit (kurz zu bleiben).

Alter Weg: Der Lehrer setzt eine feste Regel: „50 % deiner Note gelten für Richtigkeit, 50 % für Kürze." Das funktioniert nicht gut, denn zu Beginn des Trainings muss sich der Schüler ganz darauf konzentrieren zu lernen, wie man das Problem löst. Wenn Sie ihn zu früh unter Druck setzen, kurz zu sein, hört er auf zu denken und fängt an zu raten. Später, wenn er weiß, wie man es löst, wollen Sie ihn dazu drängen, kürzer zu sein.
Leads Weg: LEAD verwendet einen intelligenten Lautstärkeregler.
- Frühes Training: Der Regler ist auf „Korrektheit" hochgedreht. Der Schüler darf so viel abschweifen, wie er benötigt, um die Lösung zu finden.
- Späteres Training: Sobald der Schüler beginnt, Antworten richtig zu geben, verschiebt sich der Regler automatisch. Die Lautstärke für „Knappheit" wird erhöht, die für „Korrektheit" gesenkt (da er bereits weiß, wie man es löst).
- Die Magie: Das System prüft ständig: „Lernt der Schüler noch, kürzer zu sein?" Wenn ja, drängt es ihn. Wenn der Schüler bereits kurz ist, hört es auf zu drängen und konzentriert sich darauf, sicherzustellen, dass die Antwort immer noch korrekt ist.

2. Das „personalisierte Ziel" (Budget pro Problem)

Anstatt jeder Frage ein festes Wortlimit zu geben, gibt LEAD jeder Frage ihre eigene personalisierte Ziel-Länge.

Wie es funktioniert: Das System betrachtet die erfolgreichen Versuche des Schülers.
- Wenn der Schüler ein schwieriges Problem korrekt in 2.000 Wörtern gelöst hat, sagt LEAD: „Okay, für dieses spezifische schwierige Problem ist das Ziel 2.000 Wörter. Gehen Sie nicht darunter, sonst überspringen Sie möglicherweise Schritte."
- Wenn der Schüler ein einfaches Problem in 200 Wörtern gelöst hat, sagt LEAD: „Toll, das Ziel für dieses ist 200 Wörter."
Die symmetrische Belohnung: LEAD ist fair. Es bestraft nicht nur lange Antworten. Es bestraft auch zu kurze Antworten. Wenn der Schüler bei einem schwierigen Problem eine 10-Wörter-Antwort gibt, sagt LEAD: „Das ist zu kurz; Sie haben wahrscheinlich geschummelt oder geraten." Dies verhindert, dass der Schüler faule Abkürzungen nimmt.

Das Ergebnis: Der „Goldilocks"-Schüler

Bei Tests auf fünf verschiedenen mathematischen Benchmarks produzierte LEAD einen Schüler, der:

Mehr Antworten richtig hatte als andere Methoden, die versuchten, Antworten zu verkürzen.
Deutlich weniger sprach als das ursprüngliche, plappernde Modell.
Die beste Balance (genannt „Accuracy-Efficiency Score") zwischen Intelligenz und Knappheit erreichte.

Die Analogie auf den Punkt gebracht

Stellen Sie sich das ursprüngliche Modell als einen Reiseleiter vor, der ununterbrochen redet, selbst wenn die Touristen nur ein Wahrzeichen schnell sehen wollen.

Alte Methoden versuchten, einen Timer auf den Guide zu setzen: „Hör nach 5 Minuten auf zu reden." Das bedeutete, der Guide würde durch komplexe Museen hetzen (und dabei Fehler machen) oder einfache Parkbesuche in die Länge ziehen (und Zeit verschwenden).
LEAD ist wie ein intelligenter Manager, der den Guide beobachtet.
- Wenn der Guide Schwierigkeiten hat, ein komplexes Gemälde zu erklären, sagt der Manager: „Nehmen Sie sich Zeit, erklären Sie es vollständig."
- Wenn der Guide eine einfache Statue erklärt, sagt der Manager: „Sie haben den Punkt verstanden, fassen Sie es in zwei Sätzen zusammen."
- Der Manager passt die Regeln während der Tour an und stellt sicher, dass der Guide immer genau die richtige Menge an Plaudern bietet.

Kurz gesagt, lehrt LEAD KI-Modelle zu wissen, wann sie tiefgründig denken und wann sie kurz sein sollen, wobei sie sich an die Schwierigkeit der Aufgabe und ihren eigenen Fortschritt anpassen, anstatt einer starren, ein-Größe-für-alles-Regel zu folgen.

Technische Zusammenfassung: LEAD (Length-Efficient Adaptive and Dynamic Reasoning)

1. Problemstellung

Large Reasoning Models (LRMs) wie OpenAI o1 und DeepSeek-R1 haben gezeigt, dass explizites Chain-of-Thought (CoT)-Reasoning die Leistung bei komplexen Aufgaben signifikant verbessert. Diese Fähigkeit geht jedoch mit einer kritischen Ineffizienz einher: Mit zunehmenden Reasoning-Fähigkeiten neigen Modelle dazu, immer ausführlicher zu werden und Reasoning-Spuren zu generieren, die über das für das zugrunde liegende Problem Notwendige hinausgehen. Dieses „Überdenken" verschwendet Rechenressourcen, erhöht die Latenz und verbraucht Kontextbudgets.

Bestehende Ansätze zur Erzwingung von Effizienz erweitern das Reinforcement-Learning (RL)-Training typischerweise um längenbasierte Effizienzsignale neben Korrektur-Belohnungen. Das Papier identifiziert jedoch zwei fundamentale Einschränkungen in aktuellen statischen Methoden:

Nicht-stationäres Belohnungsgleichgewicht: Das optimale Gleichgewicht zwischen Korrektheit und Effizienz verändert sich während des Trainings. Zu Beginn des Trainings ist eine korrektheitsorientierte Exploration von entscheidender Bedeutung, und ein übermäßiger Längendruck kann die Entdeckung gültiger Lösungen unterdrücken. Später, wenn Modelle lernen, Probleme zu lösen, werden Effizienzsignale nützlicher, um Redundanzen zu entfernen. Statische Belohnungsgewichte (z. B. ein festes $\lambda_c, \lambda_\ell$ ) können sich nicht an diese sich wandelnde Landschaft anpassen, was zu einem Kompromiss zwischen verschlechterter Genauigkeit oder nicht realisierter Kompression führt.
Unflexible globale Budgets: Unterschiedliche Probleme erfordern vastly unterschiedliche Mengen an Reasoning (z. B. einfache Arithmetik versus Mathematik auf Olympiade-Niveau). Die Anwendung eines einzigen globalen Längenbudgets ( $B$ ) erzwingt einen Trade-off: Ein aggressives Setzen von $B$ , um einfache Probleme zu komprimieren, führt dazu, dass schwierige Probleme abgeschnitten werden (was die Genauigkeit beeinträchtigt), während ein lockeres Setzen von $B$ , um schwierige Probleme zu erhalten, einfache Probleme nicht komprimiert (was Tokens verschwendet).

2. Methodik: LEAD

Die Autoren schlagen LEAD (Length-Efficient Adaptive and Dynamic reasoning) vor, ein Framework, das statische Heuristiken durch Online-, selbstadaptive Mechanismen ersetzt. LEAD adressiert die oben genannten beiden Herausforderungen durch zwei Kernkomponenten:

A. Dynamische Belohnungsgewichtung via Potential-Scaled Instability (PSI)

Anstatt Belohnungen vor der Normalisierung zu kombinieren (was zu einem Belohnungskollaps führt) oder statische Gewichte zu verwenden, setzt LEAD eine entkoppelte Gruppennormalisierung gefolgt von einer Online-dynamischen Gewichtung ein.

Entkoppelte Normalisierung: In Anlehnung an GDPO normalisiert LEAD die Korrektheitsbelohnung ( $r_c$ ) und die Längenbelohnung ( $r_\ell$ ) separat innerhalb ihrer Gruppen vor der Aggregation. Dies verhindert, dass das Signal mit der höheren Varianz die Vorteilsberechnung dominiert.
PSI-Controller: Die Gewichte $\lambda_c$ $λ_{c}$ und $\lambda_\ell$ $λ_{ℓ}$ werden bei jedem Trainingsschritt online basierend auf der Potential-Scaled Instability (PSI) jedes Belohnungssignals aktualisiert.
- Instabilität: Gemessen durch den Variationskoeffizienten ( $CV_k$ ), der angibt, wie stark sich die Belohnung ändert.
- Potential (Spielraum): Gemessen durch $P_k$ , der angibt, wie weit die Belohnung von ihrem theoretischen Deckel entfernt ist (z. B. 1,0 für Korrektheit).
- Mechanismus: Der PSI-Score $\Psi_k = \widehat{CV}_k \cdot P_k$ ist hoch, wenn eine Belohnung sowohl verrauscht (informativ) ist als auch Raum zur Verbesserung hat. Die Gewichte werden aus diesen Scores abgeleitet und mittels Exponential Moving Average (EMA) geglättet.
- Effekt: Dies erzeugt ein transientes Curriculum, bei dem Längeneffizienz die frühe Kompression leitet. Wenn das Effizienzsignal sättigt (geringer Spielraum), verlagert der Controller die Optimierungskapazität automatisch auf die Korrektheit, die bei schwierigen Prompts informativ bleibt.

B. Pro-Problem Online-Zieldurchmesser-Kalibrierung

LEAD ersetzt das globale Längenbudget durch eine pro-Prompt-Ziellänge $L^*_q$ , die dynamisch aus den eigenen korrekten Rollouts des Modells geschätzt wird.

Zielschätzung: Für einen Prompt $q$ wird $L^*_q$ als die mittlere Länge aller korrekten Rollouts im aktuellen Batch berechnet. Wenn keine korrekten Rollouts existieren, wird das Ziel standardmäßig auf das maximale Budget ( $B_{max}$ ) gesetzt, was Exploration statt vorzeitiger Kompression fördert.
Symmetrische Effizienzbelohnung: Die Längenbelohnung $r_\ell$ $r_{ℓ}$ ist symmetrisch um $L^*_q$ $L_{q}^{*}$ . Sie erreicht ihren Höhepunkt bei 1, wenn die Rollout-Länge $L^*_q$ $L_{q}^{*}$ entspricht, und nimmt linear bis auf -1 für Abweichungen in beide Richtungen ab.
- Bestrafung von Überkompression: Entscheidend ist, dass die Belohnung Lösungen bestraft, die zu kurz sind (unter $L^*_q$ ). Dies verhindert, dass das Modell „Abkürzungen" oder musterabgegliche Antworten lernt, die notwendige Reasoning-Schritte umgehen.
- Adaptivität: Wenn das Modell lernt, ein Problem prägnanter zu lösen, nimmt die mittlere Länge korrekter Rollouts ab, wodurch $L^*_q$ automatisch ohne manuelle Eingriffe verschärft wird.

3. Hauptbeiträge

Das Papier beansprucht drei primäre Beiträge:

Identifikation von Herausforderungen: Es identifiziert formal zwei algorithmusagnostische Herausforderungen im effizienten Reasoning-RL: die Notwendigkeit einer dynamischen Belohnungsbalance über das Training hinweg und einer adaptiven Effizienz über unterschiedliche Problemschwierigkeiten hinweg, und zeigt auf, dass statische Koeffizienten diese ohne aufgabenspezifisches Tuning nicht zuverlässig lösen können.
Das LEAD-Framework: Es schlägt eine Methode vor, die Online-Instabilitäts-gesteuerte Belohnungsgewichtung (PSI) mit einer pro-Problem-Ziellängen-Kalibrierung kombiniert. Dieser Ansatz erfordert kein manuelles Koeffizienten-Scheduling oder ein globales Budget-Tuning.
Empirische Validierung: Die Methode wird über fünf mathematische Reasoning-Benchmarks an Modellen mit 1,5 Mrd. und 7 Mrd. Parametern validiert und zeigt konsistente Verbesserungen im Genauigkeit-Effizienz-Trade-off gegenüber State-of-the-Art-Baselines.

4. Experimentelle Ergebnisse

Die Autoren evaluierten LEAD an fünf Benchmarks (AIME 2024/25, AMC 2023, MATH-500, OlympiadBench) unter Verwendung von DeepSeek-R1-Distill-Qwen-1.5B- und 7B-Modellen.

Leistung: LEAD erzielte die höchste Accuracy-Efficiency Score (AES) unter allen getesteten RL-trainierten Methoden.
- Beim 1,5B-Modell verbesserte LEAD die Genauigkeit um 2,62 Punkte und die AES um 0,18 gegenüber der stärksten Baseline (DRPO), während die Ausgabelänge signifikant reduziert wurde.
- Beim 7B-Modell, bei dem alle RL-Methoden im Vergleich zum Basismodell einen gewissen Genauigkeitsrückgang zeigten, wies LEAD den kleinsten Rückgang und die beste AES auf.
Ablationsstudien:
- Dynamische vs. statische Gewichtung: Die dynamische Gewichtung schnitt deutlich besser ab als statische Verhältnisse, was bestätigt, dass die nicht-stationäre Natur des Trainingsprozesses eine adaptive Steuerung erfordert.
- Ziel-Aggregator: Die Verwendung des Mittels korrekter Rollouts (LEAD) schnitt besser ab als die Verwendung des Minimums (ShorterBetter's SOL), des Medians oder des Mittels aller Rollouts. Der „Minimum"-Ansatz führte zu Genauigkeitsabfällen, indem er auf Basis von Ausreißern unrealistisch aggressive Ziele setzte, während das „Mittel aller" durch inkorrekte Trajektorien verwässert wurde.
Token-Allokation: Die Analyse zeigte, dass LEAD Tokens nicht-uniform basierend auf der Schwierigkeit allokiert. Es reserviert mehr Reasoning-Tokens für schwierigere Probleme (unter Beibehaltung der Korrelation zwischen Schwierigkeit und Länge des Basismodells mit $\rho=0,67$ ), während es einfachere Probleme komprimiert, im Gegensatz zu Baselines, die eine uniforme Kompression anwenden.

5. Bedeutung und Behauptungen

Das Papier positioniert LEAD als einen Schritt hin zu Reasoning-Modellen, die ihren Rechenfootprint online an sowohl Problemschwierigkeit als auch Optimierungsfortschritt anpassen können.

Effizienz ohne Opfer: Die Autoren behaupten, dass LEAD einen überlegenen Trade-off erreicht, indem es deutlich kürzere Ausgaben als das Basismodell produziert und gleichzeitig die Genauigkeit im Vergleich zu anderen effizienzorientierten RL-Methoden beibehält oder verbessert.
Selbstkalibrierung: Eine wesentliche Bedeutung ist die Eliminierung des manuellen Hyperparameter-Schedulings (z. B. Tuning von $\lambda$ oder $B$ ). Das System kalibriert den Korrektheits-Effizienz-Trade-off und die Ziellänge für jeden Prompt selbstständig.
Einschränkungen: Die Autoren vermerken bescheiden, dass LEAD für Settings konzipiert ist, in denen Korrektheit zuverlässig verifiziert werden kann (z. B. Mathematik). Die Erweiterung auf offene Generierung oder subjektive Aufgaben könnte aufgabenspezifische Belohnungsmodelle erfordern. Darüber hinaus optimiert LEAD die Policy während des Trainings, erzwingt jedoch kein hartes Token-Budget zur Inferenzzeit; es lernt effizientes Verhalten, anstatt als Controller zur Einsatzzeit zu fungieren.

Zusammenfassend adressiert LEAD die Ausführlichkeit großer Reasoning-Modelle durch dynamisches Balancieren von Lernsignalen und Anpassung der Reasoning-Budgets pro Problem, was zu effizienteren Reasoning-Trajektorien führt, die die Korrektheit nicht beeinträchtigen.