🤖 machine learning

LEAD: Length-Efficient Adaptive and Dynamic Reasoning for Large Language Models

Het artikel introduceert LEAD, een nieuwe methode die online, zelfadaptieve mechanismen inzet om tijdens versterkingsleer dynamisch de balans te vinden tussen correctheid en efficiëntie, waardoor grote redeneringsmodellen in staat worden gesteld aanzienlijk kortere Chain-of-Thought-outputs te genereren zonder de nauwkeurigheid te schaden op diverse wiskundige benchmarks.

Oorspronkelijke auteurs: Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Songtao Wei, Yi Li, Zhikai Li, Xu Hu, Yuede Ji, Guanpeng Li, Feng Chen, Carl Yang, Zhichun Guo, Bingzhe Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar overdreven kletserige student hebt die een wiskundetoets maakt. Deze student, die moderne Large Language Models (LLM's) vertegenwoordigt, is ongelooflijk slim en kan moeilijke problemen oplossen. Ze hebben echter een slechte gewoonte: ze neigen naar "overdenken". Zelfs voor een simpele vraag als "Wat is 2+2?", kunnen ze een essay van 10 pagina's schrijven dat de geschiedenis van getallen, de filosofie van optelling en het levensverhaal van het getal 2 uitlegt, voordat ze eindelijk het antwoord "4" geven.

Dit "overdenken" kost tijd, energie en computerbronnen. Het artikel introduceert een nieuwe trainingsmethode genaamd LEAD (Length-Efficient Adaptive and Dynamic Reasoning) om deze student te leren beknopt te zijn zonder hun intelligentie te verliezen.

Hier is hoe LEAD werkt, opgesplitst in eenvoudige concepten:

Het Probleem: De "Eén Maat Past Allemaal"-Valstrik

Eerdere pogingen om dit kletserige gedrag te corrigeren, waren als een strenge leraar die zegt: "Ongeacht de vraag, je antwoord moet precies 50 woorden lang zijn."

Het Probleem: Dit is onrechtvaardig. Een simpele vraag moet kort zijn, maar een complex Olympiade-niveau wiskundeprobleem heeft een lange uitleg nodig. Als je een kort antwoord forceert bij een moeilijk probleem, krijgt de student het verkeerd. Als je een lang antwoord forceert bij een eenvoudig probleem, verspillen ze tijd.
Het Resultaat: Oude methoden maakten de student ofwel te kort (en foutief) of ze werden niet kort genoeg gemaakt.

De Oplossing: Twee Slimme Trucs van LEAD

LEAD fungeert als een wijze coach die hun onderwijsstijl in real-time aanpast. Het gebruikt twee hoofdtrucs:

1. De "Dynamische Volumeknop" (Adaptieve Beloningen)

Stel je voor dat de student wordt beoordeeld op twee dingen: Juistheid (het juiste antwoord geven) en Beknoptheid (het kort houden).

Oude Manier: De leraar stelt een vaste regel: "50% van je cijfer is voor het juist zijn, 50% is voor het kort zijn." Dit werkt niet goed, omdat de student in een vroeg stadium van de training volledig moet focussen op het leren hoe het probleem op te lossen. Als je ze te vroeg onder druk zet om kort te zijn, stoppen ze met denken en beginnen ze met gokken. Later, zodra ze weten hoe ze het probleem moeten oplossen, wil je ze pushen om korter te zijn.
De Manier van LEAD: LEAD gebruikt een slimme volumeknop.
- Vroege Training: De knop staat hoog op "Juistheid". De student mag zo veel uitweiden als ze nodig hebben om de oplossing te vinden.
- Latere Training: Zodra de student begint met het geven van juiste antwoorden, schuift de knop automatisch. Het "Beknoptheid"-volume gaat omhoog en het "Juistheid"-volume gaat omlaag (aangezien ze al weten hoe ze het probleem moeten oplossen).
- De Magie: Het systeem controleert voortdurend: "Is de student nog steeds aan het leren om korter te zijn?" Zo ja, dan duwt het ze. Als de student al kort is, stopt het met duwen en focust het erop om ervoor te zorgen dat het antwoord nog steeds correct is.

2. De "Gepersonaliseerde Doelstelling" (Per-Probleem Budget)

In plaats van elke vraag een vast woordenteller te geven, geeft LEAD elke vraag zijn eigen gepersonaliseerde doelstelling voor lengte.

Hoe het werkt: Het systeem kijkt naar de succesvolle pogingen van de student.
- Als de student een moeilijk probleem correct oploste in 2.000 woorden, zegt LEAD: "Oké, voor dit specifieke moeilijke probleem is de doelstelling 2.000 woorden. Ga niet onder die waarde, anders sla je misschien stappen over."
- Als de student een eenvoudig probleem oploste in 200 woorden, zegt LEAD: "Geweldig, de doelstelling voor deze is 200 woorden."
De Symmetrische Beloning: LEAD is eerlijk. Het straft niet alleen lange antwoorden. Het straft ook te korte antwoorden. Als de student een 10-woord antwoord geeft op een moeilijk probleem, zegt LEAD: "Dat is te kort; je hebt waarschijnlijk gekeken of gegokt." Dit voorkomt dat de student luie shortcuts neemt.

Het Resultaat: De "Goudlokje"-Student

Wanneer getest op vijf verschillende wiskundebenchmarks, produceerde LEAD een student die:

Meer antwoorden goed had dan andere methoden die probeerden antwoorden te verkorten.
Aanzienlijk minder sprak dan het originele, kletserige model.
De beste balans bereikte (genaamd de "Accuracy-Efficiency Score") tussen slim zijn en beknopt zijn.

De Analogie in het Kort

Denk aan het originele model als een gids die non-stop praat, zelfs als de toeristen gewoon een bezienswaardigheid snel willen zien.

Oude methoden probeerden een timer op de gids te zetten: "Stop met praten na 5 minuten." Dit betekende dat de gids door complexe musea zou racen (het verkeerd krijgen) of simpele parkbezoeken zou rekken (tijd verspillen).
LEAD is als een slimme manager die de gids in de gaten houdt.
- Als de gids worstelt met het uitleggen van een complex schilderij, zegt de manager: "Neem je tijd, leg het volledig uit."
- Als de gids een eenvoudig standbeeld uitlegt, zegt de manager: "Je hebt het punt, vat het samen in twee zinnen."
- De manager past de regels terwijl de rondleiding plaatsvindt aan, zodat de gids altijd precies de juiste mate van kletserig is.

Kortom, LEAD leert AI-modellen te weten wanneer ze diep moeten nadenken en wanneer ze beknopt moeten zijn, zich aanpassend aan de moeilijkheid van de taak en hun eigen voortgang, in plaats van een starre, "één maat past allemaal"-regel te volgen.

Technische Samenvatting: LEAD (Length-Efficient Adaptive and Dynamic Reasoning)

1. Probleemstelling

Grote Redeneringsmodellen (LRMs), zoals OpenAI o1 en DeepSeek-R1, hebben aangetoond dat expliciete Chain-of-Thought (CoT)-redenering de prestaties op complexe taken aanzienlijk verbetert. Deze capaciteit gaat echter gepaard met een kritieke inefficiëntie: naarmate redeneercapaciteiten verbeteren, neigen modellen naar steeds meer verbaal gedrag, waardoor redeneersporen worden gegenereerd die verder gaan dan wat voor het onderliggende probleem noodzakelijk is. Dit "overdenken" verspillen rekenkracht, verhoogt de latentie en verbruikt contextbudgetten.

Bestaande benaderingen om efficiëntie af te dwingen, verrijken Reinforcement Learning (RL)-training doorgaans met lengte-gebaseerde efficiëntiesignalen naast correctheidsbeloningen. De paper identificeert echter twee fundamentele beperkingen in huidige statische methoden:

Niet-stationaire Beloningsbalans: De optimale balans tussen correctheid en efficiëntie verandert gedurende de training. Vroeg in de training is correctheidsgerichte exploratie vitaal, en excessieve lengtedruk kan de ontdekking van geldige oplossingen onderdrukken. Later, naarmate modellen leren problemen op te lossen, worden efficiëntiesignalen nuttiger om redundantie te verwijderen. Statische beloningsgewichten (bijv. een vaste $\lambda_c, \lambda_\ell$ ) kunnen zich niet aanpassen aan dit veranderende landschap, wat leidt tot een compromis tussen verslechterde nauwkeurigheid of onbenutte compressie.
Onbuigzame Globale Budgetten: Verschillende problemen vereisen sterk verschillende hoeveelheden redenering (bijv. eenvoudige rekenkunde versus olympiade-niveau wiskunde). Het toepassen van één enkel globaal lengtebudget ( $B$ ) dwingt een trade-off af: het agressief instellen van $B$ om eenvoudige problemen te comprimeren zorgt ervoor dat moeilijke problemen worden afgekapt (wat de nauwkeurigheid schaadt), terwijl het losjes instellen van $B$ om moeilijke problemen te behouden, faalt in het comprimeren van eenvoudige problemen (wat tokens verspillen).

2. Methodologie: LEAD

De auteurs stellen LEAD (Length-Efficient Adaptive and Dynamic reasoning) voor, een raamwerk dat statische heuristieken vervangt door online, zelfadaptieve mechanismen. LEAD adresseert de twee bovenstaande uitdagingen via twee kerncomponenten:

A. Dynamische Beloningsgewichtering via Potentie-Geschaalde Instabiliteit (PSI)

In plaats van beloningen te combineren voor normalisatie (wat leidt tot beloningsinstorting) of statische gewichten te gebruiken, hanteert LEAD ontkoppelde groepnormalisatie gevolgd door online dynamische gewichtering.

Ontkoppelde Normalisatie: In navolging van GDPO normaliseert LEAD de correctheidsbeloning ( $r_c$ ) en de lengtebeloning ( $r_\ell$ ) apart binnen hun respectievelijke groepen voordat aggregatie plaatsvindt. Dit voorkomt dat het signaal met hogere variantie de voordeelberekening domineert.
PSI-Controller: De gewichten $\lambda_c$ $λ_{c}$ en $\lambda_\ell$ $λ_{ℓ}$ worden online bij elke trainingsstap bijgewerkt op basis van de Potentie-Geschaalde Instabiliteit (PSI) van elk beloningssignaal.
- Instabiliteit: Gemeten door de variatiecoëfficiënt ( $CV_k$ ), wat aangeeft hoeveel de beloning verandert.
- Potentie (Headroom): Gemeten door $P_k$ , wat aangeeft hoe ver de beloning verwijderd is van zijn theoretisch plafond (bijv. 1.0 voor correctheid).
- Mechanisme: De PSI-score $\Psi_k = \widehat{CV}_k \cdot P_k$ is hoog wanneer een beloning zowel ruisachtig (informatief) is als ruimte heeft om te verbeteren. De gewichten worden afgeleid van deze scores en gladgestreken via een Exponentiële Moving Average (EMA).
- Effect: Dit creëert een transiënt curriculum waarbij lengte-efficiëntie vroege compressie leidt. Naarmate het efficiëntiesignaal verzadigt (lage headroom), schuift de controller de optimalisatiecapaciteit automatisch naar correctheid, wat op moeilijke prompts informatief blijft.

B. Per-Probleem Online Doel-Lengte Calibratie

LEAD vervangt het globale lengtebudget door een per-prompt doel-lengte $L^*_q$ , dynamisch geschat vanuit de eigen correcte rollouts van het model.

Doelschatting: Voor een prompt $q$ wordt $L^*_q$ berekend als de gemiddelde lengte van alle correcte rollouts in de huidige batch. Als er geen correcte rollouts bestaan, wordt het doel standaard ingesteld op het maximale budget ( $B_{max}$ ), wat exploratie aanmoedigt in plaats van voortijdige compressie.
Symmetrische Efficiëntiebeloning: De lengtebeloning $r_\ell$ $r_{ℓ}$ is symmetrisch rond $L^*_q$ $L_{q}^{*}$ . Het piekt bij 1 wanneer de rollout-lengte gelijk is aan $L^*_q$ $L_{q}^{*}$ en neemt lineair af tot -1 voor afwijkingen in beide richtingen.
- Straf voor Over-Compressie: Cruciaal is dat de beloning oplossingen bestraft die te kort zijn (onder $L^*_q$ ). Dit voorkomt dat het model "shortcuts" leert of antwoordpatronen matcht die noodzakelijke redeneringsstappen omzeilen.
- Adaptiviteit: Naarmate het model een probleem beknopter leert oplossen, neemt de gemiddelde lengte van correcte rollouts af, waardoor $L^*_q$ automatisch strakker wordt zonder handmatige tussenkomst.

3. Belangrijkste Bijdragen

De paper claimt drie primaire bijdragen:

Identificatie van Uitdagingen: Het identificeert formeel twee algoritme-agnostische uitdagingen in efficiënt-redeneren RL: de noodzaak van dynamische beloningsbalans gedurende de training en adaptieve efficiëntie over variërende probleemmoeilijkheden, waarbij wordt aangetoond dat statische coëfficiënten deze niet betrouwbaar oplossen zonder taakspecifieke tuning.
Het LEAD-raamwerk: Het stelt een methode voor die online instabiliteitsgedreven beloningsgewichtering (PSI) combineert met per-probleem doel-lengte calibratie. Deze aanpak vereist geen handmatige coëfficiëntplanning of globale budgettuning.
Empirische Validatie: De methode is gevalideerd op vijf wiskundige redeneringsbenchmarks op modellen met 1,5B en 7B parameters, waarbij consistente verbeteringen in de nauwkeurigheids-efficiëntie trade-off worden aangetoond ten opzichte van state-of-the-art baselines.

4. Experimentele Resultaten

De auteurs evalueerden LEAD op vijf benchmarks (AIME 2024/25, AMC 2023, MATH-500, OlympiadBench) met behulp van DeepSeek-R1-Distill-Qwen-1.5B en 7B modellen.

Prestaties: LEAD behaalde de hoogste Accuracy-Efficiency Score (AES) onder alle geteste RL-getrainde methoden.
- Op het 1,5B-model verbeterde LEAD de nauwkeurigheid met 2,62 punten en de AES met 0,18 ten opzichte van de sterkste baseline (DRPO), terwijl de outputlengte aanzienlijk werd verminderd.
- Op het 7B-model zagen alle RL-methoden, vergeleken met het basismodel, enige regressie in nauwkeurigheid, maar LEAD vertoonde de kleinste daling en de beste AES.
Ablatiestudies:
- Dynamisch vs. Statisch Gewichteren: Dynamisch gewichten presteerde aanzienlijk beter dan statische ratio's, wat bevestigt dat de niet-stationaire aard van het trainingsproces adaptieve controle vereist.
- Doel Aggregator: Het gebruik van het gemiddelde van correcte rollouts (LEAD) presteerde beter dan het gebruik van het minimum (ShorterBetter's SOL), de mediaan, of het gemiddelde van alle rollouts. De "minimum"-aanpak veroorzaakte dalingen in nauwkeurigheid door onrealistisch agressieve doelen te stellen op basis van uitbijters, terwijl het "gemiddelde van alle" werd verdund door incorrecte trajecten.
Tokenallocatie: Analyse toonde aan dat LEAD tokens niet-uniform toewijst op basis van moeilijkheid. Het behoudt meer redeningstokens voor moeilijkere problemen (volgend op de correlatie tussen moeilijkheid en lengte van het basismodel met $\rho=0,67$ ) terwijl het eenvoudigere problemen comprimeert, in tegenstelling tot baselines die uniforme compressie toepassen.

5. Betekenis en Claims

De paper positioneert LEAD als een stap naar redeneringsmodellen die hun rekenkrachtvoetafdruk online kunnen aanpassen aan zowel probleemmoeilijkheid als optimalisatievoortgang.

Efficiëntie zonder Opoffering: De auteurs claimen dat LEAD een superieure trade-off bereikt, waarbij aanzienlijk kortere outputs worden geproduceerd dan het basismodel, terwijl de nauwkeurigheid ten opzichte van andere op efficiëntie gerichte RL-methoden wordt behouden of verbeterd.
Zelf-Calibratie: Een belangrijke betekenis is de eliminatie van handmatige hyperparameterplanning (bijv. het tunen van $\lambda$ of $B$ ). Het systeem calibreert de correctheid-efficiëntie trade-off en de doel-lengte voor elke prompt zelf.
Beperkingen: De auteurs merken bescheiden op dat LEAD is ontworpen voor settings waar correctheid betrouwbaar kan worden geverifieerd (bijv. wiskunde). Het uitbreiden naar open-ended generatie of subjectieve taken vereist mogelijk taakspecifieke beloningsmodellen. Bovendien optimaliseert LEAD het beleid tijdens de training maar dwingt het geen hard tokenbudget op het moment van inferentie af; het leert efficiënt gedrag in plaats van te fungeren als een controller op het moment van implementatie.

Kortom, LEAD adresseert de verbaalheid van grote redeneringsmodellen door leer signalen dynamisch in balans te brengen en redeneringsbudgetten per probleem aan te passen, wat resulteert in efficiëntere redeneringstrajecten die geen afbreuk doen aan de correctheid.