💬 NLP

EAGer: Entropy-Aware GEneRation for Adaptive Inference-Time Scaling

EAGer is een trainingsvrije, entropie-bewuste schaalingsmethode voor de inferentietijd die computatiemiddelen dynamisch toewijst door redeneringspaden uitsluitend bij tokens met hoge onzekerheid te vertakken, waardoor het tokenverbruik tot 64% wordt gereduceerd terwijl de Pass@k-prestaties op complexe redeneerbenchmarks aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

Gepubliceerd 2026-05-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een leraar bent die een wiskundetoets geeft aan een klas met AI-studenten. Het doel is het juiste antwoord te krijgen.

Traditioneel geef je de AI om zeker te zijn van het juiste antwoord de opdracht: "Geef me niet slechts één antwoord. Schrijf 32 verschillende oplossingen voor elke vraag, ongeacht hoe makkelijk of moeilijk de vraag is." Vervolgens bekijk je alle 32 antwoorden en kies je het beste.

Dit heet Full Parallel Sampling (Volledige Parallelle Steekproef). Het werkt, maar het is ongelooflijk verspillend.

Het probleem: Als de vraag simpel is (zoals "2+2=?"), zal de AI waarschijnlijk exact hetzelfde antwoord 32 keer opschrijven. Je hebt dan 31 sets hersenkracht verspild aan een vraag die er maar één nodig had.
De kosten: Dit verbrandt een enorme hoeveelheid elektriciteit en computertijd, vooral wanneer de AI vastloopt op een echt moeilijk probleem en vele verschillende paden moet proberen om de oplossing te vinden.

Enter EAGER: De slimme, adaptieve leraar

Het artikel introduceert EAGER (Entropy-Aware GEneRation). Denk aan EAGER als een slimme leraar die tijdens het denken van de AI naar diens "vertrouwensmeter" kijkt.

Hier is hoe EAGER werkt, met een eenvoudige analogie:

1. De Vertrouwensmeter (Entropie)

Stel je voor dat de AI door een doolhof loopt.

Lage Entropie (Hoog vertrouwen): De AI loopt door een rechte, goed verlichte gang. Het weet precies welke kant op moet. Het zegt: "Ik weet zeker dat dit het pad is."
Hoge Entropie (Laag vertrouwen): De AI komt bij een kruispunt in de mist. Het is onzeker welke kant op moet. Het zegt: "Hmm, ik kan linksaf, of misschien rechts? Ik weet het niet zeker."

2. De Strategie: Alleen vertakken wanneer je vastloopt

In plaats van blindelings 32 antwoorden te schrijven, zegt EAGER tegen de AI:

Wanneer de AI zeker is (Lage Entropie): "Blijf rechtdoor lopen. Verspil geen tijd aan het proberen van nieuwe paden. Maak deze zin gewoon af."
Wanneer de AI in de war is (Hoge Entropie): "Stop! Dit is een lastig punt. Laten we vertakken. Maak hier direct een paar nieuwe versies van het antwoord om verschillende mogelijkheden te verkennen."

Dit is als een detective die een misdaad oplost. Als de aanwijzingen duidelijk zijn, hoeven ze niet elke steegje te onderzoeken. Maar wanneer ze op een verwarrende aanwijzing stuiten, splitsen ze zich plotseling op en sturen meerdere detectives naar verschillende straten om te zien wat ze vinden.

3. De "Begrotings"-truc

Het artikel noemt een "begroting" aan computerkracht.

Oude manier: Besteed de hele begroting aan elke vraag, zelfs de makkelijke.
EAGER-methode: Omdat EAGER het onnodige werk bij makkelijke vragen overslaat, bespaart het een enorm deel van zijn begroting.
Herverdeling: EAGER neemt die bespaarde energie en geeft het aan de moeilijke vragen. Als een vraag echt zwaar is, gebruikt EAGER de "bespaarde" energie om de AI zelfs meer paden dan gebruikelijk te laten proberen, specifiek waar het het meest waarschijnlijk vastloopt.

Wat hebben ze gevonden?

De onderzoekers testten dit op moeilijke wiskunde-, wetenschaps- en programmeeropgaven met verschillende AI-modellen. Hier zijn de resultaten in gewone taal:

Het is sneller en goedkoper: EAGER gebruikte tot 64% minder woorden (tokens) om antwoorden te genereren in vergelijking met de oude methode. Dit betekent dat het een enorme hoeveelheid computerkracht bespaart.
Het is slimmer: Hoewel het minder kracht gebruikte, kreeg het meer juiste antwoorden.
- In een setting waarin de AI zijn eigen werk kon controleren (zoals een wiskundetoets met een antwoordblad), verbeterde het het slagingspercentage met 37%.
- Zelfs zonder antwoordblad (gewoon gokken), verbeterde het het succes nog steeds met 12%.
Het werkt overal: Het werkte goed op kleine AI-modellen en grote modellen, en op taken in wiskunde, wetenschap en programmeren.

De Conclusie

EAGER is een "training-vrije" methode, wat betekent dat je de AI niet opnieuw hoeft te leren hoe het moet denken. Je geeft het gewoon een nieuwe set regels voor wanneer het meerdere paden moet proberen.

De Analogie Samengevat:
Als de oude methode erop neerkwam dat je 32 identieke klonen stuurde om elke puzzel op te lossen, is EAGER als het sturen van één slimme ontdekkingsreiziger die pas in meerdere klonen splitst wanneer het pad mistig en verwarrend wordt. Dit bespaart energie op de makkelijke delen en concentreert al die extra energie op de moeilijke delen, wat leidt tot betere resultaten met minder verspilling.

Technische Samenvatting: EAGER – Entropy-Aware GEneRation voor Adaptieve Inference-Time Scaling

1. Probleemstelling

De opkomst van redenerende taalmodellen (LLMs) en methoden voor schaling tijdens de inferentie heeft een paradigma gevestigd waarbij het genereren van meerdere kandidaat-sequenties vanuit één prompt de prestaties verbetert door diverse redeneringspaden te verkennen. Echter, standaardbenaderingen zoals FULL PARALLEL sampling toewijzen een vast rekenbudget (een vast aantal sequenties, $M$ ) aan elke prompt, ongeacht de moeilijkheidsgraad.

Deze uniforme toewijzing introduceert inherente inefficiënties:

Redundante Berekening: Voor eenvoudige prompts convergeren redeneringssequenties vaak naar identieke of bijna identieke oplossingen. Het opnieuw genereren van identieke voorvoegsels over meerdere parallelle paden heen verspillen rekenkracht.
Onvoldoende Exploratie: Voor complexe prompts kan het vaste budget onvoldoende zijn om de juiste oplossing te ontdekken, aangezien het model meer uitgebreide exploratie van alternatieve redeneringspaden vereist.
Inefficiëntie bij Lange CoT: Redeneringssequenties zijn lang, en een significant deel van de gegenereerde tokens zijn voorspelbare voortzettingen in plaats van echte beslispunten.

Het kernprobleem is het ontbreken van een adaptief mechanisme om rekenresources toe te wijzen op basis van de specifieke onzekerheid en moeilijkheidsgraad van elke prompt tijdens de generatie.

2. Methodologie: EAGER

De auteurs stellen EAGER (Entropy-Aware GEneRation) voor, een trainingsvrije generatiemethode die modelonzekerheid, gemeten via token-entropie per token, benut om de resource-toewijzing dynamisch te sturen. De methode werkt in twee fasen:

2.1. Kwantificering van Onzekerheid via Token-entropie

EAGER maakt gebruik van top- $K$ token-entropie als proxy voor modelonzekerheid. Bij elke generatiestap $t$ wordt de entropie $H^{(K)}_t$ berekend over de $K$ meest waarschijnlijke tokens (waarbij $K=20$ ).

Hoge Entropie: Duidt op hoge onzekerheid en een potentieel beslispunt waar meerdere redeneringspaden plausibel zijn.
Lage Entropie: Duidt op hoge zekerheid en voorspelbare voortzettingen.
Correlatie: Empirische analyse (Figuur 2) toont een significante negatieve correlatie ( $\rho \approx -0.55$ ) tussen piek-token-entropie tijdens de generatie en de uiteindelijke Pass Rate. Hoge entropiepieken correleren met lagere prestaties, wat suggereert dat dit kritieke momenten zijn die extra exploratie vereisen.

2.2. Fase 1: EAGER-init (Rekenkracht Besparen)

EAGER-init wijzigt het generatieproces om redundante berekening te vermijden:

Dynamische Vertakking: In plaats van vanaf het begin $M$ onafhankelijke sequenties te genereren, begint EAGER-init met één enkele sequentie.
Drempellogica: Bij elke tokenstap, als de entropie $H^{(K)}_t$ een vooraf gedefinieerde drempel $\theta$ overschrijdt, vertakt de huidige sequentie zich in twee nieuwe kandidaten. Het model hergebruikt de tokenverdeling maar selecteert de twee meest waarschijnlijke tokens om divergentie te garanderen.
Hergebruik van Voorvoegsels: Als de entropie onder $\theta$ ligt, gaat de generatie lineair door. Cruciaal: tokens die vóór een vertakkingspunt zijn gegenereerd, worden gedeeld over alle daaropvolgende takken, waardoor de noodzaak om identieke voorvoegsels opnieuw te genereren wordt geëlimineerd.
Beëindiging: Vertakking gaat door totdat het totale aantal actieve sequenties de limiet $M$ bereikt. Voor eenvoudige prompts kan het proces eindigen met aanzienlijk minder dan $M$ sequenties, wat aanzienlijke rekenkracht bespaart.

2.3. Fase 2: EAGER-adapt en Full EAGER (Budgetherallocatie)

Het rekenbudget dat wordt bespaard door EAGER-init (het verschil tussen het theoretische maximum $M \times |D|$ en de gegenereerde sequenties) wordt herallocatie om de prestaties op moeilijke prompts te verbeteren. Er worden twee strategieën gedefinieerd op basis van de beschikbaarheid van labels:

EAGER-adapt (Tijdens Inferentie, Zonder Labels): Bij afwezigheid van grondwaarheid identificeert de methode "verzadigende prompts"—diegenen die tijdens EAGER-init de limiet van $M$ sequenties bereiken. Deze worden verondersteld uitdagend te zijn. Het bespaarde budget wordt herallocatie aan deze prompts om verdere exploratie mogelijk te maken.
Full EAGER (Training/RLVR, Met Labels): Wanneer doellabels beschikbaar zijn (bijvoorbeeld in Reinforcement Learning met Verifiable Rewards-pijplijnen), identificeert de methode prompts waarbij EAGER-init faalde om een juiste oplossing te produceren (Pass@k = 0). Het bespaarde budget wordt herallocatie aan deze specifieke falende prompts.
- Voor onderbenutte prompts wordt de entropiedrempel $\theta$ verlaagd om vroegere vertakking te stimuleren.
- Voor verzadigende prompts wordt de generatielimiet uitgebreid tot $M + b_i$ (waarbij $b_i$ het toegewezen budget is).

3. Belangrijkste Bijdragen

Empirische Validatie van Entropie als Proxy: Het artikel demonstreert dat pieken in token-entropie per token een effectieve online indicator zijn voor de moeilijkheidsgraad van een prompt en de behoefte aan exploratie, met een sterke negatieve correlatie met de Pass Rate van het model.
Trainingsvrije Adaptieve Decoding: EAGER introduceert een nieuwe decodemethode die dynamisch de rekenkosten verlaagt (tot 65% minder tokens) terwijl de voordelen van schaling tijdens de inferentie worden behouden of verbeterd.
Adaptieve Budgettoewijzing: Het werk toont aan dat het heralloceren van bespaarde rekenkracht van gemakkelijke naar moeilijke prompts de bruikbaarheid van schaling tijdens de inferentie maximaliseert, wat prestatiewinst oplevert zonder het globale rekenbudget te verhogen.

4. Experimentele Resultaten

De auteurs evalueerden EAGER over meerdere open-source modellen (3B tot 20B parameters) en diverse benchmarks (Wiskunde: AIME 2024/2025, HMMT 2025; Wetenschap: GPQA-Diamond; Code: HumanEval Plus).

Efficiëntie: EAGER-init verlaagde consistent het tokengebruik met 40% tot 80% in vergelijking met FULL PARALLEL sampling. In veel gevallen was het totale aantal tokens minder dan de helft van de baseline.
Prestaties (Met Labels): In settings waar doellabels toegankelijk zijn (simulatie van RLVR-pijplijnen), behaalde Full EAGER tot +37% verbetering in Pass@k op AIME 2025 terwijl er 59% minder tokens werden gebruikt.
Prestaties (Tijdens Inferentie): In inferentiesettings zonder labels leverde EAGER-adapt een +12% verbetering in Pass@k en 64% minder tokens op in vergelijking met de baseline.
Robuustheid: De methode toonde consistente verbeteringen over verschillende modelgroottes en domeinen. De entropiedrempel $\theta$ bleek robuust, waarbij slechts een kleine kalibratieset (10 voorbeelden) nodig was om te generaliseren over out-of-distribution-taken.
Pareto-Frontier: Het schalen van de maximale sequentielimiet $M$ toonde aan dat EAGER de prestatie-efficiëntie Pareto-frontier verschuift, waarbij hogere nauwkeurigheid wordt bereikt bij lagere tokenkosten in vergelijking met sampling met een vast budget.

5. Betekenis en Claims

Het artikel beweert dat EAGER een fundamentele inefficiëntie in huidige paradigma's voor schaling tijdens de inferentie aanpakt: de "one-size-fits-all"-toewijzing van rekenkracht. Door de generatiestrategie te verankeren in modelonzekerheid, doet EAGER het volgende:

Vermindert Redundantie: Het voorkomt het opnieuw genereren van voorspelbare, laag-entropische voorvoegsels, die een groot deel van lange Chain-of-Thought-sequenties uitmaken.
Versterkt Exploratie: Het richt rekenresources op gebieden met hoge onzekerheid waar het model waarschijnlijk zal falen of waar diverse redeneringspaden noodzakelijk zijn.
Verlaagt Drempels: Door de rekenkosten voor het genereren van hoogwaardige redeneringssporen aanzienlijk te verlagen, maakt EAGER geavanceerde redeneercapaciteiten toegankelijker voor onderzoekers en praktici met beperkte rekenbudgetten.
Energie-efficiëntie: De reductie in tokengeneratie vertaalt zich direct naar lagere energie- en infrastructuurkosten die gepaard gaan met werklasten voor schaling tijdens de inferentie.

De auteurs positioneren EAGER niet als een wijziging in de modelarchitectuur, maar als een algemeen toepasbare, trainingsvrije generatielaag die kan worden toegepast op bestaande redenerende modellen om hun efficiëntie en effectiviteit te verbeteren.