🤖 machine learning

Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

Dit artikel stelt "Lowest Centroid" voor, een schalingsmethode voor tijdens het testen die de beste modelrespons selecteert door een "Entropie-Centroid" te berekenen op basis van de temporele clustering van tokens met hoge entropie, en toont consistente prestatieverbeteringen ten opzichte van bestaande basismethoden aan over diverse taken en modelschalen zonder dat externe beloningsmodellen nodig zijn.

Oorspronkelijke auteurs: Wenshuo Zhao, Qi Zhu, Xingshan Zeng, Fei Mi, Lifeng Shang, Yiren Feng

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenshuo Zhao, Qi Zhu, Xingshan Zeng, Fei Mi, Lifeng Shang, Yiren Feng

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: De Beste Antwoord Vinden Zonder Leraar

Stel je een zeer slimme, maar soms verwarde student voor (het AI-model). Je stelt hen een moeilijke vraag, zoals een complex wiskundeprobleem of een programmeeruitdaging. In plaats van slechts één antwoord te vragen, zeg je tegen hen: "Denk hier 64 verschillende manieren over na, en kies dan het beste antwoord."

Dit heet Test-Time Scaling. Het probleem is: Hoe weet je welke van de 64 antwoorden het beste is?

Normaal gesproken heb je een leraar nodig (een extern beloningsmodel) om elk enkel antwoord te beoordelen. Maar het inhuren van een leraar voor elke poging is duur en traag. Dit artikel stelt een slimme truc voor: Luister naar het eigen "denkruis" van de student om te beslissen of ze op het goede spoor zitten.

Het Probleem: De "Ruizige" Klas

Wanneer de student hardop denkt (tekst genereert), produceren ze een stroom van woorden. Sommige woorden worden met volledige zekerheid gezegd (lage "entropie"), en andere worden met aarzeling, twijfel, of door veel verschillende opties te proberen, gezegd (hoge entropie).

Vorige methoden probeerden het antwoord te beoordelen door te kijken naar de zekerheid van elk enkel woord.

De Fout: Dit is alsof je een hele film beoordeelt door naar één enkel frame te kijken. Soms zegt een student een woord met volledige zekerheid, zelfs als ze totaal verdwaald zijn (zoals een robot die een uit het hoofd geleerd feit opzegt). Op andere momenten aarzelen ze omdat ze diep, productief denken. Kijken naar woord-voor-woord zekerheid is te "ruizig" en verwarrend.

De Oplossing: De "Hoge Entropie Fase" (HEP)

De auteurs realiseerden zich dat verwarring niet woord voor woord gebeurt, maar in buien.

Stel je het denkproces van de student voor als een wandeling door een bos:

Lage Entropie: Zeker wandelen op een duidelijk, geplaveid pad.
Hoge Entropie: Struikelen in een dichte, mistige struikgewas waar ze niet zeker weten welke kant ze op moeten.

In plaats van naar elke enkele stap te kijken, groeperen de auteurs deze stappen in Hoge Entropie Fasen (HEP's).

Een HEP begint wanneer de student de mistige struikgewas raakt (hoge onzekerheid).
Het eindigt pas wanneer ze de mist uitlopen en weer een paar stappen op rij op een duidelijk pad lopen.

Dit verandert een rommelig, ruizig signaal in duidelijke, hanteerbare "stukken" van denken.

Het Kernidee: De "Entropie Centroid"

Nu, hoe beoordelen we de kwaliteit van het hele antwoord? De auteurs gebruiken een natuurkundig concept: Het Zwaartepunt (of Centroid).

Stel je het volledige denkproces van de student voor als een lange stok.

Elke keer dat ze vastlopen in een "mistige struikgewas" (een HEP), plaatsen we een zwaar gewicht op dat deel van de stok.
De Entropie Centroid is het punt waar de stok in evenwicht zou zijn als je hem optilt.

De Gouden Regel van dit artikel:

Een Goede Student (Lage Centroid): Ze raken vroeg in verwarring (verkenning van het mistige struikgewas aan het begin), vinden het uit, en lopen daarna zeker op het duidelijke pad voor de rest van de reis. Hun "gewicht" zit aan het begin van de stok. Het evenwichtspunt is laag (vroeg).
Een Slechte Student (Hoge Centroid): Ze beginnen zeker (denken dat ze het antwoord weten), maar raken dan vast in het mistige struikgewas vlak voor het einde, beseffend dat ze een fout hebben gemaakt. Hun "gewicht" zit aan het einde van de stok. Het evenwichtspunt is hoog (laat).

De Strategie: Wanneer de AI 64 verschillende antwoorden genereert, kiest de methode van het artikel simpelweg diegene waarbij het "evenwichtspunt" het dichtst bij het begin ligt. Het gaat ervan uit dat vroeg in verwarring raken en het vervolgens oplossen een teken is van een correct antwoord, terwijl verwarring aan het einde een teken is van falen.

Waarom Dit Belangrijk Is

Geen Leraar Nodig: Het vereist geen externe beoordelaar. Het gebruikt de eigen interne "verwarringssignalen" van het model.
Werkt Overal: De auteurs hebben dit getest op wiskunde, programmeren, logische puzzels en zelfs "agent"-taken (waarbij de AI hulpmiddelen moet gebruiken). Het werkte beter dan bestaande methoden in allemaal.
Schaalt Op: Of de AI nu klein is (14 miljard parameters) of enorm (480 miljard parameters), deze methode vindt consistent de betere antwoorden.

Samenvattende Analogie

Stel je het oplossen van een probleem voor als het rennen van een race.

De Oude Manier: Een scheidsrechter kijkt naar elke stap en roept "Goed!" of "Slecht!" gebaseerd op hoe snel je op dat exacte moment beweegt.
De Manier van het Artikel: De scheidsrechter kijkt naar je tempo.
- Als je sprint aan het begin, vertragen om hard na te denken in het midden, en dan sprinten naar de finish, heb je waarschijnlijk gewonnen. (Zekerheid aan het einde = Goed).
- Als je sprint aan het begin, maar dan struikelt en hinkt in de laatste stretch, heb je waarschijnlijk verloren. (Zekerheid aan het einde = Slecht).

De methode van het artikel kiest simpelweg de renner die vroeg struikelde maar sterk finishte, en negeert de ruizige details van elke enkele stap.

1. Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker geschaald tijdens het testen door meerdere kandidaat-antwoorden te genereren ( $N$ trajecten) en de beste te selecteren (bijvoorbeeld "Best-of-N"-selectie). Huidige selectiemethoden staan voor twee primaire uitdagingen:

Externe Beloningsmodellen: Afhankelijkheid van externe beloningsmodellen vereist het trainen van een apart, hoogwaardig model en introduceert aanzienlijke computerefficiëntie-overschrijding.
Ruwe Intrinsieke Signalen: Bestaande intrinsieke signalen (bijvoorbeeld token-niveau vertrouwen, entropie of KL-divergentie) zijn vaak te ruisig om betrouwbaar te zijn. Token-niveau-metrics falen in het vastleggen van de temporele structuur van redenering; bijvoorbeeld, een model kan hoge zekerheid vertonen op berekeningstokens, zelfs terwijl het fundamenteel onzeker is over de algehele redeneerstap. Bovendien negeert eenvoudige aggregatie (zoals gemiddelde nemen) de temporele dynamiek van exploratie versus exploitatie.

Het artikel streeft naar een robuust, intrinsiek beloningssignaal dat uitsluitend is afgeleid van het eigen generatieproces van het model en dat effectief hoogwaardige trajecten kan selecteren over diverse taken (wiskunde, code, logica, agenten) zonder externe supervisie.

2. Methodologie

De auteurs stellen een nieuw kader voor dat gebaseerd is op de observatie dat tokens met hoge entropie (die onzekerheid aangeven) de neiging hebben om zich tijdens inferentie te clusteren in opeenvolgende groepen, in plaats van willekeurig te verschijnen.

A. Fase met Hoge Entropie (HEP)

Om voorbij te gaan aan ruisige token-niveau signalen, definiëren de auteurs een Fase met Hoge Entropie (HEP) als de basiseenheid van onzekerheid.

Definitie: Een HEP is een segment van het traject met variabele lengte.
Trigger: Het begint wanneer de entropie van een token een hoge drempelwaarde ( $\theta_{high}$ ) overschrijdt.
Beëindiging: Het eindigt pas wanneer $k$ opeenvolgende tokens onder een lage drempelwaarde ( $\theta_{low}$ ) vallen.
Betekenis: Dit groepeert opeenvolgende onzekere tokens in een coherente "fase", filtert geïsoleerde ruis en vangt de toestand van exploratie of verwarring van het model als één geheel.

B. Entropie Centroid

Geïnspireerd door het natuurkundige concept van het zwaartepunt, definiëren de auteurs de Entropie Centroid om de temporele positie van deze onzekerheidsfasen te coderen.

Massa ( $m_n$ ): Het aantal tokens in de $n$ -de HEP.
Positie ( $p_n$ ): Het middelpunt van de $n$ -de HEP binnen het totale traject.
Berekening: De centroid $C$ is het gewogen gemiddelde van de posities van alle HEP's langs het traject, genormaliseerd door de totale sequentielengte $L$ :
$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$
Interpretatie:
- Lage Centroid: Geeft aan dat onzekerheid (exploratie) vroeg in het redeneerproces optrad, gevolgd door een zelfverzekerde (laag-entropische) generatie. Dit correleert met hoogwaardig redeneren (vroeg exploreren, later convergeren).
- Hoge Centroid: Geeft aan dat onzekerheid aanhield of laat in het traject optrad, wat suggereert dat het model moeite had om het probleem op te lossen of tegen het einde in verwarring raakte.

C. Strategie voor Selectie van Laagste Centroid

De voorgestelde selectiemethode, Laagste Centroid, selecteert simpelweg het traject met de laagste entropie-centroidwaarde onder de $N$ gesampelde kandidaten.

Voorverwerking: Een stap voor het filteren van uitschieters verwijdert trajecten met abnormale beëindiging of onzin voordat selectie plaatsvindt.
Voordeel: Het vereist geen training, geen externe labels en werkt voor elk type taak (inclusief open-ended coderen en agent-taken waar meerderheidsstemmen faalt).

3. Belangrijkste Bijdragen

Temporele Onzekerheidsmodellering: Het artikel identificeert dat het temporele patroon van onzekerheid informatiever is dan de grootte van de onzekerheid bij individuele tokens. Dit wordt geformaliseerd via de Fase met Hoge Entropie (HEP).
Entropie Centroid-metric: Introduceert een door de natuurkunde geïnspireerde metric (Centroid) die HEP's aggregeert tot een enkel scalaire beloningssignaal dat het "tijdstip" van modelonzekerheid vertegenwoordigt.
Algemeen Toepasbaar Intrinsiek Beloningssignaal: Demonstreert dat dit intrinsieke signaal effectief is over een breed scala aan modelgroottes (14B tot 480B) en domeinen (Wiskunde, Code, Logica, Agenten), en dat het bestaande baselines overtreft zonder externe beloningsmodellen.
Robuustheid: De methode blijkt robuust te zijn voor hyperparameterkeuzes (drempelwaarden voor HEP-detectie) en stabiel naarmate de modelgrootte toeneemt.

4. Experimentele Resultaten

De auteurs evalueerden de methode op vier benchmarks: AIME 2025/Minerva (Wiskunde), Synlogic (Logica), BigCodeBench/LiveCodeBench (Code) en $\tau^2$ -Bench (Agenten).

Prestatieverbeteringen: De Laagste Centroid-methode presteerde consistent beter dan baselines (Pass@1, Greedy Decoding, Self-Certainty, Tail Confidence, Bottom Window) over alle 30 model-datasetcombinaties.
- Gemiddelde Verbetering: +5,3% ten opzichte van Pass@1.
- Agent-taken: +6,8% gemiddelde verbetering (bijvoorbeeld GPT-OSS-120B zag een +10,1% winst).
- Wiskunde/Logica: Significante winsten, bijvoorbeeld +11,0% op AIME 2025 voor GPT-OSS-120B.
Vergelijking met Baselines:
- In tegenstelling tot "Self-Certainty" of "Tail Confidence", die onstabiele prestaties vertoonden (soms resulteert in verslechtering), bood Laagste Centroid betrouwbare winsten in elke setting.
- Het presteerde beter dan meerderheidsstemmen op korte-antwoordtaken en is, cruciaal, toepasbaar op langformaat-taken (coderen, agenten) waar meerderheidsstemmen niet toepasbaar is.
Schalingsgedrag: De methode vertoont aanhoudende schaling zonder vroege verzadiging. Naarmate het aantal gesampelde trajecten ( $N$ ) toeneemt, blijft de nauwkeurigheid gestaag stijgen, terwijl andere methoden vaak een plateau bereiken of fluctueren.
Modelgrootte: De methode werkt effectief van 14B tot 480B parameters, wat zijn generaliteit bewijst.

5. Betekenis en Conclusie

Dit werk biedt een lichtgewicht, annotatievrije en generaliseerbare aanpak voor schaling tijdens het testen. Door de focus te verschuiven van ruis op token-niveau naar de temporele structuur van onzekerheid (via HEP's en Centroids), bieden de auteurs een praktische oplossing voor het selecteren van hoogwaardige redeneerpaden.

Praktische Impact: Het elimineert de noodzaak voor dure externe beloningsmodellen, waardoor schaling tijdens het testen toegankelijker en efficiënter wordt.
Theoretisch Inzicht: Het valideert de hypothese dat hoogwaardig redeneren een specifiek temporeel patroon volgt: vroege exploratie (hoge entropie) gevolgd door zelfverzekerde convergentie (lage entropie).
Toekomstpotentieel: De Entropie Centroid kan dienen niet alleen als selectiemetric, maar ook als intrinsiek beloningssignaal voor training (bijvoorbeeld in Reinforcement Learning) of voor het diagnosticeren van modelgedrag bij generatie in langformaat.

Kortom, het artikel demonstreert succesvol dat het analyseren van het tijdstip van modelonzekerheid een krachtig, intrinsiek signaal is voor het verbeteren van de prestaties van LLM's tijdens het testen.