💬 NLP

Demystifying Entropy-based Selection for Chain-of-Thought Compression in Large Reasoning Models

Dit artikel daagt de effectiviteit van entropie-gebaseerde pruning uit voor het comprimeren van Chain-of-Thought-redeneringen, waarbij wordt aangetoond dat dergelijke heuristieken geen voordeel bieden ten opzichte van willekeurige selectie en dat taalkritische informatie verspreid is over de gehele redeneerketen in plaats van geconcentreerd in specifieke tokens die identificeerbaar zijn door entropiemetrieken.

Oorspronkelijke auteurs: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

Gepubliceerd 2026-08-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sara Candussio, Daniel Scalena, Luca Bortolussi, Elisabetta Fersini, Malvina Nissim, Gabriele Sarti

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante maar praatzieke robot probeert te leren hoe hij een lastige puzzel moet oplossen. Om het juiste antwoord te krijgen, spuwt de robot niet zomaar een oplossing uit; hij praat eerst met zichzelf door een lange lijst met gedachten, berekeningen en "aha!"-momenten op te schrijven. Deze interne monoloog wordt "Chain-of-Thought" genoemd. Het is alsof een detective elke aanwijzing opschrijft, zelfs de aanwijzingen die overduidelijk lijken, voordat hij de crimineel vangt. Hoewel deze methode de robot veel slimmer maakt, maakt het hem ook erg traag en hongerig naar computergeheugen, omdat de lijst met gedachten ongelooflijk lang kan worden. Wetenschappers proberen nu uit te vogelen hoe ze deze lijst kunnen inkorten zonder het genie van de detective te verliezen. Ze willen weten: kunnen we gewoon de saaie delen van het verhaal verwijderen en alleen de opwindende, belangrijke stukjes bewaren?

Een tijdje dachten veel onderzoekers dat ze een magisch filter hadden gevonden. Ze dachten dat ze door te kijken naar hoe "verrast" de robot was door zijn eigen volgende woord (een concept genaamd "entropie"), konden bepalen welke gedachten cruciaal waren en welke slechts opvulling waren. Het idee was dat als de robot heel zelfverzekerd was over wat hij daarna zou gaan zeggen (lage verrassing), dat deel waarschijnlijk gewoon saaie herhaling was en kon worden weggehaald. Als de robot onzeker was (hoge verrassing), was dat het moment van echt nadenken en moest dat worden bewaard. Het klonk als een perfecte manier om het dagboek van de robot in te krimpen tot een paar pagina's terwijl alle goede stukjes behouden bleven. Maar is dit magische filter werkelijkheid, of is het slechts een gelukkige gok?

Dit artikel is een reality check voor dat idee. De auteurs, een team van nieuwsgierige wetenschappers, besloten dit "entropie-filter" te testen tegenover een veel simpelere, dommere methode: gewoon willekeurig gedachten verwijderen. Ze behandelden de lange redeneringsketens van de robot als een rommelige kamer en probeerden deze op te ruimen met twee verschillende strategieën. De eerste strategie was de "slimme" strategie, waarbij het entropie-filter werd gebruikt om te kiezen wat behouden moest blijven. De tweede was de "willekeurige" strategie, waarbij ze gewoon een handvol zinnen of woorden pakten om te bewaren, zonder rekening te houden met de inhoud. Ze testten dit op een verscheidenheid aan robots (verschillende AI-modellen) en gaven ze verschillende soorten huiswerk, inclusief wiskundeproblemen, logische puzzels en wetenschappelijke vragen.

De resultaten waren een behoorlijke plotwending. Toen de wetenschappers naar hele zinnen keken, was het "slimme" entropie-filter niet beter dan de willekeurige gok. Sterker nog, de willekeurige methode deed vaak net zo goed, of zelfs beter, aan het behouden van de hoge prestaties van de robot. Het blijkt dat de "verrassingsgraad" van een zin geen betrouwbare kaart is naar waar de belangrijke informatie zich verbergt. De auteurs suggereren dat de reden waarom eerdere studies dachten dat entropie werkte, was dat ze voorn{%}rlijk wiskundeproblemen testten, waarbij de "belangrijke" woorden vaak gewoon getallen zijn.

Toen ze inzoomden om naar individuele woorden (tokens) te kijken in plaats van naar hele zinnen, kwam er een vreemd patroon aan het licht. Bij wiskundetoetsen leek het behouden van de woorden met een lage verrassing inderdaad te helpen. Maar de auteurs groeven dieper en realiseerden zich dat dit niet kwam omdat die woorden "denk"-woorden waren. Het was omdat, in wiskundeproblemen, de woorden met een lage verrassing bijna altijd getallen waren (zoals "2", "7" of "5"). Omdat getallen voorspelbaar zijn in de wiskunde, hebben ze een lage entropie. Het filter vond niet de "slimme" delen; het koos per ongeluk gewoon de getallen. Wanneer de wetenschappers de getallen uit de mix verwijderden, stopte het lage-entropie-filter met werken en werd het net zo slecht als de willekeurige gok.

Om dit te bewijzen, gebruikten ze een speciale truc genaamd "activation patching". Stel je voor dat je de hersenactiviteit van de robot uit de volledige, lange versie van het verhaal neemt en deze in de korte, gecomprimeerde versie plakt. Dit laat hen zien of de ontbrekende context daadwerkelijk het probleem was. Ze ontdekten dat zelfs met deze brein-versterkende truc, het entropie-filter het willekeurige method niet kon verslaan, tenzij het specifiek de getallen in wiskundeproblemen behield. Bij niet-wiskundige taken, zoals logische puzzels, faalde het entropie-filter volledig en presteerde het niet beter dan bij toeval.

Dus, wat is de belangrijkste les? Het artikel suggereert dat het idee om "verrassing" (entropie) te gebruiken om automatisch de belangrijkste delen van het denkproces van een robot te vinden en te bewaren, grotendeels een mythe is. De semantische inhoud — de werkelijke betekenis en logica van de redenering — is niet geconcentreerd in een paar speciale, laag-entropie woorden die een simpele regel kan vinden. In plaats daarvan is de belangrijke informatie verspreid over de hele redeneerketen. Hoewel het behouden van getallen helpt bij wiskunde, is er geen universeel "magisch filter" dat de redeneerketen van een robot kan comprimeren zonder de intelligentie te verliezen. De beste manier om de lijst in te korten is misschien gewoon om meer ervan te bewaren, of om een slimmere manier te vinden om te snijden die niet afhankelijk is van het raden welke woorden saai zijn.

Technische Samenvatting: Het ontmaskeren van entropie-gebaseerde selectie voor Chain-of-Thought compressie

Probleemstelling

Inference-time schaling via Chain-of-Thought (CoT) redeneren heeft de nauwkeurigheid van Large Language Models (LLM's) op complexe taken verbeterd, maar resulteert vaak in excessief lange redeneersporen die contextvensters uitputten. Om dit te mitigeren, stellen recente literatuur entropie-gebaseerde pruning-strategieën voor, waarbij wordt verondersteld dat token- of zin-entropie een betrouwbare proxy is voor relevantie. Specifiek suggereren sommige werken dat het behouden van tokens met een hoge entropie (die redeneervertakkingen markeren) terwijl tokens met een lage entropie worden weggegooid (die als redundant worden beschouwd), terwijl anderen het tegenovergestelde beweren: dat tokens met een lage entropie semantische inhoud dragen en behouden moeten worden.

Deze claims missen echter vaak vergelijking met random baselines en worden voornamelijk getest op wiskundige benchmarks. Dit roept kritische vragen op: Is entropie werkelijk indicatief voor redeneerinhoud, of is het waargenomen succes slechts een resultaat van generieke compressie? Generaliseert dit verder dan wiskundig redeneren?

Methodologie

De auteurs voeren een uitgebreide robuustheidsbeoordeling uit van entropie-gebaseerde selectiemethoden onder diverse condities:

Modellen: Zes modellen verspreid over drie families (gpt-oss, Gemma-4, Qwen3) en variërende parameterschalen (4B tot 120B).
Datasets: Wiskundig redeneren (AIME 2024–2026, MATH-500), logische puzzels (ZebraLogic) en algemene wetenschappelijke vragen (GPQA-Diamond).
Selectiecriteria:
- Zinniveau: Rangschikking op basis van gemiddelde token-entropie (laag vs. hoog), fractie numerieke tokens en random uniforme sampling.
- Tokenniveau: Vergelijkbare entropie-gebaseerde rangschikkingen, plus specifieke selectors voor numerieke tokens, newline-tekens en end-of-sentence markers.
Compressieprotocollen:
1. Unpatched (Alleen tekst): Het model genereert een antwoord op basis van enkel de gecomprimeerde tekstuele trace.
2. Patched (Activatie-bewust): Het model genereert vanuit de gecomprimeerde tekst, maar maakt gebruik van gecachte verborgen toestanden (activaties) uit de originele, volledige trace op de posities die overeenkomen met de behouden tokens. Dit isoleert het effect van inhoudsbehoud van het verlies van contextuele fluentie.
Evaluatie: Prestaties worden gemeten aan de hand van Relative Performance Retention (RPR) en de Area Under the Curve (AUC) van RPR over retentiegraad, vergeleken met een random baseline ( $\Delta$ AUC).

Belangrijkste Resultaten

1. Zinniveau Pruning: Entropie biedt geen voordeel

Over alle modellen, schalen en redeneerdomeinen (wiskundig en niet-wiskundig) heen, presteert random zinsselectie consistent beter dan of gelijk aan zowel de lage-entropie als de hoge-entropie selectiestrategieën.

Bij matige tot hoge compressiegroottes behoudt random pruning 78–90% van de volledige CoT-prestaties.
Entropie-gebaseerde strategieën (zowel laag als hoog) falen er over het algemeen in om noodzakelijke inhoud te isoleren, waarbij de prestaties vaak significant onder de random baselines dalen, hoewel specifieke uitzonderingen bestaan waar ze de random prestaties evenaren of licht overtreffen.
Dit suggereert dat op zinniveau entropie geen betrouwbaar signaal is voor redeneelrelevantie.

2. Tokenniveau Pruning: De "Numerieke Token" Confound

Op tokenniveau ontstaat een schijnbaar voordeel voor lage-entropie selectie alleen op wiskundige benchmarks, maar dit komt niet door de entropie zelf.

Het Mechanisme: In wiskundige CoT's vertonen numerieke tokens (cijfers) inherent een zeer lage entropie omdat de vocabulaire-opties van het model beperkt zijn (0–9) wanneer de context een getal impliceert.
Bewijs: Wanneer numerieke tokens expliciet worden uitgesloten van de lage-entropie selector ("low-entropy no numbers"), daalt de prestatie scherp, vaak onder de random selectie. Omgekeerd presteert een selector die specifiek op numerieke tokens is gericht ("numbers") vergelijkbaar met of beter dan de lage-entropie selectie.
Generalisatie: Op niet-wiskundige taken (ZebraLogic, GPQA) verdwijnt het voordeel van lage-entropie tokenselectie volledig en presteert het op gelijke voet met random selectie.

3. De Rol van Activation Patching

De studie onthult dat text-only compressie vaak onleesbare of syntactisch gebroken traces produceert (bijv. reeksen cijfers zonder operatoren).

Patching Effect: Wanneer de activaties van de behouden tokens worden gepatcht van de volledige trace, kan het model bijna perfecte prestaties herstellen, zelfs bij extreme compressiegrotes.
Inhoud vs. Context: Patching stelt het model in staat de semantische inhoud van de behouden tokens (specifiek getallen in wiskundige taken) te gebruiken zonder de omliggende syntactische context nodig te hebben.
Selector Efficiëntie: Met patching is de "numbers" selector het meest efficiënt en herstelt de volledige prestaties met slechts 10–20% van de tokens. Lage-entropie selectie verbetert ook, maar dankt zijn succes grotendeels aan de inclusie van deze numerieke tokens. Andere selectors (hoge-entropie, lage-entropie zonder getallen) vertonen geen vergelijkbaar herstel.

4. Herwaardering van Eerdere Claims

Hoge-Entropie Verwijdering: Claims dat het verwijderen van hoge-entropie tokens de nauwkeurigheid verbetert, worden toegeschreven aan de overlap tussen hoge-entropie verwijdering en het behoud van numerieke (lage-entropie) tokens in wiskundige contexten, in plaats van een ruisreductiemechanisme.
Lage-Entropie Redundantie: Hoewel het artikel bevestigt dat pruning-strategieën kunnen leiden tot verbeterde prestaties (het evenaren of overtreffen van de volledige trace nauwkeurigheid in sommige gevallen), demonstreert het dat random selectie dezelfde resultaten behaalt bij vergelijkbare of zelfs hogere compressiegrotes. Daarom wordt de claim dat lage-entropie stappen uniek redundant zijn, niet ondersteund; de geobserveerde winsten zijn niet specifiek voor entropie-gebaseerde pruning, maar zijn ook haalbaar via random selectie, zij het met mogelijke verschillen in efficiëntie.

Betekenis en Conclusies

Het artikel concludeert dat entropie geen generaliseerbaar signaal is voor het identificeren van de semantische inhoud van een redeneerspoor.

Weerlegging van Entropie als Heuristiek: Het vermeende succes van entropie-gebaseerde compressie in eerdere literatuur is grotendeels een spoor van een schijncorrelatie, gedreven door de specifieke eigenschappen van wiskundige taken (waar getallen lage entropie hebben en inhoudsrijk zijn).
Distributie van Informatie: Taakrelevante informatie is niet geconcentreerd in een kleine set entropie-identificeerbare tokens. In plaats daarvan is deze verdeeld over de volledige redeneerketen.
Compressie Realiteit: Effectieve compressie vereist het behouden van tokens met betekenisvolle semantische inhoud (zoals getallen in wiskunde) en cruciaal het bewaren van de contextuele activaties die daarmee verbonden zijn. Eenvoudige tekstgebaseerde pruning op basis van entropie slaagt er niet in deze complexiteit te vatten.

De auteurs benadrukken dat hun bevindingen de premisse uitdagen dat entropie als een universele proxy voor redeneelrelevantie kan worden gebruikt, wat suggereert dat toekomstige compressiemethoden verder moeten kijken dan eenvoudige entropie-metrieken om de werkelijke semantische drijvers van redeneren te identificeren en te bewaren.