🤖 AI

When Entropy Is Not Enough: Reclaiming Lost Semantics in LLM Output Length Prediction

Dit artikel introduceert ESTP, een lichtgewicht framework dat de voorspelling van de outputlengte van LLM's verbetert door tokenentropie te combineren met op aandacht gebaseerde semantische belangsscores om meer efficiënte, lengtebewuste planning mogelijk te maken en de computationele overhead te verminderen.

Oorspronkelijke auteurs: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

Gepubliceerd 2026-08-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Feiyang Ren, Shengtao Wen, Lingbing Guo, Yu Tian, Yuanning Cui, Xiang Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie fungeren grote taalmodellen als krachtige motoren die tekst genereren, vragen beantwoorden en problemen oplossen door het volgende woord in een zin te voorspellen. Om deze motoren efficiënt op computerhardware te laten draaien, groeperen ingenieurs vaak veel verzoeken samen, vergelijkbaar met een bus die meerdere passagiers vervoert. Er ontstaat echter een hardnekkige inefficiëntie omdat de hardware elk verzoek in een groep moet behandelen alsof het de langste is, waarbij kortere antwoorden wordt aangevuld met lege ruimte om ze te laten passen. Deze verspilde ruimte vertraagt het hele systeem, vooral wanneer het model wordt gevraagd om complexe redeneringen uit te voeren of lange, gedetailleerde antwoorden te genereren. Om dit op te lossen, zoeken onderzoekers al lang naar een manier om precies te voorspellen hoe lang een antwoord zal zijn voordat het volledig is geschreven, zodat het systeem middelen nauwkeurig kan toewijzen. Voor een tijdje vertrouwde de leidende methode voor het doen van deze voorspellingen op het meten van de onzekerheid van het model, een concept dat entropie wordt genoemd, wat in essentie meet hoe onzeker het model is over zijn volgende woord.

Een nieuwe studie daagt de aanname uit dat onzekerheid alleen de beste gids is voor deze taak. De onderzoekers ontdekten dat hoewel onzekerheid nuttig is, het een cruciale laag van betekenis mist. Tijdens het proces van tekstgeneratie produceert het model een enorme reeks signalen, waarvan sommige verwarring of aarzeling aangeven, terwijl andere de belangrijkste feiten, getallen of instructies benadrukken. De voorheen gebruikte methoden, die sterk gericht waren op onzekerheid, behandelden de onzekere, overgangswoorden vaak als de meest kritieke, terwijl ze onbedoeld de solide, feitelijke tokens die de lengte en structuur van het antwoord bepalen, onderschatten. Dit is als het proberen te navigeren door een stad door alleen aandacht te besteden aan de mistige kruispunten en de duidelijke verkeersborden te negeren; het resultaat is een voorspelling die vaak fout is omdat de kerninhoud wordt gemist.

Om dit op te lossen, introduceerde het team een nieuw framework genaamd ESTP, dat de maatstaf van onzekerheid combineert met een directe blik op het belang van elk woord. In plaats van alleen te vragen hoe onzeker het model is, vraagt de nieuwe methode ook hoeveel aandacht het model aan een specifiek woord besteedt. In de architectuur van deze modellen fungeert aandacht als een spotlight, die laat zien welke woorden momenteel het denkproces aansturen. De onderzoekers ontdekten dat woorden die de meeste semantische waarde dragen — zoals belangrijke entiteiten, specifieke getallen en kerninstructies — vaak veel aandacht krijgen, zelfs wanneer het model zeer zeker is over hen. Door deze op aandacht gebaseerde belangrijkheid te combineren met het traditionele onzekerheidssignaal, creëert het nieuwe systeem een gebalanceerd beeld van de tekst. Het leert de waarde te kennen van de kritieke informatie die de lengte van het antwoord bepaalt, terwijl het tegelijkertijd de onzekere delen erkent die wijzen op de noodzaak voor meer uitwerking.

De onderzoekers testten deze aanpak op een verscheidenheid aan uitdagende taken, inclusief complexe wiskundige redeneringen en dynamische bemonsteringsscenario's, met behulp van verschillende grote taalmodellen. Ze ontdekten dat hun gecombineerde methode de lengte van de output consequent nauwkeuriger voorspelde dan de voorheen beste technieken. In veel gevallen daalde de foutmarge aanzienlijk, met name bij de complexe redeneertaken waar de vorige methoden het meest moeite hadden. De studie toonde aan dat een aanzienlijk deel van de tokens die door het oude systeem eerder werden overgewaardeerd, eigenlijk laagwaardige opvulwoorden waren, terwijl veel van de ondergewaardeerde tokens juist de feiten waren die de uiteindelijke lengte bepaalden. Door deze mismatch te corrigeren, bood het nieuwe systeem een veel duidelijker signaal aan de computerhardware.

Wanneer dit wordt geïntegreerd in een volledig systeem dat ontworpen is om deze AI-verzoeken te beheren, vertaalde de verbetering zich in tastbare voordelen in de echte wereld. Het systeem was in staat om taken efficiënter in te plannen, waardoor de hoeveelheid verspilde lege ruimte die met padding gevuld moest worden, werd verminderd. Dit leidde tot een merkbare toename in de snelheid waarmee de hardware verzoeken kon verwerken en een afname in de tijd die nodig is om taken te voltooien. De methode behaalde deze winsten zonder extra geheugen te vereisen of het model te vertragen, omdat het de interne signalen hergebruikte die het model al genereerde. De resultaten suggereren dat voor AI-systemen om echt efficiënt te worden, ze verder moeten kijken dan eenvoudige maten van onzekerheid en moeten leren de semantische belangrijkheid van de woorden die ze verwerken te herkennen. Deze verschuiving stelt de technologie in staat om complexe, langvormige redeneringen aan te pakken met een niveau van precisie dat voorheen buiten bereik lag, wat de weg vrijmaakt voor snellere en betrouwbaardere AI-diensten.

Technische Samenvatting: Wanneer Entropie Niet Genoeg Is: Het Terugwinnen van Verloren Semantiek in LLM Output Lengtevoorspelling

Probleemstelling

Efficiënt serveren van Large Language Models (LLM's) wordt frequent beperkt door het "barrel effect" (vat-effect), waarbij kortere sequenties in een batch worden opgevuld (padded) om overeen te komen met de langste sequentie, wat computationele middelen verspilt en de doorvoer verslechtert. Hoewel lengtebewuste scheduling dit kan verzachten door de outputlengtes vooraf te voorspellen, kampen bestaande voorspellingsmethoden met aanzienlijke beperkingen.

Huidige state-of-the-art benaderingen, zoals Entropy-Guided Token Pooling (EGTP), vertrouwen primair op token-specifieke entropie om belangrijkheid te bepalen. Echter, dit paper identificeert een systematische blinde vlek: entropie meet generatie-onzekerheid in plaats van semantische belangrijkheid. Gevolgelijk worden tokens met een hoge semantische waarde (bijv. cruciale entiteiten, restricties en instructies) vaak ondergewogen omdat ze een lage entropie (hoge zekerheid) vertonen. Omgekeerd worden transitionele woorden of stopwoorden met een hoge entropie juist overdreven versterkt. Deze mismatch leidt tot het verlies van kritieke semantische signalen, wat de betrouwbaarheid van lengtevoorspellingen vermindert, met name in complexe redenering en dynamische Reinforcement Learning (RL) scenario's.

Methodologie: ESTP Framework

De auteurs stellen ESTP (Entropy-and-Semantic Token Pooling) voor, een lichtgewicht framework dat is ontworpen om verloren semantiek te herwinnen zonder significante computationele overhead te introduceren. De methode werkt in drie hoofdfasen:

Attention-gebaseerde Semantische Belangrijkheidsmodellering:
In plaats van uitsluitend te vertrouwen op entropie, berekent ESTP een semantische score ( $S_j$ ) voor elk token $j$ door de gemiddelde attention-waarden te nemen die van alle andere geldige tokens uit de laatste laag van de LLM worden ontvangen. Dit maakt gebruik van de observatie dat tokens met een hoge aandacht correleren met semantische belangrijkheid.
$S_j = \frac{1}{N} \sum_{i=1}^{N} A_{ij}$
waarbij $A_{ij}$ de attention-waarde is van token $i$ naar token $j$ .
Semantiek-Entropie Gezamenlijke Gewichtsfusie:
Het framework combineert de semantische score ( $S_i$ ) met de entropie van het token ( $H_i$ ) om een verenigde belangrijkheidsscore ( $T_i$ ) te produceren:
$T_i = \lambda_1 S_i + \lambda_2 H_i$
Deze scores worden genormaliseerd via een softmax-functie om de uiteindelijke pooling-gewichten ( $e_i$ ) te genereren, waarbij een temperatuurcoëfficiënt $\alpha$ wordt geïntroduceerd om de concentratiegraad van de distributie aan te passen:
$e_i = \frac{\exp(T_i)}{\sum_{j=1}^{n}\exp(T_j)}$
Deze fusie stelt het model in staat om onzekerheidssignalen te balanceren met semantische inhoud.
Soft-Label Distributie Regressie:
Om de heavy-tailed aard van outputlengte-distributies aan te pakken, gebruikt ESTP een prediction head die lengtevoorspelling behandelt als een distributieprobleem. Doellengtes worden gediscretiseerd in bins, en een soft waarschijnlijkheidsdistributie wordt gegenereerd. Het model wordt geoptimaliseerd met een gecombineerde loss-functie van Cross-Entropy (voor classificatiestabiliteit) en Mean Squared Error (voor precieze regressie), waardoor het zowel de vorm van de distributie als de exacte lengteverwachting kan leren.

Cruciaal is dat ESTP de hidden states en attention-gewichten hergebruikt die worden gegenereerd tijdens de standaard LLM prefill-fase, wat een verwaarloosbare toevoeging van VRAM-overhead en inferentie-latentie betekent.

Belangrijkste Bijdragen

Empirische Verificatie van Misalignment: Het paper levert kwantitatief bewijs dat entropie en semantische belangrijkheid vaak niet op één lijn liggen. In een diagnostische studie werd vastgesteld dat meer dan 20% van de tokens in de top 40% van de hoog-entropie groep een lage semantische belangrijkheid had, terwijl een vergelijkbaar deel van de laag-entropie tokens een hoge semantische waarde bezat.
Het ESTP Framework: Een nieuw, lichtgewicht pooling-mechanisme dat entropie fuseert met attention-gebaseerde semantische scores. Het herstelt de semantische signalen die door entropie-alleen methoden worden gemist, en doet dit met minimale extra kosten door interne LLM-activaties te hergebruiken.
Uitgebreide Evaluatie: Uitgebreide experimenten over vier LLM-backbones (Qwen2.5-3B/7B, Llama3.2-1B/3B) en drie uitdagende scenario's (Long-Sequence, Complex Reasoning, Dynamic RL Sampling) op de ForeLen benchmark.

Experimentele Resultaten

Voorspellingsnauwkeurigheid: Op de ForeLen benchmark presteert ESTP consistent beter dan baselines, inclusief EGTP, TRAIL en externe hulpmodellen (SSJF-Reg/MC). Het bereikt de laagste Mean Absolute Error (MAE) over alle modellen, waarbij de gemiddelde MAE met meer dan 9 punten wordt verlaagd ten opzichte van EGTP, met verbeteringen van meer dan 20 punten in RL-scenario's.
Robuustheid: ESTP vertoont een lagere Root Mean Square Error (RMSE), wat duidt op een betere afhandeling van grote voorspellingsafwijkingen.
Systeemefficiëntie: Wanneer geïntegreerd met een lengtebewuste scheduler in end-to-end systeamtests (met behulp van vLLM), verbetert ESTP de doorvoer aanzienlijk en vermindert het de padding-ratio. Bijvoorbeeld, in Reasoning-scenario's daalde de padding-ratio van 1.18 (EGTP) naar 0.37 (ESTP), en de gemiddelde Job Completion Time (JCT) werd verlaagd.
Ablatie-studies: Experimenten bevestigen dat zowel entropie- als semantische kenmerken essentieel zijn; het gebruik van slechts één van beide levert inferieure resultaten op vergeleken met de gezamenlijke aanpak.

Betekenis en Beperkingen

Het paper positioneert ESTP als een praktische en effectieve bouwsteen voor lengtebewuste LLM-serving systemen. Door de semantische blinde vlek van entropie-alleen methoden aan te pakken, maakt het nauwkeurigerere toewijzing van middelen en scheduling mogelijk, wat de hardware-benutting en doorvoer direct verbetert.

De auteurs erkennen specifieke beperkingen:

De attention-gebaseerde proxy voor semantische belangrijkheid is correlationeel in plaats van causaal.
De methode is afhankelijk van interne activaties, wat de directe toepasbaarheid op closed-source modellen beperkt waar deze staten niet toegankelijk zijn.
Toekomstig werk wordt gesuggereerd om causale attributie, black-box adaptatie en multi-feature fusie te verkennen voor bredere scenario-robuustheid.