💬 NLP

EAGer: Entropy-Aware GEneRation for Adaptive Inference-Time Scaling

EAGer ist eine trainingsfreie, entropiebewusste Inferenzzeit-Skalierungsmethode, die Rechenressourcen dynamisch allokiert, indem sie Denkpfade nur bei Tokens mit hoher Unsicherheit verzweigt, wodurch die Token-Nutzung um bis zu 64 % reduziert und gleichzeitig die Pass@k-Leistung auf komplexen Reasoning-Benchmarks erheblich verbessert wird.

Ursprüngliche Autoren: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

Veröffentlicht 2026-05-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Daniel Scalena, Leonidas Zotos, Elisabetta Fersini, Malvina Nissim, Ahmet Üstün

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Lehrer, der einem Klassenzimmer voller KI-Schüler einen Mathetest gibt. Das Ziel ist es, die richtige Antwort zu erhalten.

Traditionell sagen Sie, um sicherzustellen, dass die KI die Antwort richtig hat: „Gib mir nicht nur eine Antwort. Schreibe 32 verschiedene Lösungen für jede einzelne Frage auf, egal wie einfach oder schwierig die Frage ist." Dann schauen Sie sich alle 32 Antworten an und wählen die beste aus.

Dies nennt man Full Parallel Sampling (vollständige parallele Stichprobenziehung). Es funktioniert, ist aber unglaublich verschwenderisch.

Das Problem: Wenn die Frage einfach ist (wie „2+2=?"), wird die KI wahrscheinlich exakt dieselbe Antwort 32 Mal schreiben. Sie haben 31 Sets an Denkleistung für eine Frage verschwendet, die nur eine benötigte.
Die Kosten: Dies verbraucht eine massive Menge an Strom und Computerzeit, insbesondere wenn die KI bei einem wirklich schwierigen Problem feststeckt und viele verschiedene Wege ausprobieren muss, um die Lösung zu finden.

Hier kommt EAGER ins Spiel: Der intelligente, adaptive Lehrer

Die Studie stellt EAGER (Entropy-Aware GEneRation) vor. Betrachten Sie EAGER als einen intelligenten Lehrer, der während des Denkprozesses den „Vertrauensmesser" der KI beobachtet.

So funktioniert EAGER, anhand einer einfachen Analogie:

1. Der Vertrauensmesser (Entropie)

Stellen Sie sich vor, die KI läuft durch ein Labyrinth.

Niedrige Entropie (hohes Vertrauen): Die KI läuft einen geraden, gut beleuchteten Flur entlang. Sie weiß genau, wohin sie gehen muss. Sie sagt: „Ich bin sicher, dass dies der Weg ist."
Hohe Entropie (niedriges Vertrauen): Die KI trifft auf eine Gabelung im Weg mit Nebel. Sie ist unsicher, wohin sie gehen soll. Sie sagt: „Hmm, ich könnte links gehen, oder vielleicht rechts? Ich bin mir nicht sicher."

2. Die Strategie: Nur verzweigen, wenn man feststeckt

Anstatt blind 32 Antworten zu schreiben, sagt EAGER der KI:

Wenn die KI zuversichtlich ist (niedrige Entropie): „Geh geradeaus weiter. Verschwende keine Zeit damit, neue Wege zu versuchen. Beende einfach diesen Satz."
Wenn die KI verwirrt ist (hohe Entropie): „Stopp! Dies ist eine knifflige Stelle. Lassen Sie uns verzweigen. Erstellen Sie hier direkt ein paar neue Versionen der Antwort, um verschiedene Möglichkeiten zu erkunden."

Das ist wie ein Detektiv, der ein Verbrechen aufklärt. Wenn die Hinweise offensichtlich sind, müssen sie nicht jede einzelne Gasse untersuchen. Aber wenn sie auf einen verwirrenden Hinweis stoßen, teilen sie sich plötzlich auf und schicken mehrere Detektive die verschiedenen Straßen hinunter, um zu sehen, was sie finden.

3. Der „Budget"-Trick

Die Studie erwähnt ein „Budget" an Rechenleistung.

Alter Weg: Das gesamte Budget für jede Frage ausgeben, auch für die einfachen.
EAGER-Weg: Da EAGER die unnötige Arbeit bei einfachen Fragen überspringt, spart es einen riesigen Teil seines Budgets.
Die Umverteilung: EAGER nimmt diese gesparte Energie und gibt sie den schwierigen Fragen. Wenn eine Frage wirklich hart ist, nutzt EAGER die „gesparte" Energie, um der KI zu erlauben, sogar mehr Wege als üblich auszuprobieren, und zwar genau dort, wo sie am ehesten feststecken wird.

Was haben sie herausgefunden?

Die Forscher testeten dies an schwierigen Mathematik-, Naturwissenschafts- und Programmieraufgaben mit verschiedenen KI-Modellen. Hier sind die Ergebnisse in einfacher Sprache:

Es ist schneller und günstiger: EAGER benötigte bis zu 64 % weniger Wörter (Tokens), um Antworten zu generieren, im Vergleich zur alten Methode. Das bedeutet, es spart eine massive Menge an Rechenleistung.
Es ist intelligenter: Obwohl es weniger Leistung verwendete, erhielt es tatsächlich mehr richtige Antworten.
- In einem Szenario, in dem die KI ihre eigene Arbeit überprüfen konnte (wie bei einem Mathetest mit Lösungsheft), verbesserte es die Erfolgsrate um 37 %.
- Selbst ohne Lösungsheft (nur durch Raten) verbesserte es den Erfolg immer noch um 12 %.
Es funktioniert überall: Es funktionierte gut bei kleinen und großen KI-Modellen sowie bei Aufgaben in Mathematik, Naturwissenschaften und Programmierung.

Das Fazit

EAGER ist eine „training-freie" Methode, was bedeutet, dass Sie die KI nicht neu lehren müssen, wie sie denken soll. Sie geben ihr lediglich einen neuen Satz von Regeln dafür, wann sie mehrere Wege ausprobieren soll.

Die Analogie zusammengefasst:
Wenn die alte Methode wie das Senden von 32 identischen Klons war, um jedes Rätsel zu lösen, ist EAGER wie das Senden eines intelligenten Entdeckers, der sich nur dann in mehrere Klone aufteilt, wenn der Weg neblig und verwirrend wird. Dies spart Energie bei den einfachen Teilen und konzentriert all diese zusätzliche Energie auf die schwierigen Teile, was zu besseren Ergebnissen mit weniger Verschwendung führt.

Technische Zusammenfassung: EAGER – Entropiebewusste GEneRation für adaptive Skalierung zur Inferenzzeit

1. Problemstellung

Der Aufstieg von Reasoning-Sprachmodellen (LLMs) und Methoden zur Skalierung zur Inferenzzeit hat ein Paradigma etabliert, bei dem die Generierung mehrerer Kandidatenfolgen aus einem einzigen Prompt die Leistung verbessert, indem diverse Reasoning-Pfade erkundet werden. Standardansätze wie FULL PARALLEL sampling weisen jedoch jedem Prompt ein festes Rechenbudget (eine feste Anzahl von Folgen, $M$ ) zu, unabhängig von der Schwierigkeit.

Diese einheitliche Zuweisung führt zu inhärenten Ineffizienzen:

Redundante Berechnung: Bei einfachen Prompts konvergieren Reasoning-Folgen oft zu identischen oder nahezu identischen Lösungen. Das erneute Generieren identischer Präfixe über mehrere parallele Pfade hinweg verschwendet Rechenleistung.
Unzureichende Exploration: Bei komplexen Prompts kann das feste Budget unzureichend sein, um die korrekte Lösung zu finden, da das Modell eine umfassendere Erkundung alternativer Reasoning-Pfade benötigt.
Ineffizienz bei langen CoT: Reasoning-Folgen sind lang, und ein erheblicher Teil der generierten Tokens sind vorhersehbare Fortsetzungen statt echter Entscheidungspunkte.

Das Kernproblem ist das Fehlen eines adaptiven Mechanismus, der Rechenressourcen basierend auf der spezifischen Unsicherheit und Schwierigkeit jedes Prompts während der Generierung zuweist.

2. Methodik: EAGER

Die Autoren schlagen EAGER (Entropy-Aware GEneRation) vor, eine trainingsfreie Generierungsmethode, die die Modellunsicherheit, gemessen über die tokenweise Entropie, nutzt, um die Ressourcenallokation dynamisch zu steuern. Die Methode arbeitet in zwei Stufen:

2.1. Quantifizierung der Unsicherheit via Token-Entropie

EAGER nutzt die Top- $K$ -Token-Entropie als Proxy für die Modellunsicherheit. Zu jedem Generierungsschritt $t$ wird die Entropie $H^{(K)}_t$ über die $K$ wahrscheinlichsten Tokens berechnet (wobei $K=20$ ).

Hohe Entropie: Zeigt hohe Unsicherheit und einen potenziellen Entscheidungspunkt an, an dem mehrere Reasoning-Pfade plausibel sind.
Niedrige Entropie: Zeigt hohe Zuversicht und vorhersehbare Fortsetzungen an.
Korrelation: Eine empirische Analyse (Abbildung 2) zeigt eine signifikante negative Korrelation ( $\rho \approx -0,55$ ) zwischen den Spitzenwerten der Token-Entropie während der Generierung und der finalen Pass-Rate. Hohe Entropiespitzen korrelieren mit geringerer Leistung, was darauf hindeutet, dass dies kritische Momente sind, die zusätzliche Exploration erfordern.

2.2. Stufe 1: EAGER-init (Rechenersparnis)

EAGER-init modifiziert den Generierungsprozess, um redundante Berechnungen zu vermeiden:

Dynamisches Verzweigen: Anstatt von Anfang an $M$ unabhängige Folgen zu generieren, beginnt EAGER-init mit einer einzigen Folge.
Schwellenwert-Logik: Bei jedem Token-Schritt, wenn die Entropie $H^{(K)}_t$ einen vordefinierten Schwellenwert $\theta$ überschreitet, verzweigt sich die aktuelle Folge in zwei neue Kandidaten. Das Modell nutzt die Token-Verteilung erneut, wählt jedoch die zwei wahrscheinlichsten Tokens aus, um Divergenz sicherzustellen.
Präfix-Wiederverwendung: Liegt die Entropie unter $\theta$ , setzt sich die Generierung linear fort. Entscheidend ist, dass Tokens, die vor einem Verzweigungspunkt generiert wurden, über alle nachfolgenden Verzweigungen hinweg gemeinsam genutzt werden, wodurch die Notwendigkeit entfällt, identische Präfixe neu zu generieren.
Beendigung: Die Verzweigung setzt sich fort, bis die Gesamtzahl der aktiven Folgen das Limit $M$ erreicht. Bei einfachen Prompts kann der Prozess mit weit weniger als $M$ Folgen enden, was erhebliche Rechenleistung spart.

2.3. Stufe 2: EAGER-adapt und Full EAGER (Budget-Neuzuweisung)

Das durch EAGER-init eingesparte Rechenbudget (die Differenz zwischen dem theoretischen Maximum $M \times |D|$ und den tatsächlich generierten Folgen) wird neu zugewiesen, um die Leistung bei schwierigen Prompts zu verbessern. Zwei Strategien werden basierend auf der Verfügbarkeit von Labels definiert:

EAGER-adapt (Inferenzzeit, keine Labels): In Abwesenheit von Ground Truth identifiziert die Methode „sättigende Prompts" – jene, die während EAGER-init das Limit von $M$ Folgen erreichen. Diese werden als herausfordernd angenommen. Das eingesparte Budget wird diesen Prompts neu zugewiesen, um weitere Exploration zu ermöglichen.
Full EAGER (Training/RLVR, mit Labels): Wenn Ziel-Labels verfügbar sind (z. B. in Pipelines für Reinforcement Learning mit Verifiable Rewards), identifiziert die Methode Prompts, bei denen EAGER-init keine korrekte Lösung produziert hat (Pass@k = 0). Das eingesparte Budget wird diesen spezifischen fehlschlagenden Prompts neu zugewiesen.
- Bei unterausgelasteten Prompts wird der Entropieschwellenwert $\theta$ gesenkt, um eine frühere Verzweigung zu fördern.
- Bei sättigenden Prompts wird das Generierungslimit auf $M + b_i$ erweitert (wobei $b_i$ das zugewiesene Budget ist).

3. Hauptbeiträge

Empirische Validierung der Entropie als Proxy: Die Arbeit zeigt, dass Spitzenwerte der tokenweisen Entropie als effektiver Online-Indikator für die Prompt-Schwierigkeit und den Bedarf an Exploration dienen und eine starke negative Korrelation mit der Modell-Pass-Rate aufweisen.
Trainingsfreie adaptive Dekodierung: EAGER führt eine neuartige Dekodierungsmethode ein, die die Rechenkosten dynamisch reduziert (bis zu 65 % weniger Tokens), während die Vorteile der Skalierung zur Inferenzzeit beibehalten oder verbessert werden.
Adaptive Budget-Allokation: Die Arbeit demonstriert, dass die Neuverteilung von eingesparter Rechenleistung von einfachen zu schwierigen Prompts die Nutzbarkeit der Skalierung zur Inferenzzeit maximiert und Leistungssteigerungen ohne Erhöhung des globalen Rechenbudgets erzielt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten EAGER über mehrere Open-Source-Modelle (3B bis 20B Parameter) und diverse Benchmarks (Mathematik: AIME 2024/2025, HMMT 2025; Wissenschaft: GPQA-Diamond; Code: HumanEval Plus).

Effizienz: EAGER-init reduzierte den Tokenverbrauch im Vergleich zum FULL PARALLEL sampling konsistent um 40 % bis 80 %. In vielen Fällen lag die Gesamtzahl der Tokens weniger als die Hälfte des Baselines.
Leistung (mit Labels): In Szenarien, in denen Ziel-Labels zugänglich sind (Simulation von RLVR-Pipelines), erzielte Full EAGER bis zu +37 % Verbesserung in Pass@k auf AIME 2025, bei gleichzeitiger Verwendung von 59 % weniger Tokens.
Leistung (Inferenzzeit): In Inferenzzeit-Szenarien ohne Labels erzielte EAGER-adapt eine +12 % Verbesserung in Pass@k und 64 % weniger Tokens im Vergleich zum Baseline.
Robustheit: Die Methode zeigte konsistente Verbesserungen über verschiedene Modellgrößen und Domänen hinweg. Der Entropieschwellenwert $\theta$ erwies sich als robust und benötigte nur einen kleinen Kalibrierungsdatensatz (10 Beispiele), um auf Out-of-Distribution-Aufgaben zu generalisieren.
Pareto-Frontier: Die Skalierung des maximalen Folgenlimits $M$ zeigte, dass EAGER die Pareto-Frontier für Leistung und Effizienz verschiebt und bei niedrigeren Token-Kosten eine höhere Genauigkeit im Vergleich zur festen Budget-Sampling erreicht.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass EAGER eine fundamentale Ineffizienz in aktuellen Paradigmen der Skalierung zur Inferenzzeit adressiert: die „Einheitslösung" bei der Zuweisung von Rechenleistung. Indem EAGER die Generierungsstrategie in der Modellunsicherheit verankert:

Reduziert es Redundanz: Es vermeidet die Neu-Generierung vorhersehbarer, niedrig-entropischer Präfixe, die einen großen Teil langer Chain-of-Thought-Folgen ausmachen.
Erhöht es die Exploration: Es lenkt Rechenressourcen auf Regionen hoher Unsicherheit, in denen das Modell wahrscheinlich versagt oder wo diverse Reasoning-Pfade notwendig sind.
Senkt es Barrieren: Durch die signifikante Reduzierung der Rechenkosten für die Generierung hochwertiger Reasoning-Spuren macht EAGER fortschrittliche Reasoning-Fähigkeiten für Forscher und Praktiker mit begrenzten Rechenbudgets zugänglicher.
Energieeffizienz: Die Reduzierung der Token-Generierung führt direkt zu niedrigeren Energie- und Infrastrukturkosten im Zusammenhang mit Workloads zur Skalierung zur Inferenzzeit.

Die Autoren positionieren EAGER nicht als Änderung der Modellarchitektur, sondern als eine allgemeine, trainingsfreie Generierungsschicht, die auf bestehende Reasoning-Modelle angewendet werden kann, um deren Effizienz und Wirksamkeit zu verbessern.