Entropy Centroids as Intrinsic Rewards for Test-Time Scaling

1. Problemstellung

Large Language Models (LLMs) werden zunehmend durch das Sampling mehrerer potenzieller Antworten ($N$ Trajektorien) und die Auswahl der besten davon (z. B. „Best-of-N"-Auswahl) zur Laufzeit skaliert. Aktuelle Auswahlmethoden stehen vor zwei Hauptherausforderungen:

• Externe Reward-Modelle: Die Abhängigkeit von externen Reward-Modellen erfordert das Training eines separaten, hochwertigen Modells und führt zu erheblichem Rechenaufwand.
• Verrauschte intrinsische Signale: Bestehende intrinsische Signale (z. B. Token-Level-Vertrauen, Entropie oder KL-Divergenz) sind oft zu verrauscht, um zuverlässig zu sein. Token-Level-Metriken erfassen die zeitliche Struktur des Denkens nicht; ein Modell kann beispielsweise bei Berechnungstokens ein hohes Vertrauen zeigen, während es grundsätzlich bei dem übergeordneten Denkschritt unsicher ist. Darüber hinaus ignoriert eine einfache Aggregation (wie das Mittelwertbilden) die zeitlichen Dynamiken von Exploration versus Exploitation.

Das Paper sucht nach einem robusten, intrinsischen Reward-Signal, das ausschließlich aus dem eigenen Generierungsprozess des Modells abgeleitet wird und effektiv hochwertige Trajektorien über diverse Aufgaben hinweg (Mathematik, Code, Logik, Agenten) ohne externe Überwachung auswählen kann.

2. Methodik

Die Autoren schlagen ein neuartiges Framework vor, das auf der Beobachtung basiert, dass Token mit hoher Entropie (die Unsicherheit anzeigen) während der Inferenz eher in aufeinanderfolgenden Gruppen auftreten als zufällig.

A. Phase hoher Entropie (HEP)

Um über verrauschte Token-Level-Signale hinauszugehen, definieren die Autoren eine Phase hoher Entropie (HEP) als Grundeinheit der Unsicherheit.

• Definition: Eine HEP ist ein Segment der Trajektorie variabler Länge.
• Auslöser: Sie beginnt, wenn die Entropie eines Tokens einen hohen Schwellenwert ($\theta_{high}$) überschreitet.
• Beendigung: Sie endet erst, wenn $k$ aufeinanderfolgende Tokens unter einen niedrigen Schwellenwert ($\theta_{low}$) fallen.
• Bedeutung: Dies gruppiert aufeinanderfolgende unsichere Tokens zu einer kohärenten „Phase", filtert isoliertes Rauschen heraus und erfasst den Zustand der Exploration oder Verwirrung des Modells als gesamte Einheit.

B. Entropie-Schwerpunkt

Inspiriert vom physikalischen Konzept des Schwerpunkts definieren die Autoren den Entropie-Schwerpunkt, um die zeitliche Position dieser Unsicherheitsphasen zu kodieren.

• Masse ($m_n$): Die Anzahl der Tokens in der $n$-ten HEP.
• Position ($p_n$): Der Mittelpunkt der $n$-ten HEP innerhalb der gesamten Trajektorie.
• Berechnung: Der Schwerpunkt $C$ ist der gewichtete Durchschnitt der Positionen aller HEPs entlang der Trajektorie, normalisiert durch die gesamte Sequenzlänge $L$:
  $$C = \frac{\sum_{n=1}^{N} m_n \cdot p_n}{L \cdot \sum_{n=1}^{N} m_n}$$
• Interpretation:
  • Niedriger Schwerpunkt: Zeigt an, dass Unsicherheit (Exploration) früh im Denkprozess auftrat, gefolgt von einer vertrauensvollen (niedrige Entropie) Generierung. Dies korreliert mit hochwertigem Denken (früh explorieren, später konvergieren).
  • Hoher Schwerpunkt: Zeigt an, dass Unsicherheit anhielt oder spät in der Trajektorie auftrat, was darauf hindeutet, dass das Modell Schwierigkeiten hatte, das Problem zu lösen, oder gegen Ende verwirrt wurde.

C. Strategie der Auswahl des niedrigsten Schwerpunkts

Die vorgeschlagene Auswahlmethode, Niedrigster Schwerpunkt, wählt einfach die Trajektorie mit dem niedrigsten Entropie-Schwerpunktwert unter den $N$ gesampelten Kandidaten aus.

• Vorverarbeitung: Ein Schritt zur Ausreißerfilterung entfernt Trajektorien mit abnormaler Beendigung oder Kauderwelsch vor der Auswahl.
• Vorteil: Sie erfordert kein Training, keine externen Labels und funktioniert für jede Aufgabenart (einschließlich offener Codieraufgaben und Agentenaufgaben, bei denen Mehrheitsvoting versagt).

3. Hauptbeiträge

1. Modellierung der zeitlichen Unsicherheit: Das Paper identifiziert, dass das zeitliche Muster der Unsicherheit informativer ist als das Ausmaß der Unsicherheit bei einzelnen Tokens. Dies wird durch die Phase hoher Entropie (HEP) formalisiert.
2. Metrik des Entropie-Schwerpunkts: Einführung einer physikinspirierten Metrik (Schwerpunkt), die HEPs zu einem einzigen skalaren Reward-Signal aggregiert, das den „Zeitpunkt" der Modellunsicherheit repräsentiert.
3. Allgemeines intrinsisches Reward: Es wird gezeigt, dass dieses intrinsische Signal über einen weiten Bereich von Modellgrößen (14B bis 480B) und Domänen (Mathematik, Code, Logik, Agenten) effektiv ist und bestehende Baselines ohne externe Reward-Modelle übertrifft.
4. Robustheit: Die Methode erweist sich als robust gegenüber Hyperparameter-Wahlen (Schwellenwerte für die HEP-Erkennung) und stabil, wenn die Modellgröße zunimmt.

4. Experimentelle Ergebnisse

Die Autoren bewerteten die Methode an vier Benchmarks: AIME 2025/Minerva (Mathematik), Synlogic (Logik), BigCodeBench/LiveCodeBench (Code) und $\tau^2$-Bench (Agenten).

• Leistungssteigerungen: Die Methode Niedrigster Schwerpunkt übertraf Baselines (Pass@1, Greedy Decoding, Self-Certainty, Tail Confidence, Bottom Window) konsistent über alle 30 Modell-Dataset-Kombinationen hinweg.
  • Durchschnittliche Verbesserung: +5,3 % gegenüber Pass@1.
  • Agentenaufgaben: +6,8 % durchschnittliche Verbesserung (z. B. verzeichnete GPT-OSS-120B einen Gewinn von +10,1 %).
  • Mathematik/Logik: Deutliche Gewinne, z. B. +11,0 % bei AIME 2025 für GPT-OSS-120B.
• Vergleich mit Baselines:
  • Im Gegensatz zu „Self-Certainty" oder „Tail Confidence", die eine instabile Leistung zeigten (manchmal Verschlechterung der Ergebnisse), lieferte Niedrigster Schwerpunkt in jedem Setting zuverlässige Gewinne.
  • Sie übertraf Mehrheitsvoting bei Aufgaben mit kurzen Antworten und ist entscheidend auf langformatige Aufgaben (Codierung, Agenten) anwendbar, bei denen Mehrheitsvoting nicht anwendbar ist.
• Skalierungsverhalten: Die Methode zeigt eine anhaltende Skalierung ohne frühe Sättigung. Mit zunehmender Anzahl der gesampelten Trajektorien ($N$) steigt die Genauigkeit stetig an, während andere Methoden oft stagnieren oder schwanken.
• Modellgröße: Die Methode funktioniert effektiv von 14B bis 480B Parametern und beweist ihre Allgemeingültigkeit.

5. Bedeutung und Fazit

Diese Arbeit bietet einen leichtgewichtigen, annotationsfreien und generalisierbaren Ansatz für das Scaling zur Laufzeit. Indem die Autoren den Fokus von Token-Level-Rauschen auf die zeitliche Struktur der Unsicherheit (via HEPs und Schwerpunkte) verlagern, bieten sie eine praktische Lösung zur Auswahl hochwertiger Denkpfade.

• Praktische Auswirkungen: Sie eliminiert die Notwendigkeit teurer externer Reward-Modelle und macht das Scaling zur Laufzeit zugänglicher und effizienter.
• Theoretische Einsicht: Sie validiert die Hypothese, dass hochwertiges Denken einem spezifischen zeitlichen Muster folgt: frühe Exploration (hohe Entropie), gefolgt von vertrauensvoller Konvergenz (niedrige Entropie).
• Zukünftiges Potenzial: Der Entropie-Schwerpunkt kann nicht nur als Auswahlmetrik, sondern auch als intrinsisches Reward-Signal für das Training (z. B. im Reinforcement Learning) oder zur Diagnose des Modellverhaltens bei langformatiger Generierung dienen.

Zusammenfassend demonstriert das Paper erfolgreich, dass die Analyse des Zeitpunkts der Modellunsicherheit ein leistungsfähiges, intrinsisches Signal zur Verbesserung der LLM-Leistung zur Laufzeit ist.