💬 NLP

Inference Time Optimization with Confidence Dynamics

Dieser Artikel stellt Confidence Dynamic Gain (CDG) vor, eine neuartige Optimierungsmethode zur Laufzeit, die die unterschiedlichen Konfidenzverlaufsmuster korrekter im Vergleich zu inkorrekten Denkpfade nutzt, um die Antwortauswahl und die Leistung über mehrere große Sprachmodelle und mathematische Benchmarks hinweg signifikant zu verbessern.

Ursprüngliche Autoren: Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yu Wang, Minghao Liu, Jiayun Wang, Jinrui Huang, Ankit Shah, Wei Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bitten einen sehr klugen, aber manchmal übermütigen Schüler, ein schwieriges Mathematikproblem zu lösen. Sie bitten ihn, es 500 Mal im Kopf zu lösen und dabei für jeden Versuch jeden Schritt seines Denkens aufzuschreiben. Anschließend müssen Sie aus diesen 500 Versuchen die eine beste Antwort auswählen.

Traditionell würde man einfach eine „Mehrheitsabstimmung" verwenden. Wenn 200 Schüler sagen, die Antwort sei „42" und 199 sagen „43", wählt man „42", unter der Annahme, dass die Menge meist recht hat. Doch was, wenn die 199 Schüler, die „43" sagten, bis zum Ende tatsächlich viel sicherer waren, während die 200 Schüler, die „42" sagten, zwar zu Beginn selbstbewusst waren, aber im Verlauf verwirrt und unsicher wurden?

Dieser Artikel stellt eine neue Methode zur Auswahl des Gewinners vor, die Confidence Dynamic Gain (CDG) (Vertrauensdynamischer Gewinn) genannt wird. So funktioniert sie, unter Verwendung einfacher Analogien:

1. Das Problem: Die „statische" Wertungstafel

Aktuelle Methoden betrachten das finale Vertrauen eines Schülers wie einen einzelnen Schnappschuss. Sie fragen vielleicht: „Wie sicher waren Sie im Durchschnitt?" oder „Wie sicher waren Sie am ganz Ende?"

Der Fehler: Dies ignoriert die Reise. Ein Schüler könnte zu Beginn sehr selbstbewusst sein, auf halbem Weg erkennen, dass er einen Fehler gemacht hat, und am Ende sehr unsicher sein. Ein anderer Schüler könnte zu Beginn unsicher sein, die Logik durchdringen und am Ende sehr selbstbewusst sein. Traditionelle Methoden übersehen diesen Unterschied oft.

2. Die Entdeckung: Die „Vertraenskurve"

Die Forscher beobachteten 500 verschiedene Denkpfade (Traces) für dasselbe Problem über mehrere verschiedene KI-Modelle hinweg. Sie bemerkten ein überraschendes Muster:

Der korrekte Pfad: Wenn die KI die Antwort richtig hat, wächst ihr Vertrauen in der Regel, während sie vom ersten zum letzten Schritt fortschreitet. Sie beginnt mit einem „vielleicht" und endet mit einem „definitiv".
Der falsche Pfad: Wenn die KI die Antwort falsch hat, schrumpft ihr Vertrauen oft oder bleibt flach. Sie mag zu Beginn selbstbewusst sein, aber während sie weiter argumentiert, wird sie „zweifelhaft" oder verwirrt, obwohl sie dennoch eine falsche Antwort ausgibt.

Die Analogie: Stellen Sie sich einen Wanderer vor, der einen Berg erklimmt.

Korrekter Wanderer: Startet am Fuß (geringes Vertrauen), findet den richtigen Pfad und wird, je höher er steigt, klarer im Blick und sicherer, dass er auf dem richtigen Weg ist.
Falscher Wanderer: Startet am Fuß, nimmt eine falsche Abzweigung und wird, je höher er steigt, von nebligem und verwirrendem Pfad umgeben. Er merkt, dass er sich verirrt hat, geht aber trotzdem weiter und endet mit geringem Vertrauen auf einem falschen Gipfel.

3. Die Lösung: Der „dynamische Gewinn"-Score

Der Artikel schlägt ein neues Wahlsystem vor, das nicht nur Stimmen zählt, sondern die Veränderung des Vertrauens betrachtet.

Funktionsweise: Für jede Antwort berechnet das System den „Confidence Dynamic Gain". Dies ist einfach: (Vertrauen am Ende) minus (Vertrauen am Anfang).
Die Regel: Wenn das Vertrauen einer Antwort während des Denkprozesses signifikant gestiegen ist, erhält sie einen Bonus-Score. Wenn das Vertrauen gesunken ist, wird sie bestraft.

4. Das Ergebnis: Ein besserer Gewinner

Als die Forscher dies an schwierigen Mathematikwettbewerben (wie AIME und HMMT) testeten, wählte diese neue Methode häufiger die richtige Antwort aus als die alte „Mehrheitsabstimmung" oder andere Vertrauensprüfmethoden.

Sie filterte erfolgreich „Halluzinationen" (selbstbewusst klingende, aber falsche Antworten) heraus, da diese falschen Antworten oft einen Vertrauensabfall zeigten, sobald die Argumentation komplex wurde.
Sie verstärkte die richtigen Antworten, da diese einen stetigen Anstieg der Gewissheit zeigten.

Warum passiert das? (Die Theorie)

Die Autoren schlagen vor, dass dies aufgrund der Art und Weise geschieht, wie diese KI-Modelle trainiert werden.

Der „Gruppen"-Effekt: Wenn das Modell trainiert wird, lernt es, dass es nur eine richtige Antwort gibt (die Ground Truth). Daher konvergieren alle „korrekten" Denkpfade schließlich auf dieselbe einzelne Antwort, was das Modell am Ende sehr selbstbewusst macht.
Die „unordentlichen" falschen Pfade: Es gibt unendlich viele Möglichkeiten, eine Antwort falsch zu bekommen. Die „falschen" Denkpfade sind verstreut und vielfältig. Da sie nicht alle zum selben falschen Punkt führen, erhält das Modell nie ein starkes, einheitliches Signal, am Ende selbstbewusst zu sein. Es bleibt verwirrt oder verliert das Vertrauen.

Zusammenfassung

Kurz gesagt lehrt uns dieser Artikel, dass wie sich das Vertrauen einer KI im Laufe der Zeit verändert, ein besseres Signal für die Wahrheit ist als nur, wie selbstbewusst sie am Ende ist. Indem wir Antworten belohnen, die zu ihrer Gewissheit „hineinwachsen", und diejenigen bestrafen, die „ihren Weg verlieren", können wir deutlich bessere Ergebnisse aus dem KI-Reasoning erzielen, ohne die Modelle neu trainieren zu müssen.

Technische Zusammenfassung: Optimierung der Inferenzzeit mit Konfidenzdynamik

Problemstellung

Während Inferenzzeit-Optimierungstechniken wie Best-of-N-Sampling und wiederholtes Sampling die推理fähigkeiten von Large Language Models (LLMs) erheblich verbessert haben, übersehen bestehende Strategien oft die kritische Rolle der Unsicherheitsdynamik des Modells. Aktuelle State-of-the-Art-Ansätze, wie Mehrheitsvoting oder konfidenzgewichtete Abstimmung (z. B. DeepConf), verlassen sich auf statische Konfidenzmaße, die Informationen über den gesamten推理pfad aggregieren (z. B. durchschnittliche Perplexität oder sequenzspezifische Wahrscheinlichkeit). Diese Methoden behandeln alle Pfade gleich oder gewichten sie basierend auf einem einzigen aggregierten Score, was potenziell wertvolle Signale bezüglich der Entwicklung der Gewissheit eines Modells während des推理prozesses verschleiert. Die Arbeit postuliert, dass die Trajektorie der Konfidenz vom Beginn bis zum Ende einer推理kette diskriminierende Informationen enthält, die derzeit für die Antwortauswahl untergenutzt werden.

Methodik: Confidence Dynamic Gain (CDG)

Die Arbeit stellt Confidence Dynamic Gain (CDG) vor, einen neuartigen Abstimmungsalgorithmus, der die Evolution der Konfidenz entlang einer推理trajektorie explizit einbezieht.

1. Empirische Beobachtung

Durch umfangreiche Experimente an vier verschiedenen Open-Source-Architekturen (DeepSeek-R1, gpt-oss, Gemma-3, Qwen-QwQ) über mathematische Benchmarks (AIME, HMMT, BRUMO) hinweg identifizierten die Autoren ein einzigartiges Muster:

Korrekte Pfade: Zeigen einen systematischen positiven Konfidenzzuwachs, bei dem die Konfidenz des Modells zunimmt, während die推理kette von den initialen Tokens zum finalen Schlussfolgerung fortschreitet.
Falsche Pfade: Zeigen abgeschwächte oder negative Konfidenzzuwächse, die einen abnehmenden oder stagnierenden Konfidenzverlauf während des Fortschreitens der推理aufweisen.

2. Konfidenzmetrik und Trajektorien-Binning

Um dies zu quantifizieren, definieren die Autoren die Token-Ebene-Konfidenz ( $C_t$ ) unter Verwendung einer abgeschnittenen Kullback-Leibler-(KL)-Divergenz-Approximation basierend auf Top- $K$ -Token-Wahrscheinlichkeiten. Um Pfade unterschiedlicher Längen zu vergleichen, wenden sie einen positionsnormalisierten Binning-Ansatz an:

Jeder Pfad wird in $N$ gleich große Bins unterteilt (Standardwert $N=10$ ).
Das „Head"-Bin repräsentiert die ersten $P\%$ der Tokens, und das „Tail"-Bin repräsentiert die letzten $P\%$ .
Confidence Dynamic Gain ( $\Delta C_\ell$ ) wird als Differenz zwischen der durchschnittlichen Konfidenz des Tail-Bins und des Head-Bins berechnet:
$\Delta C_\ell = \bar{C}_{tail} - \bar{C}_{head}$
Ein positives $\Delta C_\ell$ deutet auf eine zunehmende Konfidenz hin; ein negativer Wert auf eine abnehmende Konfidenz.

3. Der CDG-Abstimmungsalgorithmus

Der finale Antwortauswahl-Score ( $s_\ell$ ) für einen Pfad $\ell$ kombiniert die durchschnittliche Pfadkonfidenz ( $\bar{C}_\ell$ ) mit dem dynamischen Gewinn:
$s_\ell = \bar{C}_\ell + \beta \cdot \Delta C_\ell$
Hierbei ist $\beta$ ein Hyperparameter, der den Einfluss des dynamischen Signals steuert.

Der finale Score für eine Kandidatenantwort $a$ aggregiert diese Pfadscores und integriert einen Dämpfungsfaktor für die Anzahl, um zu verhindern, dass das Mehrheitsvoting das Konfidenzsignal überlagert:
$R(a) = |T_a|^\alpha \cdot \mu_a(s_\ell)$
Wobei $|T_a|$ die Anzahl der Pfade für Antwort $a$ ist, $\alpha \in [0, 1]$ die Dominanz der Anzahl dämpft und $\mu_a$ der mittlere Score der Pfade ist, die Antwort $a$ produzieren.

4. Theoretische Begründung

Die Arbeit liefert eine theoretische Analyse, die dieses Phänomen mit Group Relative Policy Optimization (GRPO), einem gängigen Trainingsalgorithmus für推理modelle, verknüpft.

Annahme: Korrekte Pfade konvergieren zu einer einzigen Ground Truth (hohe Frequenz am Tail), während falsche Pfade in diverse Fehlermodi divergieren (niedrige Frequenz am Tail).
Mechanismus: GRPO weist korrekten Pfaden positive Vorteile und falschen Pfaden negative Vorteile zu. Dies führt zu einem höheren „Tail-zu-Head"-Konzentrationsverhältnis für korrekte Pfade, was einen steilen Anstieg der Konfidenz (Logits) gegen Ende der Sequenz bewirkt. Falsche Pfade, denen diese Konvergenz fehlt, zeigen keinen solchen Konfidenzspike.

Hauptbeiträge

Empirische Entdeckung: Identifikation eines systematischen Musters, bei dem korrekte推理pfade im Vergleich zu falschen Pfaden über diverse LLM-Architekturen hinweg höhere Konfidenzzuwächse (Head-zu-Tail) aufweisen.
Neue Methode (CDG): Vorschlag eines trainingsfreien Abstimmungsmethods, das Konfidenzdynamiken als diskriminierendes Signal nutzt und sowohl Mehrheitsvoting als auch statische konfidenzbasierte Methoden generalisiert.
Theoretische Einsicht: Eine theoretische Analyse, die die beobachteten Konfidenzgradienten mit den Trainingsdynamiken von GRPO und überprüfbaren Belohnungen verbindet und erklärt, warum korrekte Pfade natürlich einen „Konfidenzspike" am Tail entwickeln.
Empirische Validierung: Nachweis konsistenter Leistungsverbesserungen gegenüber State-of-the-Art-Baselines auf wettbewerbsfähigen mathematischen推理benchmarks.

Experimentelle Ergebnisse

Die Autoren evaluierten CDG an vier Modellen (DeepSeek-R1-8B, gpt-oss-20B, Gemma-3-27B, Qwen-QwQ-32B) über AIME 2024/2025, HMMT 2025 und BRUMO 2025 hinweg.

Leistung: CDG erzielte die höchste durchschnittliche Genauigkeit über alle Modelle und Datensätze hinweg.
- Es verbesserte sich gegenüber Mehrheitsvoting im Durchschnitt um 5,4 %.
- Es verbesserte sich gegenüber DeepConf-Mean um 4,8 %.
- Es übertraf DeepConf-Tail (das nur Tail-Konfidenz verwendet) um 1,7 %, was demonstriert, dass der dynamische Aspekt (Head-zu-Tail-Unterschied) entscheidend ist und nicht nur die Tail-Konfidenz selbst.
Ablationsstudien:
- Anzahl-Dämpfung ( $\alpha$ ): Das Entfernen der Anzahl-Dämpfung ( $\alpha=1$ ) verschlechterte die Leistung erheblich und bestätigte die Notwendigkeit, Pfadanzahlen mit Konfidenzsignalen auszubalancieren.
- Dynamisches Gewicht ( $\beta$ ): Die Leistung erreichte ihren Höhepunkt, wenn $\beta$ auf einen spezifischen Bereich relativ zur Konfidenztrennung des Modells abgestimmt wurde, was bestätigte, dass das dynamische Signal komplementäre Informationen zur statischen Konfidenz liefert.
- Pfadlänge: CDG behielt Vorteile unabhängig von der Pfadlänge bei, was darauf hindeutet, dass das Signal robust gegenüber Variationen der Sequenzlänge ist.
- Formatierungsartefakte: Das Ausschluss von \boxed{}-Tokens (oft hochkonfidente Formatierungstokens am Ende) veränderte die Ergebnisse nicht, was beweist, dass das Signal aus推理dynamiken und nicht aus Formatierungsartefakten stammt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CDG ein robustes, trainingsfreies diskriminierendes Signal zur Verbesserung der Antwortauswahl beim推理von LLMs bietet. Durch die Ausnutzung der natürlichen Dynamik der Modellkonfidenz während der Inferenz bietet CDG einen prinzipiellen Weg, korrekte Antworten gegenüber halluzinierten auszuwählen, ohne dass ein erneutes Training des Modells oder zusätzliche Belohnungsmodelle erforderlich sind.

Die Autoren weisen darauf hin, dass die Methode zwar für Best-of-N-Skalierung im mathematischen推理hochwirksam ist, sie jedoch die Rechenkosten der Generierung mehrerer Pfade erbt. Sie erkennen auch Einschränkungen hinsichtlich der Notwendigkeit einer modellspezifischen Anpassung des $\beta$ -Parameters und der Anforderung des Zugriffs auf Token-Level-Log-Wahrscheinlichkeiten an, die in allen geschlossenen APIs möglicherweise nicht verfügbar sind. Die Arbeit legt nahe, dass diese Erkenntnisse über Konfidenzdynamiken auf andere vorteilsgewichtete Policy-Gradient-Methoden mit überprüfbaren Belohnungen verallgemeinerbar sein könnten.