🤖 AI

Proper Scoring Rules for Agentic Uncertainty Quantification

Dieser Beitrag stellt die Trajectory Proper Score (TPS) vor, eine strikt korrekte Bewertungsregel, die die vollständige präfixkonditionierte Erfolgs-Wahrscheinlichkeitsspur für Sprachmodell-Agenten rigoros erfasst und die Grenzen bestehender Metriken adressiert, die bei der Quantifizierung agenter Unsicherheit nicht zwischen Rangierungsleistung und probabilistischer Wahrhaftigkeit unterscheiden können.

Ursprüngliche Autoren: Suresh Raghu, Satwik Pandey, Shashwat Pandey

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Suresh Raghu, Satwik Pandey, Shashwat Pandey

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Roboter-Agenten, der versucht, ein komplexes Rätsel zu lösen, etwa ein Labyrinth zu navigieren oder ein kniffliges Rätsel zu beantworten. Während der Roboter arbeitet, gibt er nicht nur eine endgültige Antwort; er spricht mit sich selbst, unternimmt Schritte, überprüft seine Arbeit und sagt gelegentlich: „Ich denke, ich werde das richtig machen" oder „Ich bin mir nicht mehr sicher."

Seit langem versuchen Forscher, diese Roboter danach zu bewerten, wie gut sie diese Unsicherheit ausdrücken. Doch dieses Papier argumentiert, dass die aktuellen Bewertungssysteme wie die Beurteilung eines Kochs nur danach sind, ob er die Bestellung richtig erfüllt hat, ohne das Essen zu probieren, um zu sehen, ob er tatsächlich wusste, wie gut es war.

Hier ist die Kernidee des Papiers, mit einfachen Analogien aufgeschlüsselt:

1. Das Problem: Den „Rang" zu bewerten vs. die „Wahrheit"

Derzeit schauen die meisten Tests für diese Roboter auf das Ranking.

Die Analogie: Stellen Sie sich einen Lehrer vor, der die Lerngewohnheiten eines Schülers bewertet. Der Lehrer betrachtet die Note der Abschlussprüfung. Wenn der Schüler, der am meisten gelernt hat, die höchste Note erhält, sagt der Lehrer: „Toll! Die Lernmethode funktioniert!"
Der Fehler: Dem Lehrer ist es egal, ob der Schüler dachte, er habe eine 99-prozentige Chance zu bestehen, obwohl er nur eine 50-prozentige Chance hatte. Der Schüler könnte völlig übermütig gewesen sein und trotzdem Glück gehabt haben.
Der Punkt des Papiers: Bestehende Tests (wie AUROC oder Trajectory ECE) sind wie dieser Lehrer. Sie prüfen, ob das Vertrauen des Roboters die richtigen Antworten höher rankt als die falschen. Aber sie prüfen nicht, ob die spezifischen Zahlen des Roboters (z. B. „80-prozentige Chance") tatsächlich mit der Realität übereinstimmen. Ein Roboter kann ein großartiger „Ranger" sein, aber ein schrecklicher „Wahrheitsredner".

2. Die Lösung: Der „Trajectory Proper Score" (TPS)

Die Autoren führen ein neues Bewertungssystem namens TPS ein.

Die Analogie: Anstatt nur die Abschlussprüfung zu betrachten, ist TPS wie ein Trainer, der den Roboter Schritt für Schritt beobachtet. Jedes Mal, wenn der Roboter einen Schritt macht, fragt der Trainer: „Sie sagten, es gäbe von diesem Punkt aus eine 70-prozentige Erfolgschance. War das ehrlich?"
Wie es funktioniert: Das Papier verwendet ein mathematisches Werkzeug namens „Strictly Proper Scoring Rule". Denken Sie daran als ein Strafsystem, das nur funktioniert, wenn Sie die Wahrheit sagen.
- Wenn Sie „90 %" sagen und scheitern, erhalten Sie eine massive Strafe.
- Wenn Sie „50 %" sagen und scheitern, erhalten Sie eine kleine Strafe.
- Der einzige Weg, die bestmögliche Punktzahl zu erhalten, besteht darin, genau die Wahrscheinlichkeiten anzugeben, die wirklich bestehen.
Das Ergebnis: TPS zwingt den Roboter, bei jedem einzelnen Schritt der Reise ehrlich über seine Chancen zu sein, nicht nur am Ende.

3. Das „zensierte" Problem: Wenn das Spiel vorzeitig endet

Manchmal läuft dem Roboter die Zeit aus oder er stößt auf ein Limit, bevor er die Aufgabe abgeschlossen hat. In früheren Zeiten würden Forscher diese unvollendeten Versuche einfach verwerfen.

Die Analogie: Stellen Sie sich einen Marathonläufer vor, der bei Kilometer 20 kollabiert. Wenn Sie nur die Personen zählen, die das Rennen beendet haben, verpassen Sie die Daten über die Läufer, die Schwierigkeiten hatten.
Die Lösung des Papiers: Die Autoren entwickelten eine Möglichkeit, diese „unvollendeten" Läufe fair zu bewerten. Sie verwenden eine Technik namens „bedingte Projektion".
- Einfache Version: Wenn der Roboter vorzeitig aufhört und wir nicht wissen, ob er erfolgreich gewesen wäre, geht das System zum Sicherheitshalber vom Schlimmsten aus (es ist gescheitert).
- Fortgeschrittene Version: Wenn wir die Wahrscheinlichkeit schätzen können, dass er erfolgreich wäre, wenn er weitergemacht hätte, verwendet das System diese Schätzung, um den unvollendeten Lauf fair zu bewerten.
Warum es wichtig ist: Das Papier stellte fest, dass bei einer Einkaufsaufgabe (WebShop) fast die Hälfte der Versuche vorzeitig abgebrochen wurde. Wenn Sie diese ignorieren, erhalten Sie ein falsches Bild davon, wie der Roboter performt. Als sie diese „vorzeitig abgebrochenen" Versuche einbezogen, änderte sich die Note des Roboters erheblich.

4. Die große Entdeckung: Neujustierung verändert alles

Die Autoren führten Experimente durch, bei denen sie die rohen Vertrauenszahlen eines Roboters „neujustierten" (korrigierten, um ehrlicher zu sein).

Die Analogie: Stellen Sie sich einen Wettervorhersager vor, der immer „90-prozentige Regenwahrscheinlichkeit" sagt. Wenn es 90 % der Zeit regnet, ist er ein „guter Ranger" (er sagt Regentage korrekt voraus). Aber wenn er „90 %" sagt, obwohl es tatsächlich nur eine „50-prozentige" Chance ist, ist er ein schlechter „Wahrheitsredner".
Das Ergebnis: Als sie die Zahlen des Roboters korrigierten, um ehrlicher zu sein:
- Die alten Tests (Ranking) bemerkten kaum eine Veränderung. Der Roboter „rankte" die richtigen Antworten immer noch am besten.
- Der neue Test (TPS) sah eine massive Verbesserung. Der Roboter sagte nun die Wahrheit über seine Chancen.
Warum das eine große Sache ist: Wenn Sie einen Roboter verwenden, um zu entscheiden, ob Sie einen Menschen um Hilfe rufen sollen (ein „Handoff"), müssen Sie die tatsächliche Wahrscheinlichkeit kennen, nicht nur den Rang. Wenn der Roboter denkt, er sei zu 90 % sicher, aber tatsächlich nur zu 50 % sicher ist, rufen Sie möglicherweise nicht um Hilfe, wenn Sie es sollten.

Zusammenfassung

Dieses Papier sagt: Hören Sie auf, Roboter nur danach zu bewerten, wer sie denken, dass gewinnen wird. Fangen Sie an, sie danach zu bewerten, ob sie die Wahrscheinlichkeiten tatsächlich kennen.

Sie bauten eine neue Anzeigetafel (TPS), die:

Das Vertrauen des Roboters bei jedem einzelnen Schritt überprüft.
Ehrlichkeit belohnt, anstatt nur „Glück" oder „hohen Rang".
Situationen bewältigen kann, in denen dem Roboter die Zeit ausgeht, ohne die Daten zu verwerfen.

Die Experimente zeigen, dass die Verwendung dieser neuen Anzeigetafel große Fehler aufdeckt, wie Roboter Unsicherheit ausdrücken, die die alte Anzeigetafel völlig übersehen hat.

Technische Zusammenfassung: Strenge Proper Scoring Rules für die Quantifizierung agenter Unsicherheit

Problemstellung

Sprachmodell-Agenten agieren zunehmend über erweiterte Trajektorien hinweg, die Beobachtung, Schlussfolgerung, Werkzeugnutzung und Planrevision umfassen. In diesen Kontexten ist Unsicherheit nicht lediglich eine Eigenschaft der finalen Antwort, sondern ein dynamisches Signal, das sich mit der Interaktionsgeschichte entwickelt. Obwohl sich die jüngste Forschung hin zur Generierung von Unsicherheitssignalen auf Trajektorienebene verschoben hat (z. B. schrittweise Kalibrierung, fortgeleitete Unsicherheit), bleibt die Bewertung dieser Signale fehlerhaft.

Bestehende Evaluierungsmetriken, wie AUROC, AUPRC, Trajectory Expected Calibration Error (T-ECE) und skalarisierte Trajectory Brier-Scores, vermischen die Nützlichkeit des Rankings mit der probabilistischen Wahrhaftigkeit.

Rank-basierte Metriken (AUROC/AUPRC) messen die Diskriminierungsfähigkeit, sind jedoch invariant gegenüber monotonen Transformationen von Wahrscheinlichkeiten und vermögen es nicht, zwischen gut kalibrierten Wahrscheinlichkeiten und über- oder unterzutrauenden Verzerrungen zu unterscheiden.
Kalibrierungsmetriken (T-ECE) messen die binweise marginale Kalibrierung, sind jedoch „auflösungsblind" und belohnen Vorhersagen, die innerhalb der Bins im Durchschnitt korrekt sind, selbst wenn ihnen die Diskriminierungskraft innerhalb dieser Bins fehlt.
Skalarisierte Proper Scores (z. B. Anwendung des Brier-Verlusts auf eine kollabierte Trajektorien-Zusammenfassung) sind strikt proper nur für den kollabierten Skalar, nicht jedoch für die vollständige, prefix-konditionierte Wahrscheinlichkeitsspur.

Das Kernproblem ist das Fehlen eines strikt proper Evaluators für den prefix-konditionierten Erfolgs-Wahrscheinlichkeitsprozess ( $q_t = P_\pi(Y=1 | H_t)$ ). Ohne einen solchen Evaluator ist es unmöglich, Agenten strikt wahrhafte Wahrscheinlichkeitsspuren zu entlocken, was für nachgelagerte Interventionen wie Verzögerung, Reflexion oder menschliche Übergabe entscheidend ist, die von der Wahrscheinlichkeitsskala und nicht nur vom Rang abhängen.

Methodik

1. Der Trajectory Proper Score (TPS)

Die Autoren führen den Trajectory Proper Score (TPS) ein, eine vom Prädiktor unabhängige Familie strikt proper Scoring Rules für Unsicherheit auf Trajektorienebene.

Definition: TPS aggregiert eine strikt proper binäre Scoring Rule ( $S_{\alpha,\beta}$ ) über die Trajektorien-Schritte, gewichtet mit einem vom Evaluator gewählten Zeitplan ( $w_t$ ):
$TPS(F_{1:T}, Y) = \sum_{t=1}^{T} w_t S_{\alpha,\beta}(F_t, Y)$
wobei $F_t$ die vom Agenten berichtete Wahrscheinlichkeit des eventualen Erfolgs gegeben die Historie $H_t$ ist und $Y$ das terminale Ergebnis darstellt.
Strikte Properheit: Die Autoren beweisen (Theorem 4.1), dass, wenn die zugrundeliegende binäre Score strikt proper ist und die Gewichte positiv sind, TPS für den gesamten prefix-konditionierten Prozess strikt proper ist. Dies bedeutet, dass der erwartete Score genau dann eindeutig maximiert wird, wenn der Agent an jedem Schritt die wahre bedingte Wahrscheinlichkeit $q_t$ berichtet.
Score-Familie: Die Methode nutzt die Beta-Familie von Scores ( $S_{\alpha,\beta}$ ), abgeleitet aus der Schervish–Buja-Schwellenwert-Misch-Konstruktion. Diese Familie umfasst den Log-Score (Grenzfall), den Brier-Score ( $\alpha=\beta=1$ ) und ermöglicht eine asymmetrische Kostenformung durch die Parameter $\alpha$ und $\beta$ .

2. Umgang mit zensierten Trajektorien

In praktischen Benchmarks werden Trajektorien oft administrativ zensiert (z. B. durch Erreichen eines Schrittbudgets), bevor das Ergebnis $Y$ beobachtet wird. Das Papier erweitert TPS auf diese Fälle durch bedingte Projektion:

Exakter reduzierter Score ( $TPS^{cen,exact}$ ): Durch Projektion des vollständigen Datenscores auf den beobachtbaren Prefix leiten die Autoren einen exakten zensierten Score ab, der von der Fortsetzungs-Erfolgswahrscheinlichkeit $q_Z = P_\pi(Y=1 | H_Z)$ am Stopp-Punkt abhängt. Dieser Score ist für den beobachtbaren Prefix strikt proper.
Einfache zensierte Approximation ( $TPS^{cen,simple}$ ): Wenn $q_Z$ nicht geschätzt wird, schlagen die Autoren eine pessimistische operative Approximation vor, bei der $q_Z \approx 0$ gesetzt wird. Dies bewertet den zensierten Prefix effektiv so, als wäre der Fehlerzweig eingetreten. Die Autoren beweisen, dass dies für ein Pseudo-Label-Ziel ( $m_t = P_\pi(\Delta=1, Y=1 | H_t)$ ) strikt proper ist, das nur dann gegen das wahre Ziel konvergiert, wenn die fehlende Erfolgsmasse null ist.

3. Theoretische Grenzen bestehender Metriken

Das Papier zeigt formal (Theoreme A und B) auf, warum gängige Metriken versagen, die vollständige Spur zu entlocken:

T-ECE ist auflösungsblind; eine konstante Vorhersage, die dem Bin-Durchschnitt entspricht, kann einen Fehler von null erreichen, selbst wenn sie alle Variation innerhalb des Bins verwirft.
Skalarisierter Brier-/Log-Verlust, angewendet auf aggregierte Spuren (z. B. $\Phi_{last}, \Phi_{avg}, \Phi_{min}$ ), entlockt nur den kollabierten Skalar, nicht die Spur. Für Aggregatoren wie $\Phi_{avg}$ oder $\Phi_{min}$ kann die wahrhafte Spur strikt suboptimal sein im Vergleich zu einer unwahrhaften Spur, die die Aggregation manipuliert, um den optimalen Skalar zu erreichen.

Wichtige Ergebnisse

1. Kalibrierungs-Invarianz-Lücke

Experimente auf Tau2-Bench zeigen eine signifikante Divergenz zwischen rank-basierten und proper Scoring-Metriken.

Recalibration-Effekt: Als verbale Konfidenzsignale mittels Platt-Skalierung neu kalibriert wurden, änderte sich der AUROC vernachlässigbar ( $\Delta/SE \approx 0,3$ ), während sich der TPS (log endpoint) erheblich verbesserte ( $\Delta/SE \approx 43$ ).
Implikation: Rank-Metriken versagten darin zu erkennen, dass der Rohstrom schwerwiegend falsch kalibriert war (gesättigt nahe 0,9–1,0), wohingegen TPS den Fehler auf der Wahrscheinlichkeitsskala korrekt identifizierte. Der neu kalibrierte Strom übertraf die Basisraten-Referenz im TPS kaum, trotz ähnlicher Ranking-Leistung.

2. Auswirkung der Zensierung

Auf WebShop, wo 47 % der Trajektorien administrativ zensiert wurden (Erreichen von Schrittgrenzen), veränderte sich die Evaluierungs-Population erheblich.

Selektionsverzerrung: Die Evaluierung nur vollständiger Fälle verworfen einen strukturell schwierigeren Teil der Trajektorien (zensierte waren 3-mal länger).
Score-Verschiebung: Die Einbeziehung zensierter Trajektorien via der einfachen zensierten Approximation verschob den durchschnittlichen TPS um +0,159 Nats (95 % KI: [+0,133, +0,188]) im Vergleich zur Evaluierung nur vollständiger Fälle.
Prädiktor-Sensitivität: Die Verschiebung war positiv für unterzutrauende Prädiktoren, aber negativ für überzutrauende (z. B. Completion-Token-Wahrscheinlichkeit), was zeigt, dass zensierungs-bewusstes Scoring das Urteil je nach Konfidenz-Regime verändert.

3. Validierung der zensierten Erweiterungen

Künstliche Zensierung: Auf vollständigen Trajektorien aus StrategyQA, Tau2-Bench und HotpotQA zensierten die Autoren die Ergebnisse künstlich. Die geschlossene Zerlegung des zensierten Scores stimmte mit dem direkt berechneten Unterschied bis zur numerischen Präzision überein und validierte die theoretische Herleitung.
Monte-Carlo-Audit: Auf HotpotQA schätzten die Autoren $q_Z$ via Monte-Carlo-Rollouts. Der exakte reduzierte Score unterschied sich materiell von der einfachen Approximation $q_Z \approx 0$ , was bestätigt, dass die Wahl der $q_Z$ -Schätzung den finalen Score beeinflusst.

Bedeutung und Behauptungen

Das Papier beansprucht, ein grundlegendes Framework für die strikt proper Evaluierung agenter Unsicherheit zu etablieren. Seine Bedeutung liegt in:

Trennung von Entlockung und Ranking: Es zeigt, dass Ranking-Metriken (AUROC) und Kalibrierungsmetriken (ECE) nicht strikt die vollständige Wahrscheinlichkeitsspur entlocken, die für probabilistische Entscheidungsfindung erforderlich ist.
Operative Notwendigkeit von Proper Scores: Die empirischen Ergebnisse zeigen, dass eine Wahrscheinlichkeits-Recalibration das TPS-Urteil drastisch ändern kann, während Ranking-Metriken unverändert bleiben. Dies impliziert, dass für Anwendungen, die auf Wahrscheinlichkeitsschwellenwerten beruhen (Verzögerung, Übergabe), die aktuellen Evaluierungspraktiken irreführend sein können.
Berücksichtigung realer Einschränkungen: Durch die Erweiterung von Proper Scoring auf administrativ zensierte Trajektorien bietet das Papier eine Methode, Agenten auf Benchmarks mit Schrittbudgets zu evaluieren, ohne schwierige, abgeschnittene Fälle zu verwerfen oder sie falsch zu labeln.

Die Autoren halten einen bescheidenen Umfang ein und stellen fest, dass das Framework nicht-informative administrative Zensierung voraussetzt und binäre terminale Ergebnisse adressiert. Sie stellen ausdrücklich klar, dass sich die Arbeit auf die Evaluatoren-seitige Properheit von Unsicherheitssignalen konzentriert, getrennt von den Prädiktor-seitigen Methoden, die zu deren Generierung verwendet werden. Das TPS-Framework ist unabhängig von der Quelle des Signals (verbale Konfidenz, Token-Wahrscheinlichkeiten usw.), solange es als prefix-konditionierte Erfolgswahrscheinlichkeit ausgedrückt wird.