💬 NLP

From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation

Das Papier stellt CARE-PPO vor, ein Reinforcement-Learning-Framework, das eine vertrauensausgerichtete Belohnung (Confidence-Aligned Reward) nutzt, um sprachbasierte quantitative Vorhersagen und deren Zuverlässigkeit gemeinsam zu optimieren, indem es den PPO-Critic als robusten Konfidenzschätzer umfunktioniert und dadurch bestehende Baselines hinsichtlich Genauigkeit und Unsicherheitskalibrierung in den Bereichen Gesundheitswesen und Finanzen übertrifft.

Ursprüngliche Autoren: Mehak Dhaliwal, Rasta Tadayon, Andong Hua, Haewon Jeong, Yao Qin

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mehak Dhaliwal, Rasta Tadayon, Andong Hua, Haewon Jeong, Yao Qin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Freund, der eine unordentliche Beschreibung Ihres Mittagessens lesen und exakt erraten kann, wie viele Gramm Kohlenhydrate darin enthalten sind. Das ist großartig für Menschen mit Diabetes, die ihre Insulindosis kennen müssen. Aber es gibt einen Haken: Manchmal ist dieser Roboter maßlos selbstbewusst über eine völlig falsche Antwort. Er könnte sagen: „Ich bin mir zu 100 % sicher, dass diese Pizza 5 g Kohlenhydrate hat!“, obwohl sie eigentlich 40 g hat. Das ist gefährlich.

Das Paper stellt eine neue Trainingsmethode namens CARE-PPO vor, um dies zu beheben. Stellen Sie sich diesen Roboter als ein Wesen mit zwei Gehirnen vor, die zusammenarbeiten: einem Actor (dem Ratenden) und einem Critic (dem Richter).

Der alte Weg vs. der neue Weg

Normalerweise trainieren wir diese Roboter so, dass wir ihnen einfach nur sagen: „Du hattest recht“ oder „Du hattest unrecht“. Es ist wie ein Lehrer, der einem Schüler ein rotes „X“ oder ein grünes Häkchen gibt. Der Schüler lernt, die richtige Zahl zu finden, aber er lernt nicht, wann er sich selbst vertrauen kann. Er könnte wild raten und trotzdem ein grünes Häkchen bekommen, wenn er Glück hatte, oder sich unsicher fühlen, selbst wenn er recht hat.

Die Autoren argumentieren, dass dieser „binäre“ (richtig/falsch) Ansatz nicht ausreicht. Sie schließen explizit aus, dass man einfach die internen „Konfidenz“-Scores des Roboters verwendet (wie etwa, wie sicher er sich basierend auf seinen eigenen Gedanken fühlt) oder ihn bittet, in Worten zu sagen: „Ich bin mir zu 80 % sicher“, da diese Methoden oft dazu führen, dass der Roboter übermäßig selbstbewusst und falsch liegt.

Die Magie von CARE-PPO

CARE-PPO verändert das Spiel, indem es dem Roboter einen Critic gibt, der wie ein strenger, aber fairer Coach fungiert. So funktioniert es:

Das Belohnungssystem: Anstatt nur eines „Richtig/Falsch“-Häkchens gibt der Critic eine Punktzahl basierend darauf, wie weit daneben die Schätzung lag. Wenn der Roboter 44 g rät und die echte Antwort 44 g ist, erhält er eine riesige Belohnung. Wenn er 17 g rät, erhält er eine kleine Belohnung (oder eine Strafe). Je näher die Schätzung am echten Wert liegt, desto höher ist die Punktzahl.
Die geheime Aufgabe des Critics: Während der Actor versucht, die richtige Zahl zu finden, lernt der Critic, wie gut die Schätzung des Actors sein wird. Das Paper legt nahe, dass der Critic durch das Training dieser Punktzahlen natürlich lernt, ein Konfidenz-Meter zu werden.
- Wenn der Critic eine Situation sieht, in der der Actor normalerweise große Fehler macht, vergibt er eine niedrige „Konfidenz-Punktzahl“.
- Wenn die Situation einfach ist und der Actor normalerweise richtig liegt, vergibt der Critic eine hohe „Konfidenz-Punktzahl“.

Es ist wie in einem Videospiel, bei dem der Critic nicht nur den Spieler beobachtet, sondern lernt, die zukünftige Leistung des Spielers vorherzusagen. Mit der Zeit wird der Critic so gut darin, dass seine Vorhersage die Konfidenz-Punktzahl selbst ist. Man muss den Roboter nicht fragen: „Wie sicher bist du?“, denn der Critic weiß es bereits.

Was die Zahlen sagen

Die Autoren testeten dies an zwei realen Aufgaben:

Ernährung: Schätzen von Kohlenhydraten aus Mahlzeitbeschreibungen (wie „eine Scheibe Pepperoni-Pizza“).
Finanzen: Schätzen des Preises von Produkten (wie ein Mixer) anhand ihrer Beschreibungen.

Sie verwendeten zwei Versionen eines Modells namens Qwen-3 (eines mit 4 Milliarden Parametern und eines mit 8 Milliarden).

Die Ergebnisse waren vielversprechend:

Genauigkeit: Die CARE-PPO-Modelle trafen die Zahlen fast so gut wie die besten anderen Methoden.
Konfidenz: Hier glänzte die Methode. Die Konfidenz-Scores des Critics entsprachen viel besser der Realität als andere Methoden. In den Tests gab der Critic eine niedrige Punktzahl, wenn das Modell falsch lag, und eine hohe, wenn es richtig lag.
Robustheit: Die Methode funktionierte auch, wenn der Roboter mit Dingen getestet wurde, die er zuvor noch nicht gesehen hatte, wie z. B. Mahlzeitbeschreibungen in anderen Sprachen (Spanisch, Italienisch usw.) oder Produkte aus einer anderen Kategorie (Elektronik statt Haushaltsgeräte).

Das Problem der „Aufgaben-Überanpassung“ (Task Overfitting)

Ein interessanter Befund ist, dass diese Methode dem Roboter hilft, „aufgabenbewusst“ zu bleiben. Wenn man einen Roboter, der auf Essen trainiert wurde, bittet, ein Gedicht zu schreiben, könnte ein Roboter, der mit der alten Methode des „Supervised Fine-Tuning“ (SFT) trainiert wurde, verwirrt sein und trotzdem versuchen, die Kohlenhydrate in dem Gedicht zu berechnen! Die CARE-PPO-Roboter hingegen waren viel besser darin, zu erkennen: „Hey, das ist kein Essen, ich sollte keine Kohlenhydrate berechnen.“ Sie behielten ihre allgemeine „Ich kann alles machen“-Persönlichkeit bei und waren gleichzeitig gut in ihrem spezifischen Job.

Das Fazit

Das Paper legt nahe, dass, indem wir die „Konfidenz“ einer Vorhersage während des Trainings direkt mit dem „Fehler“ dieser Vorhersage verknüpfen, wir eine KI bauen können, die nicht nur bessere Zahlen liefert, sondern auch weiß, wann sie sagen muss: „Darin bin ich mir nicht sicher.“ Dies ist ein Schritt hin zu einer sichereren und vertrauenswürdigeren KI in hochsensiblen Situationen wie dem Gesundheitswesen und dem Finanzwesen, ohne dass zusätzliche Schritte oder das Abfragen der eigenen Konfidenz in Worten nötig sind. Die Autoren stellten fest, dass dies in Simulationen und realen Datensätzen gut funktioniert, merkten jedoch an, dass sie noch untersuchen, wie es sich auf noch größere Modelle skaliert.

Technisches Resümee: CARE-PPO für sprachbasierte quantitative Vorhersage

Problemstellung

Große Sprachmodelle (LLMs) haben die Fähigkeit demonstriert, quantitative Vorhersageaufgaben aus unstrukturierten natürlichen Sprach-Inputs durchzuführen, wie etwa die Schätzung des Kohlenhydratgehalts aus Mahlzeitbeschreibungen oder die Vorhersage von Produktpreisen. Diese Modelle sind jedoch anfällig für Halluzinationen und übermäßig selbstbewusste Fehler (overconfident errors), was eine kritische Einschränkung in Hochrisikodomänen wie dem Gesundheitswesen und dem Finanzwesen darstellt. Bestehende Ansätze zur Konfidenzschätzung in LLMs konzentrieren sich weitgehend auf Klassifizierung oder offene Generierung und verlassen sich oft auf Post-hoc-Methoden (z. B. verbalisierte Konfidenz, Token-Wahrscheinlichkeiten oder Entropie), die während des Trainings nicht optimiert werden. Zudem priorisieren aktuelle quantitative Vorhersagemethoden genaue Punktschätzungen und vernachlässigen dabei die Generierung zuverlässiger Konfidenzsignale, wodurch Anwender ohne Orientierungshilfe darüber bleiben, wann sie einer Vorhersage vertrauen können.

Methodik: CARE-PPO

Die Autoren führen CARE-PPO (Confidence-Aligned Reward for Estimation with PPO) ein, ein Reinforcement-Learning-Framework, das eine neuartige Verbindung zwischen der Verlustvorhersage (loss prediction) zur Unsicherheitsschätzung und dem Actor-Critic Proximal Policy Optimization (PPO) Fine-Tuning herstellt.

Kernaspekt

Das Framework basiert auf der Erkenntnis, dass die prädiktive Unsicherheit eines Modells bei einem gegebenen Input als der erwartete Verlust (expected loss) charakterisiert werden kann, der durch den Prädiktor verursacht wird. Durch die Definition der Belohnung (Reward) in einem Actor-Critic-Setup als Funktion des Vorhersagefehlers konvergiert die Value-Funktion des Critics natürlich zu einer Schätzung des erwarteten Fehlers des Actors. Dies ermöglicht es dem Critic, als Konfidenzschätzer zu dienen, ohne dass eine explizite Konfidenz-Supervision oder eine separate Kalibrierungsphase erforderlich ist.

Framework-Architektur

Actor-Critic-Setup: Das System modelliert die Sprachgenerierung als Markov-Entscheidungsprozess (MDP). Der Actor ( $\pi_\theta$ ) generiert einen Reasoning-Pfad und eine endgültige numerische Schätzung. Der Critic ( $V_\phi$ ) schätzt den erwarteten Ertrag (expected return) aus einem gegebenen Zustand.
Konfidenz-ausgerichtete Belohnung (Confidence-Aligned Reward): Die terminale Belohnung $R(s_T)$ $R (s_{T})$ wird als monotone Funktion des absoluten Vorhersagefehlers $\xi = |\hat{y} - y|$ $ξ = ∣ \overset{y}{^} - y ∣$ definiert, wobei $\hat{y}$ $\overset{y}{^}$ der vorhergesagte Wert und $y$ $y$ der wahre Wert ist. Die Autoren schlagen zwei Instanziierungen vor:
- Lineare Belohnung: $h(\xi) = -\xi$ , die ein dichtes, unbeschränktes Signal liefert.
- Gaußsche Belohnung: $h(\xi) = \alpha \exp(-\xi^2 / 2\sigma^2)$ , die ein beschränktes, interpretierbares Signal liefert, wobei $\sigma$ die Fehlertoleranz steuert.
Trainingsziel: Der Actor wird mittels PPO optimiert, um den erwarteten Ertrag zu maximieren (den Fehler zu minimieren), während der Critic darauf trainiert wird, auf den empirischen Ertrag zu regredieren.
Inferenz: Zur Inferenzzeit wird die Wertschätzung (Value Estimate) des Critics direkt als Konfidenz-Score wiederverwendet. Hohe Werte deuten auf einen geringen erwarteten Fehler (hohe Konfidenz) hin, niedrige Werte auf einen hohen erwarteten Fehler.

Zentrale Beiträge

Theoretische Verbindung: Die Arbeit stellt eine Verbindung zwischen der Verlustvorhersage-Theorie und dem Actor-Critic-RL her und zeigt auf, dass der PPO-Critic natürlich lernt, den erwarteten Verlust des Actors zu schätzen, wenn die Belohnungen mit dem Vorhersagefehler abgestimmt sind.
CARE-PPO Framework: Ein einheitliches Framework, das einen Actor für genaue numerische Schätzungen und einen Critic für fehler-ausgerichtete Konfidenzschätzung gemeinsam trainiert, wodurch die Notwendigkeit einer expliziten Konfidenz-Supervision entfällt.
Umfassende Evaluierung: Die Methode wird auf zwei realen Aufgaben (Ernährungsschätzung und Produktpreisvorhersage) unter Verwendung von Qwen-3 4B und 8B Modellen evaluiert.
Robustheitsanalyse: Die Studie zeigt, dass CARE-PPO die Performance und Konfidenzausrichtung unter realistischen Out-of-Distribution (OOD) Bedingungen aufrechterhält, einschließlich linguistischer Verschiebungen (mehrsprachige Inputs) und Domänenverschiebungen (unterschiedliche Produktkategorien).

Experimentelle Ergebnisse

Die Autoren evaluierten CARE-PPO gegen Baselines, einschließlich Base Models, Supervised Fine-Tuning (SFT) und einer PPO-Variante mit binären Belohnungen (PPO-Binary). Die Konfidenzschätzung wurde gegenüber Logit-basierten Methoden (Answer Probability, EntropyInv) und verbalisierten Methoden (Verb-1S, Verb-2S) verglichen.

Vorhersagegenauigkeit: CARE-PPO-Varianten erreichten einen kompetitiven mittleren absoluten Fehler (MAE) und übertrafen das Base Model und PPO-Binary signifikant. Während SFT in einigen Fällen den niedrigsten MAE erreichte, litt es unter schlechter Konfidenzausrichtung.
Konfidenzausrichtung: Gemessen am Area Under the Sparsification Error (AUSE), übertraf der Critic-basierte Konfidenzschätzer in CARE-PPO konsistent alle Baselines (verbalisiert und Logit-basiert) über alle Aufgaben, Modellskalen und Einstellungen hinweg.
- Selbst mit der binären Belohnung (PPO-Binary) erreichte der Critic einen niedrigeren AUSE als die verbalisierten Baselines, was darauf hindeutet, dass die Actor-Critic-Dynamik inhärent konfidenzbewusste Repräsentationen fördert.
- CARE-PPO mit fehler-ausgerichteten Belohnungen (Linear/Gaussian) verstärkte diese Gewinne zusätzlich.
Robustheit:
- Linguistische Verschiebung: Bei der mehrsprachigen Ernährungsschätzung behielt CARE-PPO einen niedrigeren MAE und eine signifikant bessere Konfidenzausrichtung (niedrigerer AUSE) im Vergleich zu SFT und Base Models bei.
- Domänenverschiebung: In der Preisvorhersage (Transfer von Haushaltsgeräten zu Elektronik) blieb die Critic-basierte Konfidenz robust, während SFT und Base Models eine degradierte Ausrichtung zeigten.
Aufgabenbewusstsein: Im Gegensatz zu SFT-Modellen, die häufig auf die Aufgabe überfitteten und fälschlicherweise Kohlenhydratwerte für unzusammenhängende Abfragen generierten (z. B. das Schreiben eines Limericks), bewahrten CARE-PPO-Modelle das allgemeine Befolgen von Instruktionen (Instruction-Following). Die Autoren merken an, dass CARE-PPO-Linear ein etwas höheres Overfitting als die Gaußsche Variante zeigte, was potenziell auf die unbeschränkte Natur der linearen Belohnung zurückzuführen ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass CARE-PPO einen bedeutenden Schritt nach vorn darstellt, um LLMs für quantitative Vorhersagen in sicherheitskritischen Bereichen zuverlässig zu machen. Die primäre Bedeutung liegt in:

Emergente Konfidenz: Es wird demonstriert, dass eine zuverlässige Konfidenzschätzung als Nebenprodukt des Standard-Actor-Critic-RL-Trainings entstehen kann, wenn die Belohnungen mit dem Vorhersagefehler abgestimmt sind, wodurch die Notwendigkeit komplexer Post-hoc-Kalibrierung oder Hilfsmodelle entfällt.
Effizienz: Der Ansatz führt einen minimalen Overhead bei der Inferenz ein (ca. 2,4 % Steigerung der Latenz), da der Critic nur einen einzigen Forward Pass auf die abgeschlossene Antwort durchführt.
Generalisierung: Das Framework reduziert das aufgabenspezifische Overfitting auf allgemeine Prompts im Vergleich zu SFT und bewahrt die allgemeine Leistungsfähigkeit des Modells, während es gleichzeitig für quantitative Aufgaben spezialisiert wird.

Die Autoren kommen zu dem Schluss, dass konfidenzbewusste, sprachbasierte quantitative Vorhersage eine vielversprechende Richtung ist, wobei CARE-PPO eine skalierbare und effiziente Lösung bietet, die Vorhersagegenauigkeit mit vertrauenswürdiger Unsicherheitsschätzung koppelt.