💬 NLP

From Critic to Confidence: PPO for Language-Based Quantitative Prediction with Confidence Estimation

Het artikel introduceert CARE-PPO, een reinforcement learning-framework dat een Confidence-Aligned Reward gebruikt om gezamenlijk taalgebaseerde kwantitatieve voorspellingen en hun betrouwbaarheid te optimaliseren door de PPO-critic te hergebruiken als een robuuste vertrouwensschatter, waardoor het bestaande baselines overtreft in nauwkeurigheid en onzekerheidskalibratie binnen de gezondheidszorg- en financiële domeinen.

Oorspronkelijke auteurs: Mehak Dhaliwal, Rasta Tadayon, Andong Hua, Haewon Jeong, Yao Qin

Gepubliceerd 2026-07-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mehak Dhaliwal, Rasta Tadayon, Andong Hua, Haewon Jeong, Yao Qin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super slimme robotvriend hebt die een rommelige beschrijving van je lunch kan lezen en precies kan raden hoeveel gram koolhydraten erin zitten. Dit is geweldig voor mensen met diabetes die hun insulinedosis moeten weten. Maar hier komt de adder onder het gras: soms is deze robot dood overtuigd van een volkomen fout antwoord. Het kan bijvoorbeeld zeggen: "Ik weet 100% zeker dat deze pizza 5 gram koolhydraten bevat!", terwijl het er eigenlijk 40 zijn. Dat is gevaarlijk.

Het artikel introduceert een nieuwe trainingsmethode genaamd CARE-PPO om dit op te lossen. Denk aan de robot als een wezen met twee hersenen die samenwerken: een Actor (de gokker) en een Critic (de beoordelaar).

De Oude Manier vs. De Nieuwe Manier

Normaal gesproken, wanneer we deze robots trainen, vertellen we ze gewoon: "Je had gelijk" of "Je zat ernaast". Het is alsof een leraar een leerling een rood kruisje of een groen vinkje geeft. De student leert om het juiste getal te vinden, maar leert niet wanneer hij zichzelf moet vertrouwen. De student kan wild gokken en toch een groen vinkje krijgen als hij geluk heeft, of zich onzeker voelen terwijl hij wel gelijk heeft.

De auteurs stellen dat deze "binaire" (goed/fout) aanpak niet voldoende is. Ze sluiten expliciet uit dat men alleen de interne "vertrouwensscores" van de robot gebruikt (zoals hoe zeker hij zich voelt op basis van zijn eigen gedachten) of dat de robot in woorden laat zeggen "Ik ben 80% zeker", omdat die methoden er vaak toe leiden dat de robot overmoedig en foutief is.

De Magie van CARE-PPO

CARE-PPO verandert het spel door de robot een Critic te geven die fungeert als een strenge maar eerlijke coach. Zo werkt het:

Het Beloningssysteem: In plaats van alleen een "Goed/Fout" vinkje, geeft de Critic een score gebaseerd op hoe ver de gok ervan afzat. Als de robot 44g gokt en het echte antwoord is 44g, krijgt hij een enorme beloning. Als hij 17g gokt, krijgt hij een kleine beloning (of een straf). Hoe dichter de gok bij het juiste antwoord ligt, hoe hoger de score.
De Geheime Taak van de Critic: Terwijl de Actor probeert het juiste getal te vinden, leert de Critic te voorspellen hoe goed de gok van de Actor zal zijn. Het artikel suggereert dat door de Critic te trainen om deze scores te voorspellen, deze vanzelf leert een betrouwbaarheidsmeter te worden.
- Als de Critic een situatie ziet waarin de Actor meestal grote fouten maakt, geeft hij een lage "betrouwbaarheidsscore".
- Als de situatie makkelijk is en de Actor meestal het goed heeft, geeft de Critic een hoge "betrouwbaarheidsscore".

Het is als een videogame waarbij de Critic niet alleen naar de speler kijkt, maar leert om de toekomstige prestaties van de speler te voorspellen. Na verloop van tijd wordt de Critic zo goed in dit voorspellen dat die voorspelling de betrouwbaarheidsscore is. Je hoeft de robot niet te vragen: "Hoe zeker ben je?", want de Critic weet het al.

Wat de Cijfers Zeggen

De auteurs testten dit op twee echte taken:

Voeding: Het raden van koolhydraten op basis van maaltijdbeschrijvingen (zoals "een snee pepperoni pizza").
Financiën: Het raden van de prijs van producten (zoals een blender) op basis van hun beschrijvingen.

Ze gebruikten twee versies van een model genaamd Qwen-3 (één met 4 miljard parameters en één met 8 miljard).

De resultaten waren veelbelovend:

Nauwkeurigheid: De CARE-PPO-modellen kregen de getallen bijna net zo goed als de beste andere methoden.
Betrouwbaarheid: Hier blinkte het systeem uit. De betrouwbaarheidsscores van de Critic kwamen veel beter overeen met de werkelijkheid dan andere methoden. In de tests, wanneer het model fout zat, gaf de Critic een lage score, en wanneer het goed zat, een hoge score.
Robuustheid: De methode werkte zelfs wanneer de robot werd getest op zaken die hij nog niet eerder had gezien, zoals maaltijdbeschrijvingen in verschillende talen (Spaans, Italiaans, etc.) of producten uit een andere categorie (elektronica in plaats van apparaten).

Het "Taak-Overfitting" Probleet

Eén interessant bevinding is dat deze methode helpt om de robot "taakbewust" te houden. Als je een robot die getraind is op voedsel vraagt om een gedicht te schrijven, kan een robot die getraind is met de oude methode van "Supervised Fine-Tuning" (SFT) in de war raken en proberen de koolhydraten in het gedicht te berekenen! De CARE-PPO-robots waren echter veel beter in het beseffen: "Hé, dit is geen eten, ik moet geen koolhydraten berekenen." Ze behielden hun algemene "ik kan alles"-persoonlijkheid terwijl ze goed bleven in hun specifieke taak.

De Kern van het Verhaal

Het artikel suggereert dat door de "betrouwbaarheid" van een voorspelling direct te koppelen aan de "fout" van die voorspelling tijdens de training, we AI kunnen bouen die niet alleen betere getallen geeft, maar ook weet wanneer hij moet zeggen: "Ik weet het niet zeker over deze." Het is een stap richting het veiliger en betrouwbaarder maken van AI in situaties met hoge inzet, zoals de gezondheidszorg en de financiële sector, zonder dat daar extra stappen voor nodig zijn of het vragen aan de AI om zijn eigen betrouwbaarheid in woorden te schatten. De auteurs merkten op dat dit goed werkt in simulaties en real-world datasets, hoewel ze aangeven dat ze nog steeds onderzoeken hoe dit schaalt naar nog grotere modellen.

Technische Samenvatting: CARE-PPO voor Taalgebaseerde Kwantitatieve Voorspelling

Probleemstelling

Large Language Models (LLMs) hebben aangetoond in staat te zijn om kwantitatieve voorspellingsopdrachten uit ongestructureerde natuurlijke taalinputs uit te voeren, zoals het schatten van de koolhydraatinhoud uit maaltijdbeschrijvingen of het voorspellen van productprijzen. Deze modellen blijven echter vatbaar voor hallucinaties en overmoedige fouten, een kritieke beperking in domeinen met hoge inzet zoals de gezondheidszorg en de financiële sector. Bestaande benaderingen voor betrouwbaarheidsinschatting bij LLM's richten zich grotendeels op classificatie of open eind generatie, waarbij vaak wordt vertrouwd op post-hoc methoden (bijv. verbaal geuite betrouwbaarheid, token-waarschijnlijkheden of entropie) die niet tijdens de training zijn geoptimaliseerd. Bovendien geven huidige kwantitatieve voorspellingsmethoden prioriteit aan nauwkeurige punt-schattingen, terwijl ze de generatie van betrouwbare betrouwbaarheidssignalen verwaarlozen, waardoor gebruikers zonder begeleiding blijven over wanneer zij een voorspelling kunnen vertrouwen.

Methodologie: CARE-PPO

De auteurs introduceren CARE-PPO (Confidence-Aligned Reward for Estimation with PPO), een reinforcement learning-framework dat een nieuwe verbinding legt tussen verliesvoorspelling voor onzekerheidsschatting en actor-critic Proximal Policy Optimization (PPO) fine-tuning.

Kerninzicht

Het framework is gebouwd op het inzicht dat de voorspellende onzekerheid van een model bij een gegeven input kan worden gekarakteriseerd als het verwachte verlies dat de voorspeller oploopt. Door de beloning in een actor-critic setup te definiëren als een functie van de voorspellingsfout, convergeert de waarde-functie van de critic van nature naar een schatting van de verwachte fout van de actor. Dit stelt de critic in staat om te dienen als een betrouwbaarheidsschatter zonder dat er expliciete supervisie van betrouwbaarheid of een aparte kalibratiefase nodig is.

Framework Architectuur

Actor-Critic Setup: Het systeem modelleert taalgeneratie als een Markov Beslissingsproces (MDP). De actor ( $\pi_\theta$ ) genereert een redeneertraject en een uiteindelijke numerieke schatting. De critic ( $V_\phi$ ) schat de verwachte return vanaf een gegeven staat.
Confidence-Aligned Reward: De terminale beloning $R(s_T)$ $R (s_{T})$ wordt gedefinieerd als een monotone functie van de absolute voorspellingsfout $\xi = |\hat{y} - y|$ $ξ = ∣ \overset{y}{^} - y ∣$ , waarbij $\hat{y}$ $\overset{y}{^}$ de voorspelde waarde is en $y$ $y$ de werkelijke waarde. De auteurs stellen twee instanties voor:
- Lineaire Beloning: $h(\xi) = -\xi$ , wat een dichte, onbegrensde signaal geeft.
- Gaussische Beloning: $h(\xi) = \alpha \exp(-\xi^2 / 2\sigma^2)$ , wat een begrensde, interpreteerbare signaal geeft waarbij $\sigma$ de fouttolerantie controleert.
Trainingsdoel: De actor wordt geoptimaliseerd via PPO om de verwachte return te maximaliseren (fout te minimaliseren), terwijl de critic wordt getraind om te regresseren naar de empirische return.
Inference: Tijdens de inference wordt de waarde-inschatting van de critic direct hergebruikt als een betrouwbaarheidsscore. Hoge waarden duiden op een lage verwachte fout (hoge betrouwbaarheid), en lage waarden duiden op een hoge verwachte fout (lage betrouwbaarheid).

Belangrijkste Bijdragen

Theoretische Verbinding: Het artikel legt een link tussen verliesvoorspellingstheorie en actor-critic RL, en toont aan dat wanneer beloningen zijn afgestemd op de voorspellingsfout, de PPO-critic van nature leert om de verwachte loss van de actor te schatten.
CARE-PPO Framework: Een verenigd framework dat gelijktijdig een actor traint voor nauwkeurige numerieke schatting en een critic voor fout-afgestemde betrouwbaarheidsschatting, waardoor de noodzaak voor expliciete betrouwbaarheidssupervisie wordt geëlimineerd.
Uitgebreide Evaluatie: De methode wordt geëvalueerd op twee real-world taken (Voedingsschatting en Productprijsvoorspelling) met behulp van Qwen-3 4B en 8B modellen.
Robuustheidsanalyse: De studie toont aan dat CARE-PPO de prestaties en de betrouwbaarheid-alignement behoudt onder realistische out-of-distribution (OOD) settings, inclus_ief linguïstische verschuivingen (meertalige inputs) en domeinverschuivingen (verschillende productcategorieën).

Experimentele Resultaten

De auteurs evalueerden CARE-PPO tegenover baselines, waaronder Base Models, Supervised Fine-Tuning (SFT) en een PPO-variant met binaire beloningen (PPO-Binary). Betrouwbaarheidsschatting werd vergeleken met logit-gebaseerde methoden (Answer Probability, EntropyInv) en verbaal geuite methoden (Verb-1S, Verb-2S).

Voorspellingsnauwkeurigheid: CARE-PPO varianten behaalden concurrerende Mean Absolute Error (MAE), waarmee ze de Base Model en PPO-Binary aanzienlijk versloegen. Hoewel SFT in sommige gevallen de laagste MAE bereikte, leed het aan een slechte betrouwbaarheid-alignement.
Betrouwbaarheid-Alignement: Gemeten door de Area Under the Sparsification Error (AUSE), presteerde de critic-gebaseerde betrouwbaarheidsschatter in CARE-PPO consistent beter dan alle baselines (verbaal en logit-gebaseerd) over alle taken, modelgroottes en settings.
- Zelfs met de binaire beloning (PPO-Binary) bereikte de critic een lagere AUSE dan de verbaal geuite baselines, wat suggereert dat de actor-critic dynamiek inherent de betrouwbaarheid-bewuste representaties stimuleert.
- CARE-PPO met fout-afgestemde beloningen (Lineair/Gaussisch) versterkte deze winsten verder.
Robuustheid:
- Linguïstische Verschuiving: In meertalige voedingsschatting behield CARE-PPO een lagere MAE en een aanzienlijk betere betrouwbaarheid-alignement (lagere AUSE) vergeleken met SFT en Base modellen.
- Domeinverschuiving: In prijsvoorspelling (transfer van Apparatuur naar Elektronica) bleef de critic-gebaseerde betrouwbaarheid robuust, terwijl SFT en Base modellen een verslechterde alignement vertoonden.
Taakbewustzijn: In tegen tegenover de SFT-modellen, die vaak overfitten op de taak en onjuiste koolhydraatschatsingen genereerden voor ongerelateerde queries (bijv. het schrijven van een limerick), behielden CARE-PCARE-PPO modellen hun algemene instructie-volgende gedrag. De auteurs merken op dat CARE-PPO-Linear iets meer overfitting vertoonde dan de Gaussische variant, mogelijk door de onbegrensde aard van de lineaire beloning.

Betekenis en Claims

Het artikel beweert dat CARE-PPO een belangrijke stap voorwaarts is in het betrouwbaar maken van LLM's voor kwantitatieve voorspellingen in veiligheidskritische domeinen. De primaire betekenis ligt in:

Emergente Betrouwbaarheid: Het demonstreert dat betrouwbare betrouwbaarheidsschatting kan emergeren als een bijproduct van standaard actor-critic RL-training wanneer beloningen zijn afgestemd op de voorspellingsfout, waardoor de noodzaak voor complexe post-hoc kalibratie of hulpmodellen wordt weggenomen.
Efficiëntie: De benadering introduceert minimale overhead tijdens de inference (ongeveer 2,4% toename in latentie) omdat de critic slechts één forward pass uitvoert op de voltooide respons.
Generalisatie: Het framework vermindert taakspecifieke overfitting op algemene prompts vergeleken met SFT, waardoor de algemene doelgerichte capaciteiten van het model behouden blijven terwijl ze specialiseren voor kwantitatieve taken.

De auteurs concluderen dat betrouwbaarheid-bewuste taalgebaseerde kwantitatieve voorspelling een veelbelovende richting is, waarbij CARE-PPO een schaalbare en efficiënte oplossing biedt die voorspellingsnauwkeurigheid koppelt aan een betrouwbare onzekerheidsschatting.