Beyond Binary Rewards: Training LMs to Reason About Their Uncertainty

). 2. Een definitief antwoord (). 3. Een analyse van onzekerheid (). 4. Een numerieke betrouwbaarheidsscore (`).

Het trainingsdoel combineert een standaard correctheidsbeloning met een Brier-score, een juiste scoringsregel voor betrouwbaarheidsschatting. De beloningsfunctie $R_{RLCR}$ is gedefinieerd als:
$$R_{RLCR}(y, q, y^*) = \mathbb{1}_{y \equiv y^*} - (q - \mathbb{1}_{y \equiv y^*})^2$$
Waarbij:

• $y$ het door het model voorspelde antwoord is.
• $y^*$ het grond-waarheid antwoord is.
• $q$ de verbaal uitgedrukte betrouwbaarheidsscore is ($q \in [0, 1]$).
• $\mathbb{1}_{y \equiv y^*}$ de indicatorfunctie voor correctheid is.

Theoretische Garanties

Het artikel bewijst dat deze beloningsfunctie zowel nauwkeurigheid als kalibratie stimuleert. Specifiek wordt de verwachte beloning gemaximaliseerd wanneer:

1. Het model het antwoord output met de hoogste waarschijnlijkheid om correct te zijn ($y = \arg\max_{y'} p(y' \equiv y^*)$).
2. De betrouwbaarheidsscore $q$ de ware waarschijnlijkheid van correctheid nauwkeurig weerspiegelt ($q = p(y \equiv y^*)$).

De auteurs tonen aan dat dit geldt voor elke begrenste, juiste scoringsregel. Zij vergelijken dit met de Logaritmische score (log-loss), die hoewel een juiste scoringsregel, onbegrensd is. Theoretische analyse en proefexperimenten tonen aan dat het gebruik van een onbegrensde score zoals log-loss in combinatie met een correctieterm kan leiden tot "reward hacking", waarbij modellen incorrecte antwoorden met nul vertrouwen outputten om de kalibratieterm te maximaliseren ten koste van de nauwkeurigheid.

Belangrijkste Bijdragen en Resultaten

1. Verbeterde Kalibratie Zonder Inleveren van Nauwkeurigheid

Experimenten op HotpotQA (multi-hop redenering) en Big-Math (wiskundige redenering) tonen aan dat RLCR de taaknauwkeurigheid van standaard RLVR evenaart, terwijl het de kalibratie aanzienlijk verbetert.

• In-Distributie: Op HotpotQA verlaagde RLCR de Verwachte Kalibratiefout (ECE) van 0,37 (RLVR) naar 0,03. Op wiskundedatasets daalde de ECE van 0,26 naar 0,10.
• Out-of-Distributie (OOD): Waar standaard RLVR de kalibratie op OOD-taken vaak verslechtert, verbetert RLCR deze. Bijvoorbeeld, op OOD-benchmarks behaalde RLCR een ECE van 0,21 tegenover 0,46 voor RLVR, terwijl het een vergelijkbare nauwkeurigheid handhaafde.

2. De Rol van Expliciete Onzekerheidsredenering

Ablatiestudies tonen aan dat het succes van RLCR voortkomt uit twee onafhankelijke componenten:

• Kalibratiebewuste Beloning: Trainen met de Brier-score-beloning is de primaire drijvende kracht achter de verbeterde kalibratie.
• Expliciete Onzekerheidsredenering: Het prikkelen van modellen om een <analysis> van hun onzekerheid te genereren, verbetert de kalibratie verder, met name voor kleinere modellen of wanneer de capaciteit beperkt is. Zelfs zonder expliciete analyse presteert RLCR echter aanzienlijk beter dan RLVR op het gebied van kalibratie.

3. Schaling tijdens Testtijd en Zelfconsistentie

Het artikel toont aan dat verbaal uitgedrukte betrouwbaarheidsscores van RLCR tijdens de testfase kunnen worden ingezet om de prestaties te verbeteren:

• Op Vertrouwen Gewogen Schaling: Het gebruik van verbaal uitgedrukt vertrouwen om meerderheidsstemmen te wegen of de beste van N-responsen te selecteren, levert hogere nauwkeurigheid en betere kalibratie op dan selectie op basis van waarschijnlijkheid of standaard meerderheidsstemming.
• Zelfconsistentie: RLCR-modellen vertonen een lagere variantie in betrouwbaarheidsscores over meerdere redeneerketens voor hetzelfde antwoord, wat wijst op een stabielere en zelf-consistente schatting van onzekerheid.

4. Generalisatie

De aanpak werd gevalideerd over verschillende model families (Qwen2.5-7B, OlMo-2-7B en Qwen3-8B), waarbij consistente verbeteringen in kalibratie ten opzichte van RLVR-baselines werden aangetoond.

Betekenis en Claims

Het artikel beweert dat het expliciet optimaliseren voor kalibratie via juiste scoringsregels een eenvoudige modificatie is van bestaande trainingspijplijnen voor redenering, die betrouwbaardere redeneringsmodellen oplevert. De auteurs betogen dat:

• Kalibratie leerbaar is: Modellen kunnen worden getraind om niet alleen correct te antwoorden, maar ook om hun eigen zekerheid nauwkeurig te beoordelen.
• Robuustheid: RLCR produceert modellen die robuuster zijn tegen distributieveranderingen en kalibratie behouden waar standaard RL-modellen falen.
• Praktische Nut: De verbaal uitgedrukte betrouwbaarheidsscores zijn niet alleen diagnostisch; ze zijn handelbaar, waardoor methoden voor schaling tijdens de testfase mogelijk worden die zowel nauwkeurigheid als betrouwbaarheid verbeteren zonder externe beloningsmodellen of extra supervisie te vereisen.

De auteurs blijven bescheiden over de resultaten en erkennen dat hoewel RLCR de kalibratiefout aanzienlijk verlaagt, kalibratiefouten buiten het domein in absolute termen nog steeds hoog kunnen zijn, en modellen af en toe hoge vertrouwen toekennen aan tegenstrijdige antwoorden. Niettemin legt dit werk een pad vrij naar redeneersystemen die zowel nauwkeurig zijn als in staat om onzekerheid te communiceren.