💬 NLP

Aligning Language Models with Selective Prediction

Dit artikel stelt Reinforcement Learning for Selection Reward (RLSR) voor, een nieuw post-training alignment-framework dat grote taalmodellen optimaliseert voor selectieve voorspelling door direct te richten op de oppervlakte onder de risico-dekkingcurve (AURC), waardoor de risico-dekking-trade-off aanzienlijk wordt verbeterd en de betrouwbaarheid in scenario's met hoge inzet wordt versterkt.

Oorspronkelijke auteurs: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gaoxiang Luo, Yifan Wu, Sinian Zhang, Aryan Deshwal, Ju Sun

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De Overmoedige AI

Stel je voor dat je een zeer slimme maar overmoedige assistent inhuurt om je te helpen bij belangrijke beslissingen, zoals het diagnosticeren van een patiënt of het analyseren van een aandeel. Deze assistent (de AI) is geweldig in het beantwoorden van vragen, maar heeft een slechte gewoonte: hij geeft nooit toe dat hij het niet weet. Zelfs als hij aan het gokken is, spreekt hij met 100% zekerheid.

In situaties met een hoog risico (zoals in de rechtspraak of de geneeskunde) is een zelfverzekerde fout gevaarlijk. Je hebt liever dat de assistent zegt: "Ik weet het niet zeker, laat een mens dit even controleren," dan dat hij je vol vertrouwen het verkeerde antwoord geeft. Dit is de kern van het probleem dat dit artikel aanpakt: Hoe leren we een AI om te weten wanneer hij stil moet blijven?

De Oplossing: "Selectieve Voorspelling"

Het artikel stelt een strategie voor genaamd Selectieve Voorspelling (Selective Prediction). Denk hierbij aan het leren van de AI om een "selectief filter" te zijn.

In plaats van elke vraag te beantwoorden, wordt de AI getraind om:

Alleen de vragen te beantwoorden waar hij zeer zeker van is.
Zich te onthouden (te zeggen "Ik weet het niet") bij de vragen waar hij onzeker over is.

Door de risicovolle gokken weg te filteren, stijgt de algehele nauwkeurigheid van de AI op de vragen die hij wel beantwoordt aanzienlijk.

Waarom Vorige Methoden Niet Werkten

De auteurs leggen uit dat eerdere pogingen om dit op te lossen vertrouwden op Kalibratie.

De Kalibratie-analogie: Stel je een weerman voor die zegt: "Er is een kans van 70% op regen." Als het in 7 van de 10 gevallen regent wanneer hij dat zegt, is hij "gekalibreerd".
De Gebrekkigheid: Het artikel betoogt dat "gekalibreerd" zijn niet genoeg is. Je kunt een weerman hebben die perfect gekalibreerd is, maar die een "misschien"-antwoord nog steeds hoger inschat dan een "definitief"-antwoord.
Het Inzicht van het Artikel: Wat je echt nodig hebt is niet alleen een weerman die eerlijk is over zijn kansen; je hebt een rechter nodig die antwoorden perfect kan sorteren van "meest waarschijnlijk juist" naar "meest waarschijnlijk onjuist". Het artikel noemt dit Selectieve Voorspelling, en het is een ander doel dan alleen "gekalibreerd" zijn.

De Nieuwe Methode: RLSR (Reinforcement Learning voor Selectiebeloning)

De auteurs hebben een nieuwe trainingsmethode ontwikkeld genaamd RLSR. Hier is hoe het werkt, met een eenvoudige metafoor:

De "Sorteerhoed"-analogie:
Stel je voor dat de AI een student is die een toets maakt.

Oude Methode (RLVR): De leraar geeft alleen punten voor het juiste antwoord. Als de student correct gokt, krijgt hij een punt. Als de student het fout heeft, krijgt hij niets. De student leert om alles te beantwoorden, zelfs als hij maar aan het gokken is.
Nieuwe Methode (RLSR): De leraar verandert de regels. De leraar geeft niet alleen om of het antwoord juist of onjuist is; de leraar geeft om de rangschikking.
- De leraar kijkt naar al de antwoorden van de student en zegt: "Ik wil dat de antwoorden waarvan je het meest zeker bent, de juiste zijn, en de antwoorden waarvan je het minst zeker bent, de onjuiste zijn."
- Als de student een moeilijke vraag goed beantwoordt maar zegt dat hij slechts "50% zeker" is, krijgt hij een kleine beloning.
- Als de student een makkelijke vraag fout heeft maar zegt dat hij "99% zeker" is, krijgt hij een enorme straf.
- Als de student een moeilijke vraag goed beantwoordt en zegt "99% zeker", krijgt hij een enorme beloning.

Deze methode, genaamd RLSR, gebruikt een speciaal scoresysteem (gebaseerd op een metriek genaamd AURC) dat de AI beloont voor het creëren van een duidelijke kloof tussen zijn "zekere" antwoorden en zijn "onzekere" antwoorden.

De Resultaten: Een Beter Filter

Het artikel heeft deze nieuwe methode getest op diverse moeilijke taken (zoals wiskundeproblemen en complexe trivia) en vergeleken met de oude methoden.

De Uitkomst: De AI die getraind is met RLSR werd veel beter in het weten wanneer hij moest spreken en wanneer hij stil moest blijven.
Het Bewijs: Wanneer de onderzoekers een regel instelden zoals "Beantwoord alleen als je 90% zeker bent", was de met RLSR getrainde AI aanzienlijk nauwkeuriger dan de andere modellen. Het slaagde erin om de "zelfverzekerde fouten" weg te filteren die de andere modellen bleven maken.
Real-World Test: Ze hebben het zelfs getest op een medische dataset (MedQA). Wanneer ze de AI dwongen om alleen vragen te beantwoorden waarbij hij een hoog niveau van nauwkeurigheid kon garanderen, was het RLSR-model het enige model dat consistent aan die hoge veiligheidsstandaard kon voldoen.

Samenvatting

Kortom, dit artikel leert AI-modellen om te stoppen met "zelfverzekerd gokken". In plaats van te proberen over alles gelijk te hebben, leert de AI een slimme poortwachter te zijn. Het leert te zeggen: "Dit weet ik," en "Dat weet ik niet," waardoor het gegarandeerd is dat wanneer het spreekt, het zeer waarschijnlijk correct is. Dit maakt AI veel veiliger en betrouwbaarder voor kritieke banen in de echte wereld.

Technische Samenvatting: Het afstemmen van taalmodellen op selectieve voorspelling

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet in domeinen met een hoog risico, zoals de financiële sector, de gezondheidszorg en de juridische wereld. In deze omgevingen wegen de kosten van een foutieve beslissing vaak aanzienlijk zwaarder dan de kosten van het overdragen aan een mens. Standaard trainingsparadigma's voor LLM's vereisen dat modellen elke query beantwoorden, ongeacht hun interne zekerheid, wat leidt tot "zelfverzekerde fouten" en hallucinaties.

Hoewel Confidence Calibration (CC) (vertrouwenskalibratie) vaak wordt beschouwd als een vereiste voor Selective Prediction (SP) (selectieve voorspelling), betogen de auteurs dat CC noch voldoende, noch noodzakelijk is voor effectieve SP.

CC zorgt ervoor dat toegewezen vertrouwensscores overeenkomen met de werkelijke waarschijnlijkheid van correctheid (bijv. een vertrouwen van 80% impliceert een kans van 80% om het goed te hebben).
SP vereist dat correcte voorspellingen hoger worden gerangschikt dan incorrecte voorspellingen op basis van vertrouwen, waardoor het model kan afzien van vragen met een laag vertrouwen om de foutmarge op de geselecteerde subset te verlagen.

Het artikel demonstreert dat perfecte kalibratie geen perfecte selectieve voorspelling garandeert (zoals getoond in Fig. 1), en omgekeerd dat perfecte SP kan bestaan met slecht gekalibreerd vertrouwen als de rangschikking correct is. Bestaande afstemmingsmethoden, zoals Reinforcement Learning with Verifiable Rewards (RLVR) en Reinforcement Learning with Calibration Rewards (RLCR), richten zich op respectievelijk nauwkeurigheid of kalibratiemetrieken, maar falen in het direct optimaliseren van de risico-dekking-trade-off die vereist is voor SP.

Methodologie: Reinforcement Learning for Selection Reward (RLSR)

De auteurs stellen RLSR voor, een nieuw afstemmingsframework dat LLM's direct optimaliseert voor de prestaties van selectieve voorspelling met behulp van het Group Relative Policy Optimization (GRPO) algoritme. Het kerndoel is het minimaliseren van de Area Under the Risk-Coverage Curve (AURC) (oppervlakte onder de risico-dekking-curve), een standaardmetriek die de trade-off tussen de foutmarge (risico) en de proportie van ingevoerde gegevens die worden beantwoord (dekking) samenvat.

Belangrijke technische uitdagingen en oplossingen

Het integreren van AURC in een reinforcement learning-framework brengt twee primaire uitdagingen met zich mee, die RLSR aanpakt via specifieke innovaties:

Sleek en eenzijdig beloningssignaal:
- Uitdaging: De canonieke AURC-formulering straft alleen fouten (incorrecte voorspellingen) af en biedt geen beloningssignaal voor correcte voorspellingen. Dit leidt tot schaarse leerprocessen en faalt in het afdwingen van een marge tussen het vertrouwen van correcte en incorrecte antwoorden.
- Oplossing: De auteurs introduceren een Lifted AURC-doelstelling. Ze herformuleren de binaire foutindicator $I\{f(x) \neq y\}$ naar een gesigneerde variabele $(2I\{f(x) \neq y\} - 1) \in \{-1, +1\}$ . Dit creëert een "push-pull"-dynamiek waarbij correcte voorspellingen positieve beloningen ontvangen en incorrecte voorspellingen negatieve beloningen, wat het model actief stimuleert om de vertrouwensverdelingen van correcte en incorrecte antwoorden van elkaar te scheiden.
Globale afhankelijkheid van rangschikking:
- Uitdaging: AURC is een populatieniveau-metriek die afhankelijk is van de globale rangschikking van de vertrouwensscores van alle monsters. Standaard mini-batch stochastic gradient descent (SGD) kan geen globale rangschikkingen berekenen zonder over de gehele dataset te itereren, wat het doel van efficiënte batch-training ondermijnt.
- Oplossing: RLSR maakt gebruik van een Batch Training Strategy. Voor elke trainingsstap genereert het model $G$ rollouts voor elke $B$ prompts. Deze $B \times G$ monsters worden samengevoegd tot een "effectieve batch". Rangen en gewichten worden berekend binnen deze samengevoegde batch om de globale AURC te benaderen. Dit maakt het algoritme compatibel met standaard GRPO terwijl de AURC op populatieniveau wordt benaderd.

Algoritme Overzicht

De beloningsfunctie $R_{RLSR}$ voor een monster $i$ is gedefinieerd als:
$R_{RLSR}(y_i, \hat{y}_i, s_i) = \begin{cases} +\hat{\alpha}_i & \text{indien } \hat{y}_i = y_i \\ -\hat{\alpha}_i & \text{indien } \hat{y}_i \neq y_i \end{cases}$
waarbij $\hat{\alpha}_i$ een gewicht is afgeleid van de rang van het monster binnen de effectieve batch (gebaseerd op de harmonische getal-formulering van AURC). Het model wordt vervolgens bijgewerkt met behulp van de GRPO-advantage functie, die beloningen normaliseert binnen groepen rollouts voor dezelfde prompt.

Belangrijkste Bijdragen

Directe SP-afstemming: Dit is het eerste werk dat voorstelt om gepre-trainde LLM's direct af te stemmen op selectieve voorspellingsmetrieken, in plaats van te vertrouwen op tussenliggende doelstellingen zoals kalibratie.
RLSR-framework: De introductie van een nieuw afstemmingsframework dat een Lifted AURC-doelstelling en een batch-gebaseerde trainingsstrategie gebruikt om de technische hindernissen te overwinnen van het optimaliseren van AURC via RL.
Empirische Superioriteit: Uitgebreide experimenten die aantonen dat RLSR beter presteert dan sterke baselines (RLVR en RLCR) in zowel in-domain als out-of-domain instellingen.

Experimentele Resultaten

De auteurs evalueerden RLSR op Qwen2.5-7B en Llama-3.1-8B modellen over meerdere datasets (HotPotQA, BigMath, en diverse OOD-benchmarks zoals GSM8K, GPQA, en MedQA).

Risico-dekking Trade-off: RLSR behaalde consistent lagere AURC-scores (wat duidt op betere prestaties) vergeleken met RLVR en RLCR. Bijvoorbeeld, op HotPotQA (in-domain) behaalde RLSR een AURC van 0,44, wat aanzienlijk beter is dan RLVR (0,56) en RLCR (0,51).
Nauwkeurigheid bij Lage Dekking: In scenario's met een hoog risico waar een lage dekking acceptabel is voor een hoge nauwkeurigheid, toonde RLSR superieure prestaties. Bij 10% dekking op HotPotQA bereikte RLSR een nauwkeurigheid van 66,0%, vergeleken met 45,5% voor RLVR en 53,5% voor RLCR.
Out-of-Domain (OOD) Generalisatie: RLSR behield sterke prestaties op OOD-taken, terwijl RLVR en RLCR vaak verslechterden of inconsistente verbeteringen lieten zien. Dit suggereert dat RLSR een robuustere rangschikking van vertrouwen leert in plaats van te overfitten op specifieke distributionele eigenschappen.
Risico-gecontroleerde Implementatie: In een gesimuleerde medische implementatie (MedQA) met een doel nauwkeurigheid van 75%, was RLSR de enige methode die in staat was de doel nauwkeurigheid te bereiken terwijl een redelijke dekkingsgraad werd gehandhaafd. RLVR slaagde er niet in de doel nauwkeurigheid te bereiken, ongeacht de drempelwaarde, en de prestaties van RLCR daalden aanzienlijk op de testset vergeleken met de validatieset.
Vertrouwensscheiding: Analyse van de vertrouwensverdelingen (Fig. 3) bevestigde dat de Lifted AURC-beloning succesvol een grotere marge (kloof) heeft gecreëerd tussen de vertrouwensscores van correcte en incorrecte voorspellingen vergeleken met standaard AURC of kalibratiegebaseerde beloningen.

Betekenis en Claims

Het artikel claimt dat RLSR een gefundeerde aanpak biedt voor het verbeteren van de betrouwbaarheid van LLM's voor real-world implementatie. Door de risico-dekking-trade-off direct te optimaliseren, stelt RLSR LLM's in staat om effectief "af te zien" van het beantwoorden wanneer ze onzeker zijn, waardoor de foutmarges in kritieke toepassingen worden verminderd zonder dat er voor elke query menselijke tussenkomst nodig is.

De auteurs benadrukken dat hoewel kalibratie (ECE) een nuttige metriek is, het geen proxy is voor de prestaties van selectieve voorspelling. Het optimaliseren voor kalibratie leidt niet noodzakelijkerwijs tot een betere rangschikking van correcte versus incorrecte antwoorden, wat de fundamentele vereiste is voor SP. Daarom vertegenwoordigt RLSR een directere en effectievere weg naar het inzetten van LLM's in omgevingen met een hoog risico waar foutcontrole van cruciaal belang is.

Beperkingen: De auteurs merken op dat hun huidige afstemming zich richt op de holistische AURC-metriek. Ze erkennen dat in praktische situaties met een hoog risico vaak vooraf een specifiek risiconiveau bekend is, wat suggereert dat toekomstig werk een risicogeperst maximale dekkingsdoelstelling zou kunnen formuleren.