Technische Samenvatting: Belonen van Intellectuele Bescheidenheid in Large Language Models

Probleemstelling

Large Language Models (LLM's) genereren regelmatig gehallucineerde of niet-verifieerbare inhoud, met name in feitelijke domeinen, omdat hun trainingsdoelstellingen doorgaans responsgeneratie belonen ongeacht de zekerheid. Bestaande mitigatiestrategieën, zoals Supervised Fine-Tuning (SFT) en Reinforcement Learning from Human Feedback (RLHF), leunen vaak op kostbare menselijke feedback en modelleren onzekerheid niet expliciet of leren modellen niet om zich te onthouden wanneer ze het niet weten. Dit werk adresseert de behoefte aan een trainingsparadigma dat "intellectuele bescheidenheid" — het vermogen om te zeggen "Ik weet het niet" — expliciet stimuleert om hallucinaties te verminderen zonder uitsluitend te vertrouwen op dichte menselijke voorkeursdata.

Methodologie

De auteurs stellen een aangepast Reinforcement Learning with Verifiable Rewards (RLVR)-framework voor. Deze aanpak maakt gebruik van een ternaire beloningsstructuur om het gedrag van het model te sturen:

• Correct antwoord ($r_{correct} = 1$): Beloond.
• Incorrect antwoord ($r_{wrong} = -1$): Bestraft.
• Onthouding ($r_{abs}$): Beloond of bestraft op basis van een instelbare hyperparameter. Het onthoudingstoken wordt gedefinieerd als "Ik weet het niet."

Experimentele Opzet

• Modellen: De studie evalueert Granite-3.3-2B-Instruct en Qwen-3-4B-Instruct.
• Datasets:
  • MedMCQA: Een multiple-choice medische dataset die is uitgebreid met een expliciete "Ik weet het niet"-optie om verificatie te vergemakkelijken.
  • Hendrycks Math: Een dataset van open-ended, meerstaps wiskundige problemen die wordt gebruikt om generalisatie naar scenario's die niet gebaseerd zijn op multiple-choice te testen.
• Trainingsstrategieën: De auteurs vergelijken drie primaire instellingen met behulp van Group Relative Policy Optimization (GRPO):
  1. RL-only: Directe training met het ternaire beloningssignaal.
  2. RL-SFT-Random: Een tweestaps proces waarbij het model eerst via SFT wordt getraind op MedMCQA, waarbij 30% van de grondwaarheden willekeurig is vervangen door "Ik weet het niet" om onthouding te stimuleren, gevolgd door RLVR-fine-tuning.
  3. RL-RTuning: Vergelijkbaar met het bovenstaande, maar de SFT-stap richt zich specifiek op vragen die het basismodel foutief beantwoordde, om het model te leren zich te onthouden (gebaseerd op R-Tuning principes).

Beloningsontwerp

De beloningsfunctie $R(y)$ wordt gedefinieerd als:
R(y) = \begin{cases} 1 & \text{als } y \text{ correct is} \\ r_{abs} & \text{als } y = \text{"Ik weet het niet"} \\ -1 & \text{als } y \text{ incorrect is} \endcases
Voor MedMCQA wordt ook een formaatbeloning toegepast om strikte XML-stijl tagging (<reasoning>, <answer>) af te dwingen, om een verifieerbare outputstructuur te garanderen.

Belangrijkste Resultaten

1. Afruil tussen Accuratesse en Onthouding

De experimenten onthullen een duidelijke, instelbare afruil die wordt gecontroleerd door de onthoudingsbeloning ($r_{abs}$):

• Matige Beloningen: Het instellen van $r_{abs}$ op kleine positieve of licht negatieve waarden (bijv. $-0,25$ tot $0,3$) vermindert consistent incorrecte reacties (hallucinaties) zonder dat dit leidt tot ernstige degradatie in de algehele accuratesse op multiple-choice taken.
• Modelgevoeligheid: Grotere modellen (Qwen-3-4B) vertonen een grotere robuustheid tegen onthoudingsprikkels vergeleken met kleinere modellen (Granite-3.3-2B). Zo verminderde Qwen-3-4B met $r_{abs}=0,3$ op MedMCQA de incorrecte antwoorden van 32,5% naar 10,3%, terwijl de correctheid op 48,0% bleef, hoewel de "Ik weet het niet"-ratio steeg naar 41,0%.

2. Prestaties van Trainingsvarianten

• RL-only: Effectief in het verminderen van hallucinaties op MedMCQA, maar had moeite met Hendrycks Math. De auteurs schrijven dit toe aan "onvoldoende exploratie", waarbij de initiële aarzeling van het basismodel om het "Ik weet het niet"-token te gebruiken voorkomt dat het RL-algoritme het gedrag leert in open-ended scenario's.
• RL-SFT-Random: Deze aanpak slaagde erin het exploratieprobleem te mitigeren. Op Hendrycks Math verminderde het de incorrecte antwoorden met ongeveer 28% met slechts 10% verlies in accuratesse. Echter, op MedMCQA leidde een hogere onthoudingsbeloning in deze setting tot een monotone daling in correctheid, doordat het model overmatig voorzichtig werd.
• RL-RTuning: In tegen tegen de verwachting presteerde deze methode minder goed dan RL-SFT-Random. De auteurs hypothetiseren dat de SFT-stap in RL-RTuning werd gedomineerd door "Ik weet het niet"-reacties (ongeveer 60%), wat ervoor zorgde dat het model zijn vermogen om zelfverzekerd te antwoorden verloor, een staat waar het tijdens de daaropvolgende RL-fase niet van kon herstellen.

3. Open-Ended versus Multiple-Choice

Hoewel het ternaire beloningsschema goed werkte voor gestructureerde multiple-choice vragen, vereiste open-ended QA (Hendrycks Math) de initiële SFT-stap om de terughoudendheid van het model om zich te onthouden te overwinnen. Zonder deze pre-training faalde RL-only in het induceren van onthoudingsgedrag in het open-ended domein.

Betekenis en Claims

Het artikel claimt dat verifieerbaar beloningsontwerp een praktisch, flexibel en kosteneffectief alternatief biedt voor menselijk-zware alignment-methoden voor het mitigeren van hallucinaties. De belangrijkste conclusies zijn:

• Haalbaarheid: Het expliciet belonen van onthouding is een levensvatbare strategie om intellectuele bescheidenheid in LLM's te bevorderen.
• Instelbaarheid: De onthoudingsbeloning ($r_{abs}$) fungeert als een directe controleknop, waardoor gebruikers de afruil tussen voorzichtigheid (verminderen van hallucinaties) en correctheid (behouden van taakaccuratesse) kunnen beheren op basis van specifieke toepassingsbehoeften.
• Schaalbaarheid: De aanpak is bijzonder effectief voor grotere modellen, die een betere interne kalibratie vertonen onder matige onthoudingsprikkels.
• Beperkingen: De studie erkent dat hoewel de methode hallucinaties vermindert, deze niet volledig elimineert, en dat de optimale beloningsstructuur aanzienlijk varieert per model en type dataset (MCQ versus open-ended).

De auteurs concluderen dat hoewel de huidige resultaten veelbelovend zijn, toekomstig werk nodig is om de ratio van onthoudingssamples in SFT-stappen te optimaliseren (ze suggereren 10–30% in plaats van 30% of hoger) om capaciteitsinstorting te voorkomen en de prestaties in open-ended redeneertaken verder te verbeteren.