Technische Samenvatting: Kalibratie van LLM's met Semantisch Niveau Beloning

Probleemstelling

Naarmate Large Language Models (LLM's) worden ingezet in hoog-risicodomeinen zoals medische vraagbeantwoording en juridisch redeneren, is het vermogen om te inschatten wanneer outputs waarschijnlijk correct zijn, van cruciaal belang. Standaard Reinforcement Learning met Verifieerbare Beloningen (RLVR) optimaliseert voor binaire correctheid, maar houdt geen rekening met modelvertrouwen. Deze binaire beloningsstructuur is ongevoelig voor vertrouwensniveaus en prikkelt structureel tot overmoedig gokken, omdat het uiten van zekerheid geen straf met zich meebrengt. Bijgevolg vertonen RL-getrainde modellen vaak een toegenomen hallucinatiegraad en een slechte kalibratie.

Recente pogingen om dit aan te pakken, omvatten het trainen van modellen om verbaliseerde vertrouwensscores (bijvoorbeeld "Ik ben 80% zeker") naast antwoorden te produceren. Het paper betoogt echter dat verbaliseerde vertrouwen een onbetrouwbare proxy is voor onzekerheid. Empirische analyse toont aan dat deze scores zeer gevoelig zijn voor de formulering van prompts en variaties in antwoordtekst, zelfs wanneer de onderliggende semantische betekenis identiek blijft. Verbaliseerde vertrouwen slaagt er vaak niet in de werkelijke distributie van betekenissen die door het model worden gegenereerd, te volgen; het kalibreert dan een rapportage-interface in plaats van de ware semantische onzekerheid van het model.

Methodologie: Kalibratie met Semantische Beloning (CSR)

De auteurs stellen Kalibratie met Semantische Beloning (CSR) voor, een raamwerk dat LLM's direct in de semantische ruimte kalibreert, waarbij de noodzaak voor expliciete interfaces voor vertrouwensrapportage wordt omzeild.

Kernconcept

CSR vormt kalibratie in termen van onzekerheid op semantisch niveau: de distributie van betekenissen die een model produceert wanneer het herhaaldelijk wordt bemonsterd vanuit dezelfde vraag. Een model wordt als goed gekalibreerd beschouwd als:

1. Correcte voorspellingen een geconcentreerde semantische cluster vormen (hoge semantische overeenstemming).
2. Onjuiste voorspellingen verspreide, semantisch diverse outputs opleveren (lage semantische overeenstemming).

Onzekerheid wordt post hoc geschat vanuit de antwoorddistributie met behulp van Semantische Entropie, zonder dat het model een vertrouwens-token hoeft te genereren.

Beloningsstructuur

CSR maakt gebruik van een dubbel-beloningssysteem dat wordt geoptimaliseerd via Group Relative Policy Optimization (GRPO):

1. Verifieerbaar Correctheidsbeloning ($r_{RLVR}$): Een standaard binaire beloning ($1$ als de rollout overeenkomt met de grondwaarheid, $0$ anderszins). Dit verschuift de waarschijnlijkheidsmassa naar correcte semantische modi.
2. Semantische Kalibratiebeloning ($r_{calibration}$): Een nieuwe beloning die de paarsgewijze semantische overeenstemming afstemt op correctheid.
   • Voor een groep van $K$ rollouts straft de beloning een rollout $C^{(j)}$ af als zijn overeenstemming met andere rollouts $C^{(i)}$ niet overeenkomt met zijn correctheid ten opzichte van de grondwaarheid.
   • Specifiek minimaliseert het de binaire cross-entropy tussen de paarsgewijze overeenstemmingsindicator $J(C^{(j)}, C^{(i)})$ en de correctheidsindicator $J(C^{(j)}, C^*)$.
   • Effect: Dit moedigt correcte rollouts aan om met elkaar overeen te komen (dichte clusters vormen) en onjuiste rollouts om het oneens te zijn (exploratie stimuleren weg van onjuiste modi).

Trainingsdoel

De auteurs merken op dat het optimaliseren van de kalibratiebeloning in isolatie leidt tot degeneratieve faalmodi (ofwel instorten tot één enkel onjuist antwoord, ofwel het genereren van maximaal diverse onjuiste antwoorden). Om dit te voorkomen, hanteren ze een Curriculum Learning-schema:
$$r_{CSR}^{(j)}(t) = r_{RLVR}^{(j)} + \lambda(t) r_{calibration}^{(j)}$$
waarbij $\lambda(t)$ een niet-dalende functie is (in experimenten een lineair schema gebruikt). Dit zorgt ervoor dat het model eerst een niet-nul nauwkeurigheid vestigt via $r_{RLVR}$ voordat het kalibratiesignaal de distributiestructuur vormt.

Integratie

CSR integreert naadloos met GRPO. Omdat GRPO al een groep rollouts bemonstert om voordelen te berekenen, maakt CSR gebruik van dezezelfde groep om paarsgewijze semantische overeenstemming te evalueren, wat geen extra bemonsteringskosten met zich meebrengt.

Belangrijkste Bijdragen

1. Semantische Kalibratieformulering: Een verschuiving van verbaliseerde vertrouwen naar onzekerheid op semantisch niveau, wat een principiële alternatief biedt voor prompt-afhankelijke vertrouwensinterfaces.
2. CSR-raamwerk: Een reinforcement learning-methode die paarsgewijze semantische overeenstemming afstemt op correctheid, waardoor modellen gekalibreerde onzekerheid kunnen leren zonder expliciete supervisie voor vertrouwen.
3. Empirische Validatie: Gedemonstreerd over drie model families (Llama, Qwen, Mistral) en vier QA-datasets (HotpotQA, TriviaQA, MSMARCO, NQ-Open).

Experimentele Resultaten

Experimenten werden uitgevoerd op 10.000 HotpotQA-trainingsexamples, met evaluatie op 1.000 examples per dataset (inclusief out-of-distribution sets).

• Kalibratieprestaties: CSR bereikte consistent de laagste Expected Calibration Error (ECE) en de hoogste Area Under the ROC Curve (AUROC) in bijna alle instellingen.
  • ECE-reductie: Tot 40% reductie vergeleken met baselines met verbaliseerde vertrouwen (RD, RLCR).
  • AUROC-verbetering: Tot 31% verbetering ten opzichte van baselines met verbaliseerde vertrouwen.
  • Generalisatie: CSR behield sterke kalibratieprestaties op out-of-distribution (OOD) datasets, terwijl methoden met verbaliseerde vertrouwen inconsistente winsten vertoonden.
• Nauwkeurigheid: CSR behield een concurrerende nauwkeurigheid met standaard RLVR, en vermijdt de instorting van nauwkeurigheid die wordt gezien bij het optimaliseren van kalibratiebeloningen in isolatie.
• Efficiëntie:
  • Tokenkosten: De tokenkosten van CSR waren vergelijkbaar met Base- en RLVR-modellen en significant lager (2,7x–5,7x) dan RLCR, wat sequentieel redeneren en het genereren van vertrouwen vereist.
  • Efficiëntie van de Judge: De auteurs onderzochten het vervangen van de op LLM gebaseerde semantische judge door een lichtgewicht F1-drempel op token-niveau. Hoewel de LLM-judge robuuster was, behield de F1-surrogaat het grootste deel van de kalibratiewinst van CSR, wat een reken-efficiënt alternatief biedt.
• Robuustheid: Kalibratiewinsten bleven bestaan over verschillende rollout-budgetten ($K$) en waren robuust ten opzichte van de keuze van het curriculum-schema.

Betekenis en Claims

Het paper beweert dat CSR de fundamentele beperking van methoden met verbaliseerde vertrouwen aanpakt: hun afhankelijkheid van een rapportage-interface die gevoelig is voor oppervlaktevorm en promptvariaties. Door de semantische distributie van het model direct te kalibreren, bereikt CSR:

• Robuuste Generalisatie: Kalibratiegedrag wordt effectief overgedragen naar nieuwe datasets met verschillende lexicaal inhoud maar vergelijkbare structuren van semantische onzekerheid.
• Betrouwbaarheid: Het biedt een betrouwbaarder onzekerheidssignaal voor downstream besluitvorming in hoog-risicostellingen.
• Praktijktoepasbaarheid: Het vermijdt parse-fouten en formaatbeperkingen die geassocieerd zijn met verbaliseerde vertrouwen (bijvoorbeeld de redeneersporen van RLCR of de gehele binaire bakken van RD), en bereikt een parse-ratio van 100% over alle geteste configuraties.

De auteurs concluderen dat kalibratie op semantisch niveau een veelbelovende richting voor betrouwbare onzekerheidsschatting vertegenwoordigt, hoewel ze de rekenkundige overhead van het beoordelen van semantische equivalentie erkennen als een huidige beperking, en toekomstig werk voorstellen op regelgebaseerde consistentiemeetwaarden.