Technische Samenvatting: Retrieval-Augmented Linguistic Calibration (RALC)

Probleemstelling

Betrouwbare schatting van vertrouwen is cruciaal voor de betrouwbare implementatie van Large Language Models (LLMs) in menselijke besluitvorming. Hoewel bestaande methoden vertrouwen voorstellen als scalair waarschijnlijkheidswaarden (bijvoorbeeld token-niveau waarschijnlijkheden of verbaal uitgedrukte scores), worstelen mensen met het nauwkeurig redeneren met numerieke waarschijnlijkheden. Bijgevolg worden linguïstische markers (bijvoorbeeld "waarschijnlijk", "kan") verkiest als natuurlijke interfaces. Het behandelen van deze markers als scalairen gooit echter de inherente subjectiviteit van linguïstische interpretatie overboord: verschillende lezers koppelen dezelfde uitdrukking aan verschillende waargenomen waarschijnlijkheidswaarden. Bovendien vormen gelijktijdig optredende linguïstische aanwijzingen en contextuele variaties unieke uitdagingen die scalaire representaties niet kunnen vastleggen. Huidige post-hoc kalibratiemethoden werken uitsluitend in numerieke ruimte, zonder mechanismen om gekalibreerde signalen terug te leiden naar natuurlijke taal, terwijl bestaande linguïstische strategieën vaak fungeren als black-box procedures zonder principieel beheer.

Methodologie

1. Distributionele Modellering van Linguïstisch Vertrouwen

De auteurs modelleren linguïstisch vertrouwen niet als een enkel scalar, maar als een verdeling over plausibele waargenomen waarschijnlijkheidswaarden dat een stelling correct is.

• Formalisme: Vertrouwen wordt weergegeven als een Beta-verdeling, $S = \text{Beta}(\alpha, \beta)$.
  • Het gemiddelde $\mu = \alpha/(\alpha+\beta)$ vangt de centrale tendens van waargenomen vertrouwen over lezers heen.
  • De concentratie $\kappa = \alpha + \beta** codeert de sterkte van overeenstemming (variantie) onder lezers.
• Schatting: Een vertrouwensschatting $g** koppelt een antwoord $R$ aan een Beta-verdeling. Dit wordt geparametriseerd door het aanpassen van een Beta-verdeling aan scores gegenereerd door een ensemble van LLMs die fungeren als surrogaat voor een menselijk publiek, waarmee het samenspel van meerdere linguïstische aanwijzingen en context wordt vastgelegd.

2. Faithfulness Divergentie (FD)

Om vertrouwen te evalueren voorbij kalibratie op populatieniveau (Expected Calibration Error, ECE), introduceert het artikel Faithfulness als een dimensie op instance-niveau.

• Definitie: Faithfulness meet de "verassing" die wordt veroorzaakt in de overtuigingen van het publiek bij de onthulling van de grondwaarheid.
• Meting: Faithfulness Divergentie (FD) wordt gedefinieerd als een concentratie-gewogen Bayesiaanse updatekosten:
  $$FD_i := (\alpha_i + \beta_i) \cdot \text{KL}(S^*_i \parallel S_i)$$
  waarbij $S_i$ de a priori verdeling is en $S^*_i$ de a posteriori verdeling bijgewerkt met het grondwaarheidslabel $y_i$.
• Redenering: FD kwantificeert de informationeel-theoretische verrassing, waarbij de KL-divergentie wordt gewogen door de concentratie (effectieve steekproefgrootte). Een hoge-concentratie, misaligneerde overtuiging incasseert een hogere straf (verassing) dan een lage-concentratie misalignering, wat de intuïtie weerspiegelt dat sterk gehanteerde onjuiste overtuigingen verrassender zijn.

3. Retrieval-Augmented Linguistic Calibration (RALC)

RALC is een lichtgewicht, post-hoc pijplijn die ruwe LLM-antwoorden transformeert in gekalibreerde en faithfulness outputs direct in linguïstische ruimte. De pijplijn bestaat uit drie fasen:

1. Calibratie in Signaalruimte: Het geschatte gemiddelde van de vertrouwensverdeling wordt gekalibreerd met Platt scaling (logistische regressie) tegen binaire correctheidlabels. De concentratieparameter wordt behouden, aangezien deze de sterkte van overeenstemming vertegenwoordigt en geen doelwit is voor kalibratie.
2. Lexiconconstructie: Een vooraf gebouwd lexicon koppelt verzachtende uitdrukkingen (bijvoorbeeld "neigen tot", "zeker") aan hun corresponderende Beta-verdelingen van waargenomen vertrouwen. Deze verdelingen worden afgeleid door een ensemble van LLMs niet-verifieerbare stellingen met specifieke verzachtende aanwijzingen te laten evalueren.
3. Retrieval-Augmented Herschrijving: De gekalibreerde verdeling dient als een retrieval-signaal. Het systeem voert een tweestaps K-Nearest Neighbors (KNN)-zoekopdracht uit:
   • Shortlisting: Gebaseerd op de absolute afstand tussen het gekalibreerde gemiddelde en de gemiddelden van lexiconvermeldingen.
   • Ranking: Gebaseerd op de 1-Wasserstein-afstand om zowel de centrale tendens als de spreiding (concentratie) van de verdeling te matchen.
   • Herschrijving: De top-$k$ opgehaalde verzachtende uitdrukkingen worden samen met het originele antwoord doorgegeven aan een LLM-editor om de tekst te herschrijven, zodat de waargenomen vertrouwen van het nieuwe antwoord overeenkomt met het gekalibreerde signaal.

De pijplijn is compatibel met diverse upstream signalen, waaronder linguïstisch vertrouwen, token-waarschijnlijkheid en semantische onzekerheid (afgeleid van self-consistency sampling).

Belangrijkste Bijdragen

1. Distributioneel Kader: Het formaliseren van linguïstisch vertrouwen als een Beta-verdeling om het samenspel van aanwijzingen en variabiliteit in lezersinterpretatie vast te leggen, verdergaand dan discrete mapping en scalaire kwantificatie.
2. Faithfulness-maatstaf: Het introduceren van Faithfulness Divergentie (FD) als een nieuwe evaluatiedimensie op instance-niveau die de informationeel-theoretische verrassing van vertrouwensovertuigingen bij waarheidsonthulling kwantificeert, waarmee de beperkingen van scalaire maatstaven zoals Brier-score en NLL in distributionele settings worden aangepakt.
3. RALC-pijplijn: Het voorstellen van een generaliseerbaar, post-hoc kader dat vertrouwen kalibreert in linguïstische ruimte via retrieval-augmented herschrijving, compatibel met diverse vertrouwensschattingssignalen.

Experimentele Resultaten

Het kader werd geëvalueerd over vijf LLM-families (GPT-OSS-20B, Llama-3.1-8B, Qwen3-8B, Mistral-7B, Gemma-4-31B) en drie benchmarks (MMLU, SQuAD 2.0, TruthfulQA).

• Prestatiewinst: RALC verbeterde de in-domain faithfulness met tot 66% en kalibratie (gegeneraliseerde ECE) met tot 58% vergeleken met pre-calibratie baselines.
• Vergelijking: RALC presteerde beter dan zowel black-box baselines (Hedged QA, dat vraagt om verzachting zonder gekalibreerde signalen) als grey-box baselines (Direct Beta-Guided Rewrite, dat gestructureerde lexicon-retrieval mist).
• Signaalrobustheid: Semantische onzekerheid bleek het meest robuuste vertrouwenssignaal, wat de sterkste verbeteringen opleverde in zowel kalibratie als faithfulness over alle domeinen heen.
• Cross-Domein Transfer: De pijplijn toonde sterke overdraagbaarheid; in sommige gevallen presteerden cross-domein kalibratoren beter dan in-domain kalibratoren wanneer het doeldomein een zwakke miscalibratie-bias had, waardoor een bron met een sterkere bias een meer beslissende correctie kon leren.
• Validatie van Maatstaven: Experimenten bevestigden dat FD verrassingsniveaus correct rangschikt die consistent zijn met distributionele profielen (met name het straffen van hoge-concentratie misaligneringen), terwijl KL-divergentie, Brier-score en NLL faalden om deze ordening te herstellen.

Betekenis

Het artikel betoogt dat linguïstisch vertrouwen inherent distributioneel is vanwege de subjectiviteit van interpretatie. Door deze verdeling te modelleren en Faithfulness in te voeren als een complementaire evaluatiedimensie, biedt het werk een principieel manier om te beoordelen hoe goed de uitgedrukte vertrouwen van een model op instance-niveau overeenkomt met de werkelijkheid. De RALC-pijplijn demonstreert dat gekalibreerde vertrouwenssignalen effectief kunnen worden teruggeleid naar natuurlijke taal via retrieval-augmented herschrijving, wat een schaalbare, post-hoc oplossing biedt die de betrouwbaarheid van LLMs verbetert zonder toegang tot modelinterne details of hertraining te vereisen. De resultaten suggereren dat gestructureerde lexicon-retrieval superieur is aan onbeperkte generatie voor het aligneren van linguïstische output met gekalibreerd vertrouwen.