Technische Samenvatting: Dubbele Kalibratie voor Betrouwbare LLM's via Kalibratie van Kennis en Redeneervertrouwen

1. Probleemstelling

Grote Taalmodellen (LLM's) lijden aan hallucinaties en onbetrouwbaar redeneren, gedreven door zowel intrinsieke epistemische onzekerheid (kennislacunes) als extrinsieke aleatorische onzekerheid (data-ambiguïteit). Hoewel Retrieval-Augmented Generation verrijkt met Kennisgrafieken (KG-RAG) is opgekomen als een leidende paradigma om de feitelijke nauwkeurigheid te verbeteren door gestructureerd bewijsmateriaal op te halen, vertonen huidige methoden een kritiek gebrek: ze gaan ervan uit dat opgehaald bewijsmateriaal altijd voldoende en zeker is.

In de praktijk kan opgehaald bewijsmateriaal ruis, onvolledigheid of ambiguïteit bevatten. Bestaande KG-RAG-benaderingen slagen er niet in om de onzekerheid van het opgehaalde bewijsmateriaal zelf te kwantificeren. Bijgevolg kunnen LLM's zelfverzekerd gestelde maar onjuiste voorspellingen doen wanneer ze vertrouwen op gedeeltelijk of gebrekkig bewijsmateriaal. Bovendien richten bestaande methoden voor Onzekerheidskwantificatie (UQ) voor LLM's zich voornamelijk op het kalibreren van het vertrouwen in de uiteindelijke output. Deze methoden vertrouwen vaak op de interne toestanden van het model of zelfevaluatie, waardoor ze ondoorzichtig en niet-traceerbaar zijn. Ze kunnen niet onderscheiden of onzekerheid voortkomt uit gebrekkig bewijsmateriaal, redeneertekorten of taakcomplexiteit, waardoor ze niet effectief kunnen samenwerken met KG-RAG om een stapsgewijs gekalibreerd beeld van de redeneerketen te bieden.

2. Methodologie: DoublyCal

Om deze hiaten aan te pakken, stellen de auteurs DoublyCal voor, een raamwerk gebaseerd op een nieuw principe van dubbele kalibratie. Deze aanpak schat expliciet vertrouwen in en maakt dit traceerbaar, van het opgehaalde KG-bewijsmateriaal tot de uiteindelijke LLM-voorspelling. Het raamwerk werkt via drie kerncomponenten:

2.1 Bayesiaanse Kalibratie van KG-Bewijsmateriaal

Het raamwerk formaliseert KG-bewijsmateriaal eerst als beperkte relationele paden. In tegenstelling tot eenvoudige relationele paden of subgrafieken, bestaan deze paden uit een kernrelationeel pad verrijkt met een optionele beperking afgeleid van de buurt van het kandidaatantwoord, waarbij een evenwicht wordt gezocht tussen informatiewaarde en interpreteerbaarheid.

Om een statistisch onderbouwde betrouwbaarheidsschatting voor elk bewijspad te verkrijgen, maken de auteurs gebruik van een Beta-Bernoulli-model:

• De correctheid van een kandidaatantwoord gegeven bewijsmateriaal wordt gemodelleerd als een Bernoulli-verdeling met parameter $p$.
• Om rekening te houden met onvolledigheid van de KG en schaarse gronding, wordt een geconjugeerde Beta-prior ($p \sim \text{Beta}(\alpha, \beta)$) opgelegd.
• De gekalibreerde betrouwbaarheidsscore wordt berekend als het posterior-gemiddelde, waarbij empirische nauwkeurigheid wordt gecombineerd met een prior-overtuiging (bijvoorbeeld met behulp van een Jeffreys-prior $\alpha=\beta=0.5$). Dit voorkomt oververtrouwen in gevallen waarin het aantal opgehaalde kandidaten klein is.

2.2 Proxy-model voor Bewijsgeneratie en Kalibratie

Aangezien de Bayesiaanse berekening retrospectief is, wordt een lichtgewicht LM-gebaseerde Bewijsgenerator (Proxy-model) getraind om prospectief bewijsmateriaal op te halen en vertrouwen te schatten tijdens inferentie. De training omvat twee fasen:

1. Supervised Fine-Tuning (SFT): Het proxy-model wordt getraind om KG-bewijspaden en hun corresponderende Bayesiaanse betrouwbaarheidsscores te genereren, waarbij het de statistische signatuur nabootst.
2. Versterkingslering (RL): Het proxy-model wordt verder verfijnd met Group Relative Policy Optimization (GRPO). De beloningsfunctie optimaliseert gezamenlijk voor inferentiekwaliteit (het overeenkomen met gouden bewijsmateriaal) en kalibratie-afstemming (het minimaliseren van het verschil tussen de voorspelde betrouwbaarheid en de Bayesiaanse grondwaarheid).

2.3 LLM-redenering met Gekalibreerd Bewijsmateriaal

Tijdens inferentie genereert het getrainde proxy-model een reeks kandidaat-bewijsmateriaal-vertrouwensparen. Deze paren worden verbaal gemaakt en geïntegreerd in de prompt voor een black-box primaire LLM. De LLM krijgt de instructie om te redeneren over deze paden en hun bijbehorende betrouwbaarheidsscores om een definitief antwoord en een goed gekalibreerde voorspellingsbetrouwbaarheid te produceren. Hiermee wordt een traceerbare keten tot stand gebracht waarbij het uiteindelijke vertrouwen is verankerd in verifieerbaar, gekalibreerd bewijsmateriaal en niet alleen in de interne staat van de LLM.

3. Belangrijkste Bijdragen

• Principe van Dubbele Kalibratie: Het artikel vestigt een nieuw paradigma dat expliciete betrouwbaarheidskalibratie vereist voor zowel het opgehaalde KG-bewijsmateriaal als de uiteindelijke LLM-voorspellingen, en voorbijgaat aan enkelvoudige outputkalibratie.
• DoublyCal-raamwerk: Een praktische implementatie die gebruikmaakt van een Bayesiaans-gekalibreerd proxy-model om black-box LLM's te voorzien van KG-bewijsmateriaal vergezeld van bewijsvertrouwen.
• Empirische Validatie: Demonstraties dat DoublyCal de nauwkeurigheid en betrouwbaarheidskalibratie aanzienlijk verbetert bij diverse black-box LLM's op kennisintensieve benchmarks, terwijl lage tokenkosten worden gehandhaafd.

4. Experimentele Resultaten

Het raamwerk werd geëvalueerd op WebQSP- en CWQ-benchmarks, waarbij DoublyCal werd vergeleken met Single-Calibration (SingleCal) baselines (standaard KG-RAG-methoden gecombineerd met verbaal gemaakte UQ-technieken zoals Vanilla, CoT en Self-Probing).

• Nauwkeurigheid en Kalibratie: DoublyCal (specifiek de RL-geoptimaliseerde versie) behaalde state-of-the-art prestaties, leidend in Hits, Recall en F1-scores, terwijl de Expected Calibration Error (ECE) en Adaptive Calibration Error (ACE) aanzienlijk werden verlaagd. Bijvoorbeeld, op WebQSP verlaagde RL-DoublyCal de ECE tot ~3,9% in vergelijking met ~18-38% voor de baselines.
• Kostenefficiëntie: DoublyCal toonde superieure token-efficiëntie. Het presteerde beter dan SubgraphRAG met aanzienlijk minder inputtokens (ongeveer 39% van de kosten van SubgraphRAG) vanwege de hoge informatiedichtheid van zijn beperkte relationele paden.
• Cross-model Compatibiliteit: Het raamwerk werd getest op diverse black-box LLM's (GPT-3.5-turbo, GPT-4o-mini, DeepSeek-V3, Gemini-2.5-flash). DoublyCal ontkoppelde consistent de trade-off tussen nauwkeurigheid en betrouwbaarheid, waarbij de gemiddelde ECE van 29,4% naar 7,6% werd verlaagd over modellen heen, terwijl de gemiddelde F1 steeg van 45,8% naar 76,5%.
• Ablatiestudies: Het verwijderen van de bewijsvertrouwenskalibratie (SingleCal-variant) resulteerde in een drastische toename van de kalibratiefout (ECE steeg van ~4% naar >20%), wat bevestigt dat extern gekalibreerd bewijsmateriaal essentieel is voor betrouwbare zelfevaluatie door black-box LLM's.

5. Betekenis en Beweringen

Het artikel beweert dat DoublyCal een principiële oplossing biedt voor het systematisch beheren van de propagatie van onzekerheid in KG-verrijkte LLM's. Door vertrouwen te gronden in extern verifieerbaar bewijsmateriaal, biedt het raamwerk een traceerbare basis voor de gehele redeneerketen, waarmee de "black box"-karakteristiek van huidige UQ-methoden wordt aangepakt.

De auteurs stellen dat hun werk een concrete stap voorwaarts is naar het bouwen van betrouwbaardere en transparantere LLM-systemen. Ze benadrukken dat, hoewel KG-RAG de feitelijke juistheid verbetert, het de dubbele kalibratie van zowel bewijsmateriaal als redenering is die noodzakelijk is om echt betrouwbaar redeneren te bereiken. Het raamwerk wordt gepresenteerd als een plug-and-play oplossing die de betrouwbaarheid van diverse black-box LLM's verbetert zonder toegang tot hun interne parameters te vereisen.

Erkende Beperkingen:
De auteurs merken op dat de robuustheid van de Bayesiaanse betrouwbaarheidsschatting kan afnemen wanneer de KG extreem schaars is. Bovendien kan de vaste vorm van beperkte relationele paden de prestaties beperken bij complexe vragen die aggregatie of vergelijkingen vereisen, wat suggereert dat toekomstig werk rijkere bewijsvormen of agentische planningsparadigma's zou kunnen verkennen.