💬 NLP

Adaptive Conformal Prediction for Improving Factuality of Generations by Large Language Models

Dit paper introduceert een adaptieve conformale voorspellingsmethode die de feitelijke nauwkeurigheid van grote taalmodellen verbetert door prompt-afhankelijke kalibratie te mogelijk maken, waardoor de dekking van betrouwbare antwoorden aanzienlijk toeneemt ten opzichte van bestaande benaderingen.

Oorspronkelijke auteurs: Aleksandr Rubashevskii, Dzianis Piatrashyn, Preslav Nakov, Maxim Panov

Gepubliceerd 2026-04-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aleksandr Rubashevskii, Dzianis Piatrashyn, Preslav Nakov, Maxim Panov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De "Slimme Filter" voor AI: Hoe we de leugens van grote taalmodellen in de gaten houden

Stel je voor dat je een zeer intelligente, maar soms wat overdreven fantasierijke assistent hebt. Deze assistent (een Large Language Model of LLM) kan prachtige verhalen schrijven, complexe vragen beantwoorden en zelfs medische adviezen geven. Maar er is een groot probleem: deze assistent is soms te zelfverzekerd. Hij kan dingen verzinnen die er heel geloofwaardig uitzien, maar volledig onwaar zijn. Dit noemen we "hallucinaties".

In de wereld van kunstmatige intelligentie is het vinden van een manier om te zeggen: "Ik ben 90% zeker dat dit klopt" heel moeilijk. De huidige methoden zijn vaak als een stevige, onbuigzame veiligheidsriem die voor iedereen hetzelfde is. Of hij is te strak (dan mag je bijna niets zeggen), of te los (dan val je er zo doorheen).

De auteurs van dit paper, Aleksandr Rubashevskii en zijn team, hebben een oplossing bedacht die ze Adaptive Conformal Prediction noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het probleem: De "One-Size-Fits-All" Riem

Stel je voor dat je een groep mensen wilt beschermen tegen regen. Je geeft ze allemaal dezelfde paraplu.

Voor iemand in de woestijn (een makkelijk vraag) is die paraplu veel te groot en onhandig (de AI filtert te veel waarheid weg).
Voor iemand in een tropische storm (een moeilijk, vaag vraag) is diezelfde paraplu te klein en laat hij je nat worden (de AI laat te veel leugens door).

De oude methoden gebruiken één "drempel" voor alle vragen. Ze kijken niet naar hoe moeilijk de vraag is. Daardoor is de AI soms te voorzichtig en soms te roekeloos.

2. De oplossing: Een slimme, aanpasbare paraplu

De nieuwe methode van het team is als een slimme, aanpasbare paraplu die automatisch de grootte aanpast aan de zwaarte van de regenbui.

Hoe werkt dit?

De AI maakt een lijstje: Als de AI een lang antwoord schrijft, breekt hij het op in kleine, losse feiten (bijvoorbeeld: "Parijs is de hoofdstad van Frankrijk" en "Parijs is gesticht in de 3e eeuw voor Christus").
De "Zekerheidsmeter": Voor elk feitje kijkt de AI: "Hoe zeker ben ik dat dit klopt?"
De Slimme Rekenmachine (Adaptief): In plaats van één vaste grens te gebruiken, kijkt het systeem naar de vraag zelf. Is het een lastig onderwerp? Is de vraag vaag? Dan past het systeem de "zekerheidsmeter" direct aan voor die specifieke vraag.

Dit is wat ze Adaptive Conformal Prediction noemen. Het is alsof je een thermometer hebt die niet alleen de temperatuur meet, maar ook rekening houdt met of je in de zon of in de schaduw staat, om de echte temperatuur te bepalen.

3. Hoe werkt het in de praktijk? (Het recept)

Het team gebruikt een slimme truc met drie stappen, alsof ze een recept voor een perfecte taart bakken:

De Proefsessie (Calibratie): Ze laten de AI eerst een hoop vragen beantwoorden en kijken welke antwoorden goed en welke fout waren. Ze meten hoe "zeker" de AI was bij elke fout.
De Leerling (De aanpassing): Ze trainen een klein extra modelletje (een soort "rekenmachine") dat leert: "Ah, als de vraag over 'uitvindingen' gaat, moet de zekerheidsdrempel lager zijn. Als het over 'personen' gaat, moet hij hoger zijn." Dit modelletje kijkt naar de "geest" van de vraag (de embedding) en past de regels daarop aan.
De Eindcontrole: Als de AI nu een nieuwe vraag krijgt, kijkt het eerst naar de vraag, past de regels aan, en filtert daarna pas de antwoorden. Alleen de feiten die onder die specifieke drempel vallen, worden getoond.

4. Waarom is dit geweldig?

In hun experimenten hebben ze getoond dat deze methode veel beter werkt dan de oude methoden:

Betrouwbaarheid: De AI geeft nu precies de juiste hoeveelheid informatie. Geen te veel, geen te weinig.
Veiligheid: In gevaarlijke situaties (zoals medische vragen) filtert het systeem de twijfelachtige antwoorden eruit, zodat de gebruiker alleen betrouwbare informatie krijgt.
Flexibiliteit: Het werkt voor korte meerkeuzevragen én voor lange, uitgebreide verhalen.

Samenvattend

Stel je voor dat je een zeer slimme, maar soms een beetje leugenaarsachtige detective hebt.

De oude methode: Geef de detective een vaste lijst met regels: "Laat nooit meer dan 50% van de getuigenissen toe." Dit werkt slecht, want soms zijn de getuigen betrouwbaar, soms niet.
De nieuwe methode (Adaptive Conformal): Geef de detective een slimme assistent die voor elke getuige apart beoordeelt: "Is deze getuige betrouwbaar in deze specifieke situatie?" De assistent past de regels direct aan op basis van de situatie.

Het resultaat? De detective (de AI) geeft je nu veel betrouwbaarder informatie, zonder dat je hoeft te vrezen voor hallucinaties. Het is een stap in de richting van AI die we echt kunnen vertrouwen, zelfs als het over moeilijke onderwerpen gaat.

Probleemstelling

Grote Taalmodellen (LLMs) zijn vatbaar voor het genereren van hallucinaties, oftewel vlot geschreven maar feitelijk onjuiste outputs. Hoewel conformele voorspelling (conformal prediction) recentelijk is toegepast om onzekerheidsschattingen en statistische garanties te bieden voor de feitelijkheid van LLM-generaties, hebben bestaande methoden een fundamenteel tekort: ze zijn niet prompt-adaptief.

Bestaande benaderingen passen één geijkte quantiel (drempelwaarde) uniform toe op alle test-prompten, ongeacht hun moeilijkheidsgraad, ambiguïteit of zeldzaamheid. Dit leidt tot de volgende problemen:

Marginaal vs. Conditionele Dekking: Hoewel de methode gemiddeld (marginaal) de gewenste dekking garandeert, faalt deze vaak op het niveau van individuele prompten.
Over- en Under-coverage: Voor bepaalde complexe categorieën (bijv. uitvindingen) kan de drempel te conservatief zijn (over-coverage, waardoor te weinig items worden gefilterd), terwijl deze voor eenvoudigere categorieën (bijv. personen) te streng kan zijn (under-coverage, waardoor te veel items onterecht worden verwijderd).
Gebrek aan Selectiviteit: Het is moeilijk om onbetrouwbare claims of antwoordkeuzes effectief te filteren in downstream-toepassingen zonder de algehele dekking te schaden.

Methodologie

De auteurs stellen een Adaptieve Conformele Voorspelling (Adaptive Conformal Prediction) voor die de variabiliteit afhankelijk van de input (prompt) in rekening brengt. De kern van de methode is het transformeren van onconformiteitscores (nonconformity scores) via conditionele quantielregressie.

Het proces omvat de volgende stappen:

Decompositie en Scores:
- Voor langformulering (long-form QA) worden gegenereerde antwoorden opgesplitst in atomaire, verifieerbare claims.
- Er wordt een onzekerheidsscore $s(c)$ berekend per claim (bijv. gebaseerd op token-entropie of conditionele waarschijnlijkheid).
- Een "oracle" functie $w(c, y)$ bepaalt of een claim feitelijk correct is ten opzichte van de grondwaarheid.
Adaptieve Score-Transformatie:
- In plaats van een globale drempel te gebruiken, wordt een schatter $\hat{\tau}(x)$ getraind om de conditionele $(1-\alpha)$ -quantiel van de oorspronkelijke onconformiteitscore $V(x, y)$ te voorspellen, gebaseerd op de embedding van de prompt $x$ .
- De oorspronkelijke scores worden genormaliseerd door deze geschatte quantiel te delen: $\tilde{V}(x, y) = V(x, y) / \hat{\tau}(x)$ .
- Deze transformatie zorgt ervoor dat de verdeling van de scores over verschillende prompten meer homogeen wordt, waardoor de conditionele dekking verbetert.
Calibratie en Voorspelling:
- Het dataset wordt opgesplitst in drie delen: $D_{cal1}$ (voor het trainen van de quantielregressor), $D_{cal2}$ (voor het kalibreren van de getransformeerde scores), en $D_{test}$ .
- Op $D_{cal2}$ wordt de nieuwe conformele drempel berekend als de $(1-\alpha)$ -quantiel van de getransformeerde scores.
- Tijdens het testen worden claims gefilterd op basis van hun genormaliseerde onzekerheidsscore ten opzichte van deze nieuwe drempel.

Deze aanpak werkt zowel voor langformulering (filteren van claims) als voor meerkeuzevragen (selecteren van een subset van mogelijke antwoorden).

Belangrijkste Bijdragen

Nieuwe Adaptieve Methode: De auteurs introduceren een conformele voorspelling voor hallucinatie-detectie die een prompt-adaptieve correctie leert via embedding-geconditioneerde quantielregressie.
Theoretische Garantie: De methode behoudt de strikte marginaal dekking (finite-sample marginal coverage guarantees) van de traditionele split-conformele voorspelling, maar verbetert aanzienlijk de conditionele dekking over heterogene prompten.
Empirische Validatie: Uitgebreide experimenten op diverse domeinen (biografieën, uitvindingen, kunstwerken, etc.) en met meerdere modellen (Mistral-7B, Llama-3.1-8B, Gemma-3-12B) tonen aan dat de methode hallucinaties beter detecteert en een stabielere dekking biedt dan bestaande baselines.

Resultaten

De experimenten tonen duidelijke verbeteringen ten opzichte van de standaard "Conformal Factuality" methode (Mohri & Hashimoto, 2024):

Verbeterde Conditionele Dekking: In tegenstelling tot de globale methode, die faalt in het bereiken van consistente dekking per categorie (bijv. over-coverage bij "Inventions" en under-coverage bij "Biographies"), bereikt de adaptieve methode een empirische dekking die dicht bij de doelstelling ligt voor elke individuele categorie.
Minder Verwijderde Items: De adaptieve methode behoudt vaak meer correcte claims terwijl de fouten worden gefilterd. Bijvoorbeeld, bij Mistral-7B werd de verwijdering van claims in categorieën zoals "Landmarks" en "Inventions" verminderd terwijl de dekking werd verbeterd.
Robuustheid: Dolan-Moré performance profielen tonen aan dat de adaptieve methode consistent beter presteert dan de originele methode over een breed scala aan foutmarges ( $\delta$ ) en categorieën. De curve ligt uniform hoger, wat betekent dat de methode in een groter deel van de gevallen dichter bij de beste mogelijke kalibratie ligt.
Claim Scoring: Voor het scoren van claims bleek "Claim Conditioned Probability" (CCP) de meest effectieve onzekerheidsmaat te zijn voor witte-doos modellen.

Betekenis en Impact

Deze studie is significant omdat het een brug slaat tussen de theoretische garanties van conformele voorspelling en de praktische realiteit van heterogene LLM-taken.

Betrouwbaarheid in Risicovolle Domeinen: Voor toepassingen in de geneeskunde of juridische sectoren, waar zelfs één fout ernstige gevolgen kan hebben, biedt deze methode een mechanisme om onzekerheid prompt-specifiek te kwantificeren.
Selectieve Voorspelling: Het stelt systemen in staat om onbetrouwbare claims of antwoorden te "afstoten" (abstain) zonder de algehele nuttigheid van het systeem te verliezen, wat essentieel is voor de integratie van LLM's in kritieke workflows.
Toekomstige Richting: Het paper legt de basis voor verdere ontwikkeling van adaptieve methoden die rekening houden met domain-shifts en complexere input-representaties, wat cruciaal is voor de volgende generatie betrouwbare AI-systemen.

Kortom, de auteurs bewijzen dat door de kalibratie aan te passen aan de specifieke moeilijkheid en aard van de inputprompt, men de betrouwbaarheid van LLM-generaties aanzienlijk kan verhogen zonder in te boeten aan de statistische garanties.