💬 NLP

Kernel Token Contradiction: a Fast and Principled Approach for LLM Claim Uncertainty Quantification

Het artikel introduceert Kernel Token Contradiction (KTC), een lichtgewicht en CPU-efficiënte methode voor het kwantificeren van onzekerheid op bewerniveau in de outputs van Large Language Models, die gebruikmaakt van kernel-gebaseerde token-representaties en Wikipedia-frequentiestatistieken om aanzienlijke versnellingen te bereiken ten opzichte van bestaande benaderingen, terwijl een hoge nauwkeurigheid behouden blijft, met name in high-precision regimes.

Oorspronkelijke auteurs: Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Gepubliceerd 2026-08-25

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jérémie Dentan, Alexi Canesse, Mahammed El Sharkawy, Sonia Vanier

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Grote taalmodellen zijn een bekend onderdeel geworden van het moderne leven, in staat om verhalen te schrijven, vragen te beantwoorden en complexe onderwerpen samen te vatten met een vloeiendheid die vaak menselijk aanvoelt. Toch schuilt er onder dit gladde oppervlak een hardnekkig probleem: deze systemen genereren soms zelfverzekerd klinkende uitspraken die simpelweg onwaar zijn. Dit fenomeen, bekend als hallucinatie, doet zich voor wanneer een model feiten verzint of details door elkaar haalt, wat een risico vormt voor iedereen die op de output vertrouwt voor accurate informatie. Om dit aan te pakken, hebben onderzoekers methoden ontwikkeld om te meten hoe onzeker een model is over wat het zegt. Het doel is niet om het model te stoppen met spreken, maar om de specifieke momenten te markeren waarop het aan het gokken is, zodat gebruikers de betrouwbare delen van een antwoord kunnen vertrouwen terwijl ze voorzichtig blijven bij de wankele delen. De uitdaging is geweest om een manier te vinden om dit snel en nauwkeurig te doen zonder het systeem te vertragen of enorme hoeveelheden rekenkracht te vereisen.

Een team van onderzoekers aan LIX, een laboratorium in Frankrijk, heeft een nieuwe methode geïntroduceerd genaamd Kernel Token Contradiction, of KTC, ontworpen om dit dilemma van snelheid en nauwkeurigheid op te lossen. Hun werk richt zich op een specifiek type onzekerheid: het moment waarop een model twijfelt tussen twee stukken informatie die niet beide waar kunnen zijn. Stel je voor dat een model probeert een prijs voor een product te vermelden. Als het onzeker is, kan het hoge waarschijnlijkheden toekennen aan twee verschillende getallen, zoals zeshonderd negenennegentig dollar en vierhonderd negenennegentig dollar. Deze twee getallen spreken elkaar tegen; als de een juist is, moet de ander onjuist zijn. De onderzoekers realiseerden zich dat het detecteren van dit soort interne conflict is een krachtig signaal dat een model hallucineert. In tegen tegenstelling tot eerdere methoden die vertrouwden op zware, trage software die getraind is om de logica van taal te begrijpen, gebruikt KTC een veel lichtere aanpak gebaseerd op hoe woorden typisch naast elkaar verschijnen in een enorme collectie menselijke teksten.

Het proces begint met het bekijken van de lijst met mogelijke volgende woorden die een model op elk gegeven moment overweegt. De onderzoekers bouwden een kaart van deze mogelijkheden door de Wikipedia-corpus te analyseren, een enorme digitale bibliotheek van artikelen. Ze telden hoe vaak specifieke woorden nabij elkaar voorkomen in deze real-world tekst. Als twee kandidaat-woorden voor de volgende stap zeer vergelijkbare buren hebben in Wikipedia, behandelt het systeem hen als waarschijnlijk tegenstrijdig. Bijvoorbeeld, als het model moet kiezen tussen twee verschillende prijzen, verschijnen die prijsgetallen waarschijnlijk in vergelijkbare contexten in Wikipedia, wat een conflict signaleert. Als het model moet kiezen tussen twee verschillende artikelen, zoals "de" en "een", hebben die woorden heel verschillende buren, wat aangeeft dat ze niet in conflict zijn maar slechts verschillende manieren zijn om hetzelfde idee te formuleren. Deze statistische controle vervangt de noodzaak voor een aparte, trage taalmodel om de tegenstrijdigheid te beoordelen, wat het proces ongelooflijk snel maakt.

Zodra het systeem identificeert welke kandidaat-woorden in conflict zijn, combineert het deze informatie met de eigen betrouwbaarheidsniveaus van het model. Het creëert een wiskundige representatie die de waarschijnlijkheid van elk woord afweegt tegen de mate van tegenstrijdigheid tussen hen. De onderzoekers passen vervolgens een maatstaf voor wanorde toe, bekend als entropie, op dit gecombineerde beeld. Als het model zelfverzekerd is en de opties niet in conflict zijn, blijft de onzekerheidsscore laag. Echter, als het model verscheurd wordt tussen twee tegenstrijdige feiten, schiet de score omhoog, wat de gebruiker waarschuwt dat dit specifieke deel van het antwoord onbetrouwbaar is. Deze berekening vindt plaats op het niveau van individuele woorden, waardoor het systeem precies kan aanwijzen welk deel van een lange paragraaf problematisch is, in plaats van alleen de hele reactie als twijfelachtig te labelen.

De resultaten van het testen van deze methode waren opvallend in hun efficiëntie en precisie. De onderzoekers evalueerden KTC over zestien verschillende taalmodellen en in vier Europese talen: Engels, Frans, Duits en Spaans. Ze vergeleken het met de huidige beste methoden, die vertrouwen op gespecialiseerde taalmodellen die draaien op krachtige grafische processoren. KTC, dat alleen op standaard computereenheden draait, bleek meer dan vijfenzestig keer sneller te zijn dan de CPU-only versies van deze concurrenten en meer dan acht keer sneller dan de GPU-versnelde versies, terwijl het de prestaties evenaarde of overtrof. Cruciaal is dat in situaties waar een hoge precisie vereist is — wat betekent dat het systeem heel zeker moet zijn voordat het een fout signaleert — KTC alle andere methoden overtrof. Het identificeerde valse claims met een hogere mate van nauwkeurigheid dan de bestaande state-of-the-art tools, ook al gebruikte het veel minder rekenkracht.

Dit werk suggereert dat het mogelijk is om grote taalmodellen in realtime te monitoren zonder de zware computationele kosten die dergelijke monitoring voorheen onpraktisch maakte voor veel toepassingen. Door complexe, trage taalmodellen te vervangen door een eenvoudige, snelle controle tegen een grote database van menselijke teksten, hebben de onderzoekers een hulpmiddel gecreëerd dat direct in productiesystemen geïntegreerd kan worden. De methode vereist niet dat het model wordt gestopt of opnieuw getraind; het observeert simpelweg de interne keuzes van het model en berekent het risico op fouten op basis van de patronen van tegenstrijdigheid. Hoewel de huidige studie beperkt was tot vier talen en specifieke benchmarks, biedt de aanpak een veelbelovend pad naar het betrouwbaarder en vertrouwwaardiger maken van kunstmatige intelligentie in het dagelijks gebruik, zodat we wanneer een model spreekt, precies weten wanneer we moeten luisteren en wanneer we moeten dubbelchecken.

Technisch overzicht: Kernel Token Contradiction (KTC)

Probleemstelling

Large Language Models (LLMs) genereren regelmatig plausibele maar niet-feitelijke inhoud, bekend als hallucinaties. Hoewel Uncertainty Quantification (UQ) ernaar streeft dit te mitigeren door de betrouwbaarheid van het model te schatten, kampen bestaande methoden voor claim-niveau UQ met drie kritieke beperkingen:

Onvoldoende Precisie: Top-presterende methoden slagen er vaak niet in om een hoge precisie te bereiken in regimes met een lage recall (bijv. <20%), wat cruciaal is voor productiesystemen waar fout-positieven kostbaar zijn.
Computationele Inefficiëntie: State-of-the-art benaderingen vertrouwen op Natural Language Inference (NLI) modellen (bijv. cross-encoders) om tegenstrijdigheden te detecteren. Deze modellen vereisen aanzienlijke GPU-bronnen en kunnen de runtime van de LLM-generatie zelf overschrijden, wat real-time monitoring onpraktisch maakt.
Taalbias: NLI-modellen zijn doorgaans getraind op Engelse corpora, wat leidt tot verminderde prestaties in andere talen.

Methodologie: Kernel Token Contradiction (KTC)

KTC is een lichtgewicht, white-box benadering die is ontworpen om claim-niveau onzekerheid te berekenen door predictieve onzekerheid (uit de distributie van de LLM) te integreren met semantische onzekerheid (uit token-tegenstrijdigheden). De methode werkt in vier afzonderlijke stappen:

1. Het bouwen van een Non-Contradiction Graph (Stap A)

In plaats van zware NLI-modellen te gebruiken, hanteert KTC een heuristiek gebaseerd op Wikipedia-buurstatistieken om te bepalen of kandidaat-tokens elkaar tegenspreken.

Proces: Voor een set kandidaat-tokens bij een Next Token Prediction (NTP) stap, telt de methode de frequentie van hun naburige tokens in het Wikipedia-corpus.
Logica: Tegenstrijdige tokens (bijv. "699" versus "499" in een prijs) hebben de neiging om vergelijkbare buur-sets te delen, wat resulteert in een lage non-contradiction score. Niet-tegenstrijdige tokens (bijv. "an" versus "the") of ongerelateerde tokens hebben verschillende buur-sets, wat een hoge score oplevert.
Output: Een ongerichte, gewogen graaf waarbij de randgewichten de mate van non-contradiction tussen token-paren vertegenwoordigen.

2. Het construeren van de Semantische Kernel (Stap B)

De non-contradiction graaf wordt omgezet in een Positive Semi-Definite (PSD) Semantische Kernel ( $K$ ) met behulp van de Heat Kernel methode.

De grafen-Laplaciaan ( $L$ ) wordt berekend uit de nabijheidsmatrix.
De heat kernel wordt afgeleid als $K(\tau) = \exp(-\tau \cdot L)$ , waarbij $\tau$ een diffusieparameter is.
Deze kernel legt de semantische onzekerheid vast: een sterk verbonden graaf (lage onzekerheid) resulteert in een kernel met één dominante eigenwaarde, terwijl een ijle graaf (hoge onzekerheid) resulteert in meerdere grote eigenwaarden.

3. Integratie van de Conditionele Distributie (Stap C)

Om onderscheid te maken tussen aleatorische onzekerheid (toeval) en epistemische onzekerheid (gebrek aan feitelijke kennis), schaalt KTC de semantische kernel met de Predictieve Kernel ( $\Pi$ ) van de LLM.

$\Pi$ is een diagonale matrix die de conditionele waarschijnlijkheden van de kandidaat-tokens bevat.
De Gecombineerde Kernel ( $M$ ) wordt berekend als $M = \Pi^{1/2} K \Pi^{1/2}$ .
Betekenis: Deze schaling fungeert als een gating-mechanisme. Hoge onzekerheid wordt alleen geregistreerd als zowel de predictieve distributie onzeker is (hoge entropie) als de semantische ruimte tegenstrijdigheden bevat (hoge semantische entropie). Als het model zeker is in zijn voorspelling (lage predictieve entropie) of als de tokens semantisch consistent zijn (lage semantische entropie), blijft de resulterende score laag.

4. Berekening van de Von Neumann Entropie (Stap D)

De uiteindelijke onzekerheidsscore is de Von Neumann Entropie (VNE) van de genormaliseerde gecombineerde kernel $M$ :
$\text{KTC} = -\sum_{i=1}^{\delta} \lambda_i(M) \log \lambda_i(M)$
waarbij $\lambda_i(M)$ de eigenwaarden van $M$ zijn. Deze metriek kwantificeert de kwantum-onzekerheid van het systeem, en aggregeert effectief zowel de predictieve als de semantische onzekerheid.

Belangrijkste Bijdragen

NLI-vrije Heuristiek: Introductie van een Wikipedia-gebaseerde buurfrequentie-heuristiek om token-tegenstrijdigheden te detecteren, ter vervanging van computationeel dure NLI-modellen. Deze opstelling vereist enkel het tokeniseren van Wikipedia-pagina's (minuten aan CPU-tijd) en geen GPU-training.
Token-niveau Adaptatie van KLE: Het aanpassen van het Kernel Language Entropy (KLE) principe van het generatieniveau naar het token-niveau, wat fijnmazige claim-niveau UQ mogelijk maakt.
Predictieve Schaling: Een nieuwe methode om semantische onzekerheid te schalen door de predictieve distributie, wat cruciaal is voor het isoleren van epistemische onzekerheid op token-niveau.
Uitgebreide Evaluatie: Evaluatie over vier Europese talen (Engels, Frans, Duits, Spaans) en 16 LLM's (inclusief Llama 3, Mistral, Gemma 3, etc.) op de MUCH en Mu-Shroom benchmarks.

Empirische Resultaten

Efficiëntie: KTC bereikt een top-prestatie met slechts 5,6% overhead ten opzichte van de LLM-inferentietijd. In contrast hiermee brengen GPU-versnelde NLI-gebaseerde methoden (CCP, SAR) een overhead van 46% met zich mee (een 8,2× hogere ratio), terwijl CPU-only NLI-methoden tot wel 369% overhead veroorzaken (een 65× hogere ratio). KTC draait volledig op de CPU met verwaarloosbare overhead.
Hoge-Precisie Prestaties: In het hoog-precisie regime (recall ≤ 20%) bereikt KTC een PR-AUC van 0,78, waarmee het de state-of-the-art CCP-methode (0,69) aanzienlijk overtreft.
Algemene Prestaties: Hoewel CCP qua algemene ROC-AUC iets hoger scoort, staat KTC op de tweede plaats met een minimaal prestatieverschil, terwijl het een veel superieure computationele efficiëntie biedt.
Generalisatie: KTC behoudt competitieve prestaties in alle vier de geteste talen, terwijl NLI-gebaseerde baselines (voornamelijk getraind op Engels) een grotere variantie en lagere prestaties vertonen in niet-Engelse contexten.

Betekenis en Claims

Het artikel beweert dat KTC, voor zover de auteurs weten, de eerste claim-niveau UQ-methode is die praktisch bruikbaar is voor real-time monitoring van LLM-outputs onder productielatentie-beperkingen. Door de afhankelijkheid van GPU-acceleratie en Engels-getrainde NLI-modellen te verwijderen, biedt KTC een geprincipeerde, lichtgewicht oplossing die een balans vindt tussen hoge nauwkeurigheid en computationele haalbaarheid. De auteurs benadrukken dat KTC bijzonder effectief is in hoog-precisie regimes, die het meest relevant zijn voor het mitigeren van hallucinaties in productieomgevingen waar het verwerpen van volledige antwoorden te kostbaar is.

Het werk wordt gepresenteerd als een stap naar het schaalbaar maken van LLM-betrouwbaarheidsmonitoring, waarbij wordt opgemerkt dat hoewel het momenteel white-box toegang vereist (token-waarschijnlijkheden), de CPU-only efficiëntie het direct inzetbaar maakt voor veel bestaande productiepipelines.