Geometry-Calibrated Conformal Abstention for Language Models

1. Probleemstelling

Grote Taalmodellen (LLM's) erkennen vaak hun eigen kennislimieten niet. Wanneer ze geconfronteerd worden met vragen buiten hun trainingsverdeling of kennisbasis, neigen ze naar het genereren van geloofwaardig klinkende maar feitelijk onjuiste antwoorden (hallucinaties) in plaats van af te zien van een antwoord (zeggen "Ik weet het niet").

• Beperkingen in training: Het opnieuw trainen van modellen om afzien te belonen is moeilijk vanwege het gebrek aan benchmarks die expliciet straffen voor gokken en belonen voor onwetendheid. Bovendien kunnen dergelijke ingrepen leiden tot overfitting of een te conservatief gedrag waarbij modellen weigeren te antwoorden, zelfs wanneer ze het antwoord wel weten.
• Bestaande post-hoc methoden: Traditionele Conformale Predictie (CP) biedt garanties voor onzekerheid op eindige steekproeven, maar vertrouwt op "non-conformity scores". Bij open-ended tekstgeneratie is het definiëren van een ground-truth scorefunctie onuitvoerbaar omdat correcte antwoorden oneindig veel semantisch equivalente vormen kunnen aannemen.
• Kernvraag: Kunnen LLM's worden uitgerust met een post-hoc mechanisme om betrouwbaar af te zien van het beantwoorden van vragen bij onzekerheid, zonder opnieuw te trainen, terwijl er theoretische garanties op correctheid worden geboden?

2. Methodologie: Conformal Abstention (CA)

De auteurs stellen Conformal Abstention (CA) voor, een raamwerk dat de theorie van Conformale Predictie combineert met een nieuwe calibratiestrategie gebaseerd op representatie-geometrie.

A. Theoretisch Raamwerk (Conformal Abstention)

CA past CP toe op de setting van taalgeneratie door zich te richten op voorspellingsvertrouwen in plaats van non-conformity scores. Het stelt twee garanties voor eindige steekproeven vast:

1. Deelnemingsgarantie: Beperkt de waarschijnlijkheid dat het model een antwoord geeft (niet afziet).
2. Garantie voor conditionele correctheid: Beperkt de waarschijnlijkheid dat een gegeven antwoord correct is, gegeven dat het model heeft gekozen om deel te nemen.

Het raamwerk gebruikt een onzekerheidsscore $r(\hat{y}|x)$ (bijvoorbeeld perplexiteit). Door een drempelwaarde $\tau$ in te stellen op basis van een calibratieset, ziet het model af van een antwoord als de score $\tau$ overschrijdt. Theoretische bewijzen (Stelling 3.1, Lemma 3.2) tonen aan dat, als de input-outputparen uitwisselbaar zijn, de conditionele correctheid van behouden antwoorden onderaan wordt begrensd door een door de gebruiker gespecificeerd betrouwbaarheidsniveau.

B. Calibratie via Representatie-geometrie

Om ervoor te zorgen dat de onzekerheidsscore het interne toestand van het model (kennis versus onwetendheid) trouw weerspiegelt, introduceren de auteurs een calibratiestrategie gebaseerd op de geometrie van token-representaties over transformerlagen. Zij veronderstellen dat wanneer een model interne kennis benut, de MLP (Multi-Layer Perceptron) updates specifieke geometrische transformaties in de verborgen toestanden veroorzaken.

Ze extraheren drie geometrische signalen uit de trajectorie van de embedding van het laatste query-token:

1. Nabijheid ($\omega$): Meet de bijdrage van de MLP-update. Het berekent de afstand tussen de embeddings voor en na de MLP. Een kleine afstand (hoge nabijheid) geeft aan dat de MLP de representatie actief heeft gevormd.
2. Embedding-rotatie ($\theta$): Meet de hoek van rotatie veroorzaakt door de MLP-update. Grote rotaties suggereren een significante verschuiving in de voorspellingrichting, vaak geassocieerd met het ophalen van specifieke kennis.
3. Uitlijning ($\phi$): Meet de hoek tussen de token-embedding en de dominante anisotrope richting van data binnen de verdeling. Hoge uitlijning suggereert dat het model opereert binnen zijn geleerde verdeling; afwijking suggereert extrapolatie (onzekerheid).

Geverifieerde Hypothesen:

• H1: Correcte voorspellingen zijn geassocieerd met een sterke kennisbijdrage (hoge $\omega$) die een significante rotatie induceert (hoge $\theta$).
• H2: Correcte voorspellingen blijven uitgelijnd met de anisotrope kegel binnen de verdeling (lage $\phi$), terwijl onjuiste voorspellingen afwijken.

C. Calibratiepijplijn

1. Feature-extractie: Voor elk token berekent het model een featurevector $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ die de geometrische signalen over alle lagen vastlegt.
2. Afstandsberekening: Het systeem berekent de Mahalanobis-afstand van deze features van de verdelingen van correcte en onjuiste voorspellingen.
3. Calibrator-training: Een XGBoost-model wordt getraind om deze geometrische features (gecombineerd met ruwe perplexiteit) te mappen naar een verfijnde onzekerheidsscore.
4. Besluitvorming: De uiteindelijke onzekerheidsscore bepaalt of er wordt afgezien op basis van de conformale drempelwaarde.

3. Belangrijkste Bijdragen

1. Conformal Abstention Framework: Een post-hoc methode die rigoureuze garanties voor eindige steekproeven biedt voor zowel deelnemingspercentages als conditionele correctheid bij open-ended generatie, en zo de onuitvoerbaarheid van non-conformity scores omzeilt.
2. Geometrie-gebaseerde Calibratie: Een nieuwe aanpak voor onzekerheidskwantificering die gebruikmaakt van de interne geometrische dynamiek van transformerlagen (MLP-bijdragen, rotaties en anisotropie) om vertrouwen beter af te stemmen op feitelijke correctheid.
3. Theoretische Garanties: Bewijzen die aantonen dat uitwisselbaarheid behouden blijft onder de deterministische transformaties die worden gebruikt om onzekerheidsscores af te leiden, waardoor de geldigheid van de conformale grenzen wordt gewaarborgd.
4. Uitgebreide Evaluatie: Uitgebreide experimenten over zes diverse datasets (NQ, TruthfulQA, GSM8K, enz.) en meerdere modelgroottes (Gemma-3, LLaMA-3).

4. Experimentele Resultaten

• Prestaties: De voorgestelde methode presteert significant beter dan sterke baselines (waaronder Perplexity, Semantische Entropie, op attentie gebaseerde methoden en verbaal gemaakte vertrouwensscores) over alle datasets.
• Conditionele Correctheid: Onder conformale abstentie bereikt de methode een gemiddelde conditionele correctheid van 75,0%. Dit betekent dat wanneer het model besluit te antwoorden, het 75% van de tijd correct is, een aanzienlijke verbetering ten opzichte van baselines die vaak rond de 50-60% hangen.
• Robuustheid: De methode behoudt hoge prestaties over verschillende deelnemingspercentages (van 10% tot 90% van de vragen beantwoord).
• Ablatie-studies: Het permuteren van de geometrische signalen ($\omega, \theta, \phi$) veroorzaakt vergelijkbare prestatiedalingen, wat aangeeft dat alle drie de signalen cruciaal en complementair zijn.
• Baseline-calibratie: De auteurs tonen aan dat het simpelweg toepassen van hun calibrator op bestaande baselines de prestaties vaak verslechtert (door overfitting op laagdimensionale signalen), terwijl hun hoogdimensionale geometrische features significant profiteren van calibratie.

5. Betekenis

Dit werk adresseert een kritiek betrouwbaarheidskloof in de implementatie van LLM's. Door modellen in staat te stellen selectief af te zien met theoretische garanties, vermindert CA het risico op hallucinaties in hoog-risico domeinen (gezondheidszorg, recht, wetenschap) zonder dat er kostbare hertraining nodig is. De introductie van representatie-geometrie als proxy voor "kennisbetrokkenheid" biedt een nieuw paradigma voor onzekerheidskwantificering, dat verder gaat dan oppervlakkige waarschijnlijkheden naar de interne mechanismen van hoe modellen informatie verwerken. Dit maakt het systeem betrouwbaarder en bruikbaarder voor toepassingen in de echte wereld, waar het erkennen van onwetendheid de voorkeur verdient boven het verstrekken van valse informatie.