Domain-Shift-Aware Conformal Prediction for Large Language Models

Technische Samenvatting: Domain-Shift-Aware Conformal Prediction voor Large Language Models

Probleemstelling
Large Language Models (LLM's) produceren vaak overmoedige maar feitelijk onjuiste outputs (hallucinaties), wat aanzienlijke risico's met zich meebrengt in kritieke domeinen zoals de gezondheidszorg en de financiële sector. Hoewel Conformal Prediction (CP) een principieel kader biedt voor onzekerheidskwantificering (UQ) met eindige-steekproef, distributievrije dekking-garanties, leunt standaard CP op de uitwisselbaarheidsveronderstelling (exchangeability assumption). Deze veronderstelling vereist dat kalibratie- en testdata afkomstig zijn uit dezelfde distributie. In echte implementaties is domain shift (domeinverschuiving) alomtegenwoordig; testprompts verschillen vaak aanzienlijk van historische kalibratiedata door evoluerend gebruikersgedrag of inputdistributies. Onder dergelijke verschuivingen lijdt standaard CP vaak aan onderdekking (under-coverage), waarbij voorspellingssets te nauw zijn om het ware antwoord te bevatten, waardoor zij geen betrouwbare onzekerheidsgaranties kunnen bieden.

Methodologie: DS-CP Framework
De auteurs stellen Domain-Shift-Aware Conformal Prediction (DS-CP) voor, een framework ontworpen om CP aan te passen aan LLM's onder domain shift zonder dat gelabelde doelgegevens nodig zijn. De methode adresseert de onhaalbaarheid van het schatten van dichtheidsratio's in hoogdimensionale, ongestructureerde promptruimtes via de volgende stappen:

1. Semantische Embedding: In plaats van te opereren in de ruwe tokenruimte, gebruikt het framework een getraind embedding-model $h: \mathcal{X} \to \mathcal{Z}$ om prompts te projecteren naar een lagerdimensionale semantische ruimte. Dit vangt cross-domain gelijkenis op, waardoor de domain shift kan worden gekarakteriseerd door de verschuiving in de embedding-distributie.
2. Dichtheidsratio-schatting: In de embedding-ruimte wordt een domeinclassifier getraind om onderscheid te maken tussen bron- (kalibratie) en doel- (test) prompts. Deze classifier schat de dichtheidsratio $\tilde{r}(z) = \frac{dP'_Z}{dP_Z}(z)$, die dient als een gewicht voor kalibratiesamples op basis van hun nabijheid tot het doel-domein.
3. Regularisatie van Weging: Om te voorkomen dat de voorspellingssets degenereren tot de gehele outputruimte (een risico wanneer dichtheidsratio's sterk ongebalanceerd zijn door grote verschuivingen of kleine steekproefomvang), introduceren de auteurs een regularisatiestap. Het gewicht toegekend aan het testpunt wordt vervangen door een geregulariseerde parameter $\lambda$ die alleen afhankelijk is van de kalibratiedata.
   • De empirische score-distributie wordt geconstrueerd als:
     $$\hat{\mu}_n = \sum_{i=1}^n \frac{\hat{w}_i}{\sum \hat{w}_j + \lambda} \delta_{S_i} + \frac{\lambda}{\sum \hat{w}_j + \lambda} \delta_{\infty}$$
     waarbij $\hat{w}_i$ de geschatte dichtheidsratio's voor kalibratiesamples zijn, en $\lambda$ wordt gekozen (doorgaans als $\max_i \hat{w}_i$) om validiteit en adaptiviteit te balanceren.
4. Constructie van Voorspellingssets: De uiteindelijke voorspellingsset voor een nieuwe prompt wordt gedefinieerd door de $(1-\alpha)$-kwantiel van deze gewogen empirische distributie.

Theoretische Garanties
Het artikel stelt eindige-steekproef dekking-bounds vast voor DS-CP:

• Ondergrens: De dekkingwaarschijnlijkheid is gegarandeerd ten minste $1 - \alpha$ minus een gap-term. Deze gap hangt af van de genormaliseerde gewichten en de totale variatieafstand tussen de score-distributies van de kalibratie- en testpunten in de embedding-ruimte.
• Gladheidsvoorwaarde (Smoothness Condition): De auteurs tonen aan dat als de nonconformity score glad varieert met betrekking tot de semantische embedding, de dekking-gap klein blijft, zelfs als de ruwe prompt-distributies verschillend zijn.
• Conservatisme: Er wordt een bovengrens verstrekt, die laat zien dat de regularisatieterm $\lambda$ een gecontroleerde mate van conservatisme (overdekking) introduceert wanneer de effectieve steekproefomvang van relevante kalibratiedata laag is.
• Herstel van Standaard CP: Onder de uitwisselbaarheidsconditie (geen domain shift), reduceert de methode exact naar standaard CP, wat zorgt voor geen verlies van validiteit in de ideale setting.

Experimentele Resultaten
Het framework werd geëvalueerd op de MMLU benchmark, waarbij verschillende onderwerp-categorieën als afzonderlijke domeinen werden behandeld om domain shift te simuleren. Experimenten werden uitgevoerd op 16 open-source LLM's uit 9 modelfamilies.

• Dekking: Standaard CP faalde regelmatig in het bereiken van de beoogde 90% dekking, en zakte vaak aanzienlijk onder dit niveau wanneer de kalibratie- en testdomeinen uiteenliepen. DS-CP verbeterde de dekking consistent en hield deze dichter bij het beoogde niveau over alle modellen en domeinparen.
• Setgrootte: Hoewel DS-CP iets grotere voorspellingssets produceerde dan standaard CP om de verschuiving te compenseren, was de toename bescheiden. Dit demonstreert een succesvolle afweging tussen het herstellen van validiteit en het behouden van efficiëntie.
• Adaptiviteit: Analyse toonde aan dat DS-CP selectief onderdekking corrigeert in moeilijke gevallen (waar standaard CP faalt), terwijl het minimale aanpassingen maakt wanneer standaard CP al geldig is, wat bewijst dat het niet louter een uniforme setvergroting is.

Betekenis en Claims
Het artikel claimt een praktische stap te bieden richting betrouwbare onzekerheidskwantificering voor LLM's in real-world deployment. De primaire betekenis ligt in:

1. Het uitbreiden van CP voorbij uitwisselbaarheid: Het biedt een systematische, theoretisch onderbouwde methode om domain shift in LLM's aan te pakken, een scenario waarin standaard CP faalt.
2. Semantische Adaptatie: Door gebruik te maken van semantische embeddings in plaats van ruwe tekst, maakt het de schatting van dichtheidsratio's haalbaar voor hoogdimensionale LLM-inputs.
3. Gebalanceerde Betrouwbaarheid: Het bereikt een balans tussen statistische validiteit (het behouden van dekking-garanties) en adaptiviteit (het afstemmen van voorspellingssets op het specifieke doel-domein), waarmee het cruciale probleem van onbetrouwbare voorspellingen in veiligheidskritische toepassingen aanpakt.

De auteurs vermelden beperkingen, waaronder de afhankelijkheid van de kwaliteit van de embedding- en dichtheidsratio-estimators, de vereiste van ongelabelde doel-prompts, en de huidige focus op multiple-choice taken in plaats van open-ended generatie. Zij stellen echter dat DS-CP een geprincipeerde adaptatie is van conformal prediction, specifiek afgestemd op de hoogdimensionale, ongestructureerde aard van LLM-prompts onder distributieverschuiving.