🤖 machine learning

When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation

Dit artikel stelt de theoretische haalbaarheid en praktische beperkingen vast van conformal risk control voor het certificeren van gestructureerde LLM-outputs door een onmogelijkheidsgrens voor scenario's met een hoog risico te bewijzen, significante winsten aan te tonen door adaptieve grenzen en inferentie onder distributieverschuiving, en een implementatiekader te bieden dat identificeert wanneer certificering haalbaar is over diverse modellen en taken.

Oorspronkelijke auteurs: Varun Kotte

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Varun Kotte

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme maar soms overmoedige robotassistent hebt (een Large Language Model, of LLM) die je helpt bij het organiseren van documenten, het extraheren van namen uit tekst of het beantwoorden van vragen. Je wilt deze robot gebruiken, maar je bent bezorgd dat hij fouten kan maken. Je wilt een garantie: "Als de robot mij een antwoord geeft, wil ik er zeker van zijn dat het minstens 90% van de tijd juist is."

Dit artikel is als een handleiding voor het bouwen van een veiligheidsinspecteur voor die robot. Het vraagt: Kunnen we wiskundig bewijzen dat de robot veilig genoeg is om te vertrouwen? En zo niet, waarom niet?

Hier is de uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Onmogelijke" Vloer (De Onvermijdelijke Waarheid)

De belangrijkste bevinding is een "harde limiet". Stel je voor dat de robot een natuurlijk foutpercentage heeft (laten we dit de Basisrisico noemen).

Het Scenario: Als de robot van nature 40% van de tijd fouten maakt (Basisrisico = 40%), en je eist dat hij slechts 10% van de tijd fouten maakt (Doel = 10%), dan kan geen enkele magische truc dit oplossen.
De Analogie: Denk aan de robot als een dartwerper die van nature slecht is in het raken van de roos. Als je tegen hem zegt: "Ik wil alleen dat je gooit wanneer je zeker weet dat je de roos raakt," dan zal hij bijna al zijn pijlen weg moeten gooien.
De Regel van het Artikel: De auteurs bewezen een formule: Als het natuurlijke foutpercentage van de robot hoger is dan jouw doel, moet de robot een specifieve, onvermijdelijke hoeveelheid vragen weigeren te beantwoorden (zich onthouden). Je kunt de robot niet "certificeren" als veilig zonder dat hij een enorm deel van zijn werk op de voet bij zich zet.
- Voorbeeld: Als de robot 40% fout is en je wilt 10% fout, moet hij ongeveer 42% van de keren weigeren te antwoorden. Als je probeert de robot te dwingen om vaker te antwoorden, breekt de veiligheidsgarantie.

2. De Drie Niveaus van Veiligheidsinspecteurs

Het artikel test drie verschillende "veiligheidsinspecteurs" (wiskundige methoden) om te zien welke het beste is in het vinden van de veilige antwoorden.

Inspecteur A (Hoeffding): De basis, voorzichtige inspecteur. Deze gaat altijd uit van het slechtste scenario. Het is veilig, maar het is erg streng en wijst vaak goede antwoorden af.
Inspecteur B (Bernstein): Een slimmere inspecteur. Deze kijkt naar hoe de zekerheid van de robot varieert. Als de robot meestal consistent is, is deze inspecteur minder streng en laat hij meer goede antwoorden door. Dit was de grootste verbetering, waardoor ongeveer 37% meer configuraties de veiligheidstest haalden.
Inspecteur C (e-CRC): De deskundige gokker. Deze gebruikt een "wedstrategie". Als de robot goed presteert, wedt deze op het feit dat hij veilig is. Dit is de scherpste inspecteur, vooral wanneer je niet veel data hebt om de robot op te testen. Het kan veiligheid certificeren zelfs wanneer de andere twee inspecteurs "onmogelijk" zeggen.

3. De Strategie "Verlaag het Doel"

Het artikel vond dat voor zeer moeilijke taken (zoals complexe medische naamextractie), de robot vaak simpelweg te foutgevoelig is om aan een strikt doel van 10% fouten te voldoen.

De Oplossing: Als je je doel versoepelt om een foutpercentage van 30% of 40% te accepteren (wat nog steeds nuttig kan zijn voor een eerste concept of een triage-systeem), wordt de robot plotseling certificeerbaar.
De Les: Je kunt niet altijd een "perfecte" garantie krijgen. Maar als je bereid bent een "goed genoeg" garantie te accepteren, kun je een wiskundig bewezen veiligheidsnet krijgen.

4. Wanneer de Robot de Weg Kwijtraakt (Adaptatie)

Wat gebeurt er als je de robot traint op nieuwsartikelen, maar hem vervolgens vraagt om sociale media-berichten te analyseren? De robot raakt in de war (dit wordt een "distributieverschuiving" genoemd).

Het Probleem: Een statische veiligheidsinspecteur (één die een regel eenmalig instelt en daarna vergeet) faalt hier slecht. Het kan 70% van de foute antwoorden doorlaten omdat de regels niet passen in de nieuwe omgeving.
De Oplossing (ACI): De auteurs testten een "levende" inspecteur die zijn regels in realtime aanpast. Als de robot meer fouten begint te maken, zegt de inspecteur onmiddellijk: "Stop! Wees voorzichtiger!" Als de robot goed presteert, versoepelt de inspecteur de regels. Dit verminderde de foutpercentages van 71% naar 21%.

5. Signalen Mengen (Score Fusie)

De robot geeft veel verschillende signalen over hoe zeker hij is (bijv. "Ik ben zeker van dit woord," of "Ik heb dit eerder gezien").

De Bevinding: In plaats van naar slechts één signaal te luisteren, suggereert het artikel om al deze signalen samen te voegen (zoals een chef die kruiden mengt). Dit "gefuseerde" signaal is veel beter in het opsporen van de fouten van de robot dan welk enkel signaal dan ook.

Het Definitieve "Recept" voor Implementatie

De auteurs geven een eenvoudige driestapsgids voor iedereen die deze robots veilig wil gebruiken:

Controleer de Vloer: Bereken voordat je begint het natuurlijke foutpercentage van de robot. Als dit hoger is dan je veiligheidsdoel, weet dan dat je moet verwachten dat de robot veel antwoorden zal weigeren. Verspil geen tijd aan het zoeken naar een magische oplossing.
Kies de Juiste Inspecteur: Gebruik niet de basisversie. Gebruik de "Bernstein" of "e-CRC" inspecteurs, vooral wanneer je niet veel testdata hebt.
Observeer en Pas Aan: Als de robot van het ene type data naar een ander type overgaat (zoals van nieuws naar sociale media), gebruik dan de "levende" inspecteur (ACI) die de regels onderweg aanpast.

Kortom: Je kunt een onhandige robot niet dwingen om perfect te zijn zonder dat hij constant moet nadenken. Maar als je zijn grenzen kent, de juiste wiskundige instrumenten gebruikt en hem laat aanpassen aan nieuwe situaties, kun je een wiskundig gegarandeerd veiligheidsnet krijgen voor zijn output.

Technische Samenvatting: Wanneer kan Conformal Risk Control de output van LLM's certificeren?

1. Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor taken met gestructureerde generatie—zoals Named Entity Recognition (NER), JSON-extractie, Question Answering (QA) en classificatie—waarbij de outputs moeten voldoen aan een specifiek schema en geëvalueerd kunnen worden tegen de grondwaarheid (ground truth). Deze modellen missen echter formele betrouwbaarheidsgaranties. Standaard onzekerheidskwantificatiemethoden (bijv. token-waarschijnlijkheden, entropiedrempels) zijn vaak slecht gekalibreerd voor gestructureerde verliezen (losses), en heuristische onthoudingsbeleid (abstention policies) missen vaak door de gebruiker gespecificeerde risicotargets met 7,5–12,5%.

Het kernprobleid dat wordt aangepakt is het bepalen wanneer Conformal Risk Control (CRC) formeel kan certificeren dat de gestructureerde outputs van een LLM voldoen aan een door de gebruiker gedefinieerd risicotarget $\alpha$ (bijv. "foutpercentage $\le 10\%$ "), en wanneer dergelijke certificering bewezen onmogelijk is, ongeacht de gebruikte methode.

2. Methodologie

2.1. Probleemopstelling

De auteurs definiëren een selectieve voorspeller die een voorspelling $\hat{y}$ afgeeft als een betrouwbaarheidsscore $s(x, \hat{y}) \ge \lambda$ en anders onthoudt. Het doel is om een drempelwaarde $\lambda^*$ te vinden zodat de conditionele risico voldoet aan:
$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$
met een waarschijnlijkheid $\ge 1-\delta$ , waarbij $R_{task}$ een taakspecifiek risico is (bijv. $1 - F_1$ voor NER, $1 - \text{Exact Match}$ voor QA).

2.2. Certificeringshiërarchie

Het papier analyseert een hiërarchie van grenzen (bounds) die worden gebruikt om $\lambda^*$ te selecteren:

Hoeffding Bound: De standaard upper confidence bound (UCB) die de variantie negeert.
Empirical Bernstein Bound: Integreert de steekproefvariantie $\hat{\sigma}^2$ , wat nauwere grenzen biedt wanneer de variantie laag is ( $\hat{\sigma}^2 < 1/4$ ).
e-CRC (Betting-Based): Gebruikt een testing-by-betting framework (e-values) om een vermogensproces (wealth process) te construeren. Dit past zich volledig aan de empirische distributie aan via sequentiële weddenschappen, en biedt de strakste grens, met name in scenario's met schaarse data.

De auteurs bewijzen een strikte ordening van gecertificeerde drempelwaarden: $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ .

2.3. Onmogelijkheidsresultaat (Haalbaarheidstest)

Een centrale theoretische bijdrage is een gesloten vorm van een ondergrens op onthouding (abstention). De auteurs bewijzen dat als het basisrisico $\mu = E[R]$ van het model op de deployment-populatie groter is dan het target $\alpha$ , elke distributievrije methode op ten minste een fractie van de voorbeelden moet onthouden:
$\text{Abstention} \ge \frac{\mu - \alpha}{1 - \alpha}$
Dit dient als een haalbaarheidstest: als $\mu > \alpha$ , is certificering alleen mogelijk door een aanzienlijk deel van de inputs af te wijzen.

2.4. Adaptive Conformal Inference (ACI)

Om distributieverschuiving (distribution shift) aan te pakken (waarbij de testdistributie verschilt van de kalibratieset), evalueert het papier ACI. Deze methode werkt de drempelwaarde online bij op basis van geobserveerd risico:
$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$
Dit biedt asymptotische controle onder verschuiving, hoewel het geen garanties biedt voor eindige steekproeven (finite-sample guarantees).

2.5. Score Fusion

De auteurs stellen voor om een gefuseerde betrouwbaarheidsscore $\tilde{s}(x)$ te leren via logistische regressie op disjuncte kalibratiedata, waarbij meerdere signalen worden gecombineerd (bijv. Self-Consistency, Token Margin, Semantic Entropy). Ze bewijzen dat als de fusiefunctie vaststaat en onafhankelijk is van de CRC-kalibratiesample, de CRC-geldigheid garantie behouden blijft.

3. Belangrijkste Bijdragen

Onmogelijkheidsresultaat en Haalbaarheidskarakterisering: Het papier stelt vast dat wanneer het basisrisico $\mu > \alpha$ , geen enkele distributievrije methode outputs kan certificeren zonder op $\ge (\mu - \alpha)/(1 - \alpha)$ van de voorbeelden te onthouden. Dit biedt een pre-deployment check om te bepalen of een risicotarget haalbaar is.
Certificeringshiërarchie: De auteurs stellen de hiërarchie $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$ vast en verifiëren deze empirisch. Ze tonen aan dat de overstap van Hoeffding naar Bernstein de grootste winst oplevert (+37% meer gecertificeerde configuraties) in regimes met lage variantie, terwijl e-CRC cruciale waarde biedt wanneer kalibratiedata schaars is (bijv. 10% certificering bij 20% data versus 0% voor Hoeffding).
Adaptatie aan Verschuiving: De studie valideert ACI onder cross-dataset transfer, waarbij een reductie in risicotarget-schendingen wordt aangetoond van 71% (statische CRC) naar 21%. Residuele fouten treden precies op waar de onmogelijkheidsgrens voorspelt dat zware onthouding vereist is.
Empirische Benchmark: Een uitgebreide evaluatie over zes open-weight modellen (3B–72B parameters), acht datasets, vier taken en zes nonconformity scores. De studie vindt dat harde NER/QA/CLS configuraties vaak oncertificeerbaar zijn bij een strikte $\alpha=0.10$ , maar dat het versoepelen van $\alpha$ naar 0.30–0.40 praktische certificering mogelijk maakt (47% NER, 40% QA, 60% CLS).

4. Resultaten

Miscalibratie: LLM's vertonen significante miskalibratie voor gestructureerde taken. Hoewel de gemiddelde betrouwbaarheid hoog is (74–97%), varieert het werkelijke risico sterk (3% voor JSON tot 80% voor NQ Open QA).
Haalbaarheidslimieten: Bij $\alpha=0.10$ liggen de certificeringspercentages voor NER/QA/CLS nabij nul omdat $\mu \gg \alpha$ . Bijvoorbeeld, NQ Open QA heeft $\mu \approx 0.80$ , wat $\ge 78\%$ onthouding vereist om een 10% risicotarget te halen.
Prestaties van de Grenzen (Bounds):
- Hoeffding: Certificeert 8,7% van de configuraties.
- Bernstein: Certificeert 11,9% (+37% winst ten opzichte van Hoeffding).
- e-CRC: Certificeert 12,2%, met het meest significante voordeel in scenario's met weinig data.
- Alle methoden handhaven een bijna nul risico op schendingen onder de gecertificeerde configuraties.
Model Schaling: Het vergroten van de modelgrootte vermindert het basisrisico $\mu$ . Voor CoNLL NER daalt $\mu$ van 0.42 (3B) naar 0.24 (72B), wat certificering bij $\alpha=0.25$ mogelijk maakt voor 72B modellen waar 14B modellen falen.
Score Fusion: Gekalibreerde fusie verbetert de AUROC in 89% van de configuraties, met de grootste winsten in classificatie- en NER-taken waar individuele scores zwakker zijn.

5. Betekenis en Claims

Het papier claimt een deployment-gerichte karakterisering te bieden in plaats van slechts een nieuwe conformal primitief. De primaire betekenis ligt in het verschuiven van de vraag van de praktijkbeoefenaar van "Welke grens is het strakst?" naar "Is certificering haalbaar?".

Eerst Haalbaarheid: De onmogelijkheidsgrens stelt de praktijkbeoefenaar in staat om de minimale vereiste onthouding te berekenen voordat men een CRC-procedure uitvoert. Als de vereiste onthouding onacceptabel is, suggereert het papier het schalen van het model, het versoepelen van het risicotarget $\alpha$ , of het accepteren van zware onthouding.
Praktisch Recept: De auteurs stellen een driestaps deployment-framework voor:
1. Controleer Haalbaarheid: Bereken $\mu$ ; als $\mu > \alpha$ , bereken de onthoudingsvloer.
2. Selecteer Grens en Score: Gebruik Bernstein of e-CRC (nooit Hoeffding) en gebruik score fusion of Self-Consistency.
3. Mitigeer Verschuiving: Zet ACI in als de testdistributie kan verschillen van de kalibratiedistributie.
Realistische Verwachtingen: Het werk verheldert dat voor moeilijke taken (hoge $\mu$ ) en strikte targets (lage $\alpha$ ), certificering inherent beperkt wordt door de basisprestaties van het model, niet door de statistische methode. Het versoepelen van $\alpha$ naar realistische niveaus (bijv. 0.30–0.40) maakt certificering praktisch voor veel gestructureerde taken.

Het paper concludeert dat hoewel CRC formele garanties biedt, het nut ervan begrensd wordt door de fundamentele trade-off tussen basisrisico en het targetrisico, een beperking die geen enkele statistische grens kan overwinnen.