📊 statistics

Audited Conformal Prediction for Classification under Unknown Distribution Shift

Dit artikel introduceert Audited Conformal Prediction (ACP), een nieuw raamwerk dat een kleine gelabelde doeldataset gebruikt om een hulp-auditmodel te trainen, waardoor de conditionele dekking wordt verbeteren en strikte theoretische garanties worden geboden voor onzekerheidskwantificatie in voorgetrainde classificators onder onbekende distributieverschuivingen.

Oorspronkelijke auteurs: Yanfei Zhou, Rizal Fathony, Nam H. Nguyen, Matteo Sesia

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanfei Zhou, Rizal Fathony, Nam H. Nguyen, Matteo Sesia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer ervaren, ouderwetse detective hebt (het "Legacy Model") die duizenden zaken heeft opgelost op basis van historische gegevens. Deze detective is meestal geweldig, maar de wereld verandert. Nieuwe soorten misdaden verschijnen, of de manier waarop criminelen handelen is verschoven (dit is wat het artikel "Distribution Shift" noemt).

Het probleem is dat de detective weliswaar nog steeds soms het juiste antwoord raadt, maar vaak niet doorheeft wanneer hij blind gokt. Hij kan zeggen: "Ik weet 100% zeker dat dit een kat is," terwijl het eigenlijk een hond is, simpelweg omdat de belichting anders is. In machine learning noemen we dit een gebrek aan onzekerheidskwantificering (uncertainty quantification). We moeten een manier hebben om te zeggen: "Ik weet het niet zeker," of "Ik weet het voor 60% zeker," zodat we geen gevaarlijke fouten maken.

De oude manier: "Vertrouw gewoon op het gemiddelde"

Standaardmethoden (genoemd Conformal Prediction) proberen dit op te lossen door te zeggen: "Oké, we moeten gemiddeld 90% van de tijd gelijk hebben." Om dit te bereiken, kijken ze naar de fouten uit het verleden van de detective en trekken ze een vangnet.

De tekortkoming: Dit vangnet is als een deken die iedereen gelijkmatig bedekt. Als de detective geweldig is in het identificeren van katten, maar slecht in het identificeren van honden in de nieuwe omgeving, kan de deken te los zijn voor de honden (waardoor ze erdoorheen glippen) en te strak voor de katten (waardoor er tijd wordt verspild). Het garandeert dat je het over het algemeen bij hebt, maar het garandeert niet dat je het voor specifieke, lastige gevallen bij hebt.

De nieuwe oplossing: "Audited Conformal Prediction" (ACP)

De auteurs stellen een nieuw systeem voor genaamd Audited Conformal Prediction (ACP). In plaats van alleen de oude detective te vertrouwen, huren ze een nieuwe, gespecialiseerde manager in (de "Audit Model").

Hier is hoe de analogie werkt:

De Legacy Detective: Het originele AI-model dat de voorspellingen doet. Het is snel en weet veel, maar het kan de aansluiting met de nieuwe wereld kwijt zijn.
De Audit Manager: Een kleinere, eenvoudigere AI die is getraind op een minimale hoeveelheid nieuwe, gelabelde data. De enige taak is niet om het misdrijf op te lossen. De enige taak is om naar het werk van de Detective te kijken en te zeggen: "Hey, ik denk dat de Detective deze keer een fout gaat maken," of "Deze ziet er veilig uit."
- Beschouw de Audit Manager als een betrouwbaarheidsradar. Het hoeft het antwoord niet te weten; het hoeft alleen te weten wanneer de Detective waarschijnlijk fout zal zitten.
Het Proces:
- De Detective doet een voorspelling.
- De Audit Manager controleert de voorspelling. Als de Manager zegt: "Dit ziet er riskant uit," vergroot het systeem automatisch het vangnet (de voorspellingsset) om meer mogelijkheden in te sluiten, puur voor de veiligheid.
- Als de Manager zegt: "Dit ziet er veilig uit," houdt het systeem het vangnet compact en efficiënt.

Waarom is dit beter?

Het artikel beweert dat deze methode twee dingen bereikt waar andere methoden moeite mee hebben:

De "Fairness" Garantie: Het zorgt ervoor dat het systeem in 90% van de gevallen gelijk heeft gemiddeld (Marginal Coverage).
De "Smart" Garantie: Het wordt daadwerkelijk veel beter in het gelijk hebben bij de moeilijke gevallen (Conditional Coverage).

De analogie van de paraplu:
Stel je voor dat het regent.

Standaardmethode: Geeft iedereen een enorme, zware paraplu. Het houdt iedereen gemiddeld droog, maar het is lomp en zwaar voor mensen die gewoon onder een boom staan (makkelijke gevallen), en het kan nog steeds te klein zijn voor mensen in een storm (moeilijke gevallen).
ACP-methode: De Audit Manager kijkt naar de lucht. Als het een lichte motregen is, geeft hij je een kleine, lichte paraplu. Als het een onweersbui is, geeft hij je onmiddellijk een enorme, versterkte paraplu. Je blijft droog in beide situaties, maar je wordt niet belast wanneer je het niet nodig hebt.

Het "Geheime ingrediënt": Twee strategieën

Het artikel beschrijft twee manieren om deze Audit Manager te gebruiken:

De "Smart Adjuster" (ACP-MC): Deze versie past de vertrouwensscores van de Detective aan. Als de Audit Manager denkt dat de Detective overmoedig is, verlaagt hij het vertrouwen. Dit houdt het vangnet klein, maar maakt het veel nauwkeuriger voor lastige gevallen.
De "Group Protector" (ACP-ACC): Deze versie groepeert gevallen op basis van hoe "riskant" de Audit Manager ze vindt. Het garandeert dat voor de "Hoge Risico" groep het systeem in 90% van de gevallen gelijk heeft, en dat het voor de "Lage Risico" groep ook in 90% van de gevallen gelijk heeft. Dit is als het hebben van een specifiek veiligheidsprotocol voor stormachtige gebieden en een ander protocol voor zonnige gebieden.

Wat de experimenten lieten zien

De auteurs testten dit op:

Synthetische data: Waarbij ze precies wisten waar de "lastige" gevallen zaten.
Echte data:
- Medische beelden: Het detecteren van tumoren in ziekenhuisscans van verschillende ziekenhuizen (waar de apparatuur en patiënten verschillen).
- Auto-foto's: Het identificeren van auto's in afbeeldingen die zijn aangetast door regen, mist of onscherpte.

De resultaten:
In al deze tests was de ACP-methode in staat om:

Het algemene foutpercentage laag te houden (voldoen aan de 90% garantie).
Significant de nauwkeurigheid te verbeteren op de "moeilijke" of "onbetrouwbare" monsters vergeleken met het simpelweg hertrainen van het model of het gebruik van standaardmethoden.
Te voorkomen dat de voorspellingen te vaag werden (de "paraplu's" werden niet onnodig groot).

De kern van de zaak

Het artikel betoogt dat wanneer een AI-model wordt ingezet in een veranderende wereld, je niet altijd het oude model weg hoeft te gooien en vanaf nul opnieuw hoeft te trainen (wat duur en traag is). In plaats daarvan kun je een kleine, slimme "audit"-laag toevoegen die weet wanneer het oude model waarschijnlijk zal falen. Dit zorgt ervoor dat het systeem veiliger is bij de moeilijke zaken zonder onhandig te worden bij de makkelijke zaken.

De auteurs stellen expliciet dat deze methode goed werkt, zelfs wanneer je slechts over een kleine hoeveelheid nieuwe, gelabelde data beschikt, wat een veelvoorkomend probleem is in de echte wereld. Ze merken ook op dat het succes van de methode afhangt van hoe goed de "Audit Manager" de risico's kan opsporen.

Technische Samenvatting: Geauditeerde Conformal Predictie voor Classificatie onder Onbekende Distributieverschuiving

Probleemstelling

Het artikel behandelt de uitdaging van onzekerheidskwantificatie voor vooraf getrainde ("legacy") classificatiemodellen die worden ingezet in omgevingen die onderhevig zijn aan onbekende distributieverschuivingen. Hoewel standaard conformal predictie garanties biedt op marginale dekking (dat wil zeggen: het ware label is met een waarschijnlijkheid van $1-\alpha$ aanwezig in de voorspellingsset over de populatie heen), maskeert deze garantie vaak ernstige conditionele tekortkomingen. Specifiek kunnen, wanneer de trainings- en doelverdelingen verschillen, standaardmethoden te conservatieve voorspellingssets produceren voor sommige inputs, terwijl ze voor andere inputs (bijv. monsters waar het legacy-model waarschijnlijk zal falen) systematisch onderdekking vertonen.

Bestaande benaderingen om dit te mitigeren vereisen ofwel het hertrainen van het model (wat middelenintensief is en vaak suboptimaal met beperkte nieuwe gelabelde data) of vertrouwen op aannames over de aard van de distributieverschuiving. De auteurs merken op dat hoewel hertrainen intuïtief is, het inefficiënt kan zijn wanneer nieuwe gelabelde data schaars is ten opzichte van historische datasets. Bovendien onderscheiden standaard conformal methoden niet inherent "makkelijke" van "moeilijke" monsters onder verschuiving, wat leidt tot oninformatieve voorspellingssets precies daar waar betrouwbaarheid het meest nodig is.

Methodologie: Geauditeerde Conformal Predictie (ACP)

De voorgestelde oplossing, Audited Conformal Prediction (ACP), introduceert een hulp-auditmodel om inputs te identificeren waar het legacy-model waarschijnlijk zal falen, zonder het legacy-model te hoeven hertrainen of aannames te doen over de structuur van de verschuiving.

Kerncomponenten

Het Auditmodel ( $\hat{r}$ ): Een binaire classifier die wordt getraind op een kleine subset van gelabelde doeldata. De taak is het voorspellen van de correctheid van de puntvoorspelling ( $f_0$ ) van het legacy-model voor een gegeven input $X$ .
- Training: Het auditmodel wordt getraind om de binaire label $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ te voorspellen met behulp van kenmerken afgeleid van de input $X_i$ en signalen van het legacy-model (bijv. softmax-waarschijnlijkheden, entropie, embedding-afstanden).
- Oracle-concept: Theoretisch rust de methode op een oracle auditmodel $r^*(x) = P(f_0(X)=Y | X=x)$ , dat de werkelijke conditionele betrouwbaarheid van het legacy-model vertegenwoordigt.
Integratiestrategieën: Het artikel stelt twee complementaire strategieën voor om het auditmodel in het conformal framework te integreren:
- Strategie 1: ACP met Marginale Dekking (ACP-MC)
  - Mechanisme: Het auditmodel $\hat{r}$ wordt gebruikt om de geschatte conditionele labelverdeling van het legacy-model te verfijnen. Voor binaire classificatie, als $f_0(x)=1$ , is de geschatte waarschijnlijkheid $(\hat{r}(x), 1-\hat{r}(x))$ ; anders is het $(1-\hat{r}(x), \hat{r}(x))$ .
  - Doel: Deze verfijnde verdeling wordt gebruikt om nonconformity scores te berekenen. De methode garandeert de standaard marginale dekking ( $1-\alpha$ ) terwijl de conditionele dekking empirisch wordt verbeterd door de grootte van de voorspellingsset aan te passen op basis van de geschatte betrouwbaarheid van de input.
- Strategie 2: ACP met Geauditeerde Conditionele Dekking (ACP-ACC/AEC)
  - Mechanisme: Deze benadering richt zich expliciet op groep-conditionele dekking. De feature-ruimte wordt gepartitioneerd op basis van de output van het auditmodel (bijv. het indelen van $\hat{r}(x)$ in hoog-betrouwbare en laag-betrouwbare groepen).
  - Doel: Het dwingt dekking af die geconditioneerd is op deze door de audit gedefinieerde groepen. Het artikel stelt een eindige-steekproefstelling vast die aantoont dat, indien het auditmodel de oracle-betrouwbaarheid consistent schat, de methode dekking garandeert voor de ware betrouwbaarheidsgroepen, waarbij de fout begrensd wordt door de discrepantie tussen de geschatte en de ware audit-groepen.
Adaptieve ACP (AACP): Een datagedreven procedure die adaptief kiest tussen ACP en een hertrainde baseline. Het splitst de kalibratiedata om te evalueren welke methode een hogere conditionele dekking oplevert op "onbetrouwbare" groepen (geïdentificeerd door het auditmodel) en selecteert de winnaar.

Belangrijkste Bijdragen

Nieuw Framework: De introductie van ACP, die een kleine gelabelde doeldataset gebruikt om een auditmodel te trainen dat het falen van het legacy-model voorspelt, in plaats van het legacy-model zelf te hertrainen.
Theoretische Garanties:
- Bewijs dat ACP-MC de marginale dekking garanties behoudt.
- Afleiding van een eindige-steekproef-grens voor ACP-ACC, die aantoont dat de conditionele dekking de oracle-garantie nadert naarmate de schattingsfout van het auditmodel naar nul gaat.
Praktische Efficiëntie: De methode vermijdt de computationele kosten van volledige modelhertraining en de data-honger die gepaard gaat met het fine-tunen van complexe modellen, wat het geschikt maakt voor scenario's met beperkte nieuwe gelabelde data.
Empirische Validatie: Uitgebreide experimenten met synthetische data (die concept shift, covariate shift en labelruis beslaan) en real-world datasets (Camelyon17 en CIFAR-10/CIFAR-10-C) laten zien dat ACP-varianten aanzienlijk hogere conditionele dekking bereiken op moeilijke samples vergeleken met standaard conformal predictie, AdaTS (Adaptive Temperature Scaling) en hertraining-baselines, zonder de gemiddelde voorspellingsset-grootte op te blazen.

Resultaten

Synthetische Data: In scenario's met intrinsieke label-onzekerheid (concept shift) of een verhoogd aandeel moeilijke samples (covariate shift), falen standaardmethoden en hertraining vaak om tussen makkelijke en moeilijke samples te differentiëren, wat leidt tot onderdekking op moeilijke bins. ACP-varianten wijzen succesvol grotere voorspellingssets toe aan moeilijke samples en kleinere sets aan makkelijke samples, waardoor ze bijna perfecte conditionele dekking op moeilijke bins bereiken terwijl ze compacte gemiddelde set-groottes behouden.
Real-World Data: Op Camelyon17 (histopathologie) en CIFAR-10-C (gecorrumpeerde afbeeldingen) presteerde ACP consequent beter dan baselines in conditionele dekking over betrouwbaarheidsbins. Terwijl hertraining vaak te conservatieve sets produceerde die er niet in slaagden betrouwbaarheidsniveaus te differentiëren, behield ACP informatieve set-groottes.
Trade-offs: De experimenten benadrukken een trade-off tussen de striktheid van conditionele garanties en de set-grootte. ACP-ACC (het afdwingen van dekking over meerdere overlappende groepen) is het meest conservatief maar biedt de sterkste conditionele garanties, terwijl ACP-MC een balans biedt met kleinere set-groottes.

Betekenis en Claims

Het artikel claimt dat ACP een praktische en statistisch gefundeerde benadering biedt voor onzekerheidsbewuste classificatie onder willekeurige distributieverschuivingen. De primaire betekenis ligt in het vermogen om de conditionele dekking te verbeteren — het waarborgen van betrouwbaarheid waar het ertoe doet — zonder de prohibitieve data-eisen van het hertrainen van complexe modellen.

De auteurs benadrukken dat hun bijdrage niet het ontwerp van een nieuwe leerprocedure voor het auditmodel is (dat elk standaard classifier kan zijn), maar de integratie van audit-voorspellingen in het conformal framework. Dit maakt een directe betrouwbaarheidsmaat mogelijk die geen toegang vereist tot de oorspronkelijke trainingsdata of aannames over het verschuivingsmechanisme.

Het artikel sluit bescheiden af en erkent dat de effectiviteit van de methode afhangt van de kwaliteit van het auditmodel, wat een uitdaging kan zijn in scenario's met zeer weinig data. Toekomstig werk dat door de auteurs wordt gesuggereerd, omvat meer data-efficiënte extensies (bijv. via cross-validatie conformal methoden) en aanpassingen voor online of streaming settings.