Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score

Deze paper introduceert SemiCP, een semi-superviserde methode voor conformele voorspelling die ongelabelde data via een 'Nearest Neighbor Matching'-score benut om de stabiliteit en dekking van voorspellingen te verbeteren wanneer gelabelde data schaars is.

De kern

Titel: Hoe je met "stille helpers" een veiliger voorspelling maakt

Stel je voor dat je een waarzegger bent die voor een patiënt een diagnose moet stellen. Je wilt niet zomaar zeggen: "Je hebt ziekte X." Nee, je wilt zekerheid. Je wilt zeggen: "Ik ben 95% zeker dat het ziekte X is, maar het zou ook Y kunnen zijn." Dit noemen we in de AI-wereld Conformal Prediction. Het is een manier om te zeggen: "Hoeveel vertrouwen kunnen we hebben in dit antwoord?"

Maar hier zit een probleem. Om die 95% zekerheid te berekenen, moet de waarzegger eerst oefenen met een stapel voorbeelden waar het antwoord al bekend is (gelabelde data). In de echte wereld is die stapel echter vaak erg klein.

Het Probleem: De Kwalende Koffiebar

Stel je voor dat je een barista bent die moet bepalen hoe lang een kopje koffie moet trekken om perfect te zijn. Je hebt slechts 10 proefkopjes om je te baseren.

• Als je op die 10 kopjes kijkt, kun je een gemiddelde tijd kiezen.
• Maar wat als die 10 kopjes per ongeluk allemaal net iets te kort of te lang waren getrokken? Dan is je voorspelling voor de volgende klant onbetrouwbaar. Je kunt te lang trekken (koffie wordt bitter) of te kort (koffie is waterig).
• In de AI betekent dit: je voorspelling is onstabiel. Soms ben je te zeker, soms te onzeker.

De auteurs van dit paper zeggen: "Wacht even, we hebben duizenden andere koffiebonen die we nog niet hebben getrokken, maar waar we wel de bonen van hebben (ongelabelde data). Laten we die ook gebruiken!"

De Oplossing: SemiCP en de "Nearest Neighbor"

Deze paper introduceert een nieuwe methode genaamd SemiCP. Het idee is simpel: gebruik niet alleen de 10 bekende proefkopjes, maar haal ook de duizenden onbekende bonen erbij om je voorspelling te stabiliseren.

Maar hoe doe je dat zonder te weten of die onbekende bonen nu goed of slecht zijn? Dat is waar de NNM-score (Nearest Neighbor Matching) om de hoek komt kijken.

De Creatieve Analogie: De "Dubbelganger"-Techniek

Stel je voor dat je een nieuwe, onbekende koffiebon hebt (een ongelabeld voorbeeld). Je wilt weten hoe lang deze moet trekken, maar je kent het antwoord niet.

1. De Pseudo-Label: Je laat je beste koffie-expert (het AI-model) een gok doen. De expert zegt: "Deze bon lijkt op een 'Arabica', dus trek hem 20 seconden." Dit is een gok, geen feit.
2. Het Probleem: Experts zijn vaak zelfverzekerd, maar soms fout. Als de expert zegt "20 seconden", is dat waarschijnlijk een beetje te optimistisch (te kort), omdat experts altijd denken dat ze gelijk hebben.
3. De Oplossing (NNM): In plaats van blindelings te vertrouwen op die 20 seconden, kijken we naar onze 10 bekende proefkopjes.
   • We zoeken in die 10 kopjes de één die het meest lijkt op onze nieuwe bon (in termen van hoe de expert erover denkt).
   • Stel, die bekende kop (die we wel kennen) werd ook door de expert geschat op 20 seconden, maar in werkelijkheid bleek hij 25 seconden nodig te hebben.
   • De conclusie: De expert is in dit soort situaties 5 seconden te optimistisch.
   • De actie: We passen die "5 seconden correctie" toe op onze nieuwe, onbekende bon.

Dit is Nearest Neighbor Matching: we zoeken een "tweeling" in onze bekende dataset om de fout van de expert te meten en die fout te corrigeren voor de onbekende data.

Waarom is dit zo goed?

1. Stabiliteit: Door duizenden van deze "gecorrigeerde goks" toe te voegen aan je berekening, wordt je gemiddelde veel stabieler. Je hoeft niet meer te hopen dat je 10 proefkopjes toevallig perfect waren. Je hebt nu duizenden steunpunten.
2. Efficiëntie: Omdat je zekerder bent, hoef je geen enorme lijst met mogelijke ziektes te geven. Je kunt zeggen: "Het is waarschijnlijk X of Y" in plaats van "Het kan alles zijn". Dat maakt de voorspelling nuttiger.
3. Geen extra training: Het mooie van deze methode is dat je geen nieuwe AI-modellen hoeft te trainen. Je gebruikt gewoon de bestaande data en een slimme zoektocht naar "tweelingen".

Het Resultaat in het Kort

De auteurs hebben dit getest op enorme datasets (zoals ImageNet, waar modellen moeten leren herkennen wat er op foto's staat).

• Zonder deze methode: Met slechts 20 voorbeelden was de voorspelling onstabiel en onnauwkeurig.
• Met deze methode: Door 4000 onbekende voorbeelden erbij te halen, werd de voorspelling 77% stabieler. De voorspellingen waren betrouwbaarder en de lijsten met mogelijke antwoorden werden korter en preciezer.

Samenvattend:
Deze paper leert ons dat we niet hoeven te wachten tot we duizenden perfecte voorbeelden hebben om een goede AI te bouwen. Als we slim zijn en kijken naar hoe onze AI "dwaalt" bij bekende voorbeelden, kunnen we die kennis gebruiken om ook bij de onbekende voorbeelden de juiste kant op te sturen. Het is alsof je een kompas hebt dat je niet alleen laat zien waar je bent, maar ook corrigeert op basis van hoe je eruit ziet ten opzichte van mensen die je al kent.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score" in het Nederlands.

Titel: Semi-supervised Conformal Prediction met een Niet-geannoteerde Niet-overeenkomstsscore

1. Het Probleem

Conformal Prediction (CP) is een krachtig statistisch raamwerk voor het kwantificeren van onzekerheid in machine learning-modellen. Het genereert voorspellingssets die met een gegarandeerde waarschijnlijkheid (coverage) het ware label bevatten. De meest gebruikte variant, Split Conformal Prediction, vereist een gecalibreerde dataset met gelabelde data om een drempelwaarde (threshold) te bepalen.

Het artikel identificeert een fundamenteel probleem in real-world scenario's:

• Beperkte gelabelde data: In veel toepassingen (bijv. medische diagnostiek) is gelabelde data schaars.
• Instabiliteit: Wanneer de calibratiedataset klein is, leidt dit tot een hoge variantie in de coverage-prestaties tussen verschillende runs. De voorspellingssets worden vaak onnodig groot (inefficiënt) of missen de gewenste coverage (onbetrouwbaar).
• Bestaande oplossingen zijn ontoereikend: Eerdere methoden zoals interpolatie of meta-learning zijn vaak heuristisch, bieden geen garantie voor eindige steekproeven, of vereisen specifieke aannames over uitwisselbare taken.

2. Methodologie: SemiCP en NNM

De auteurs introduceren SemiCP (Semi-Supervised Conformal Prediction), een nieuw paradigma dat zowel gelabelde als ongelabelde data gebruikt voor de calibratie. De kern van de methode ligt in het schatten van de "niet-overeenkomstsscore" (nonconformity score) voor de ongelabelde data zonder dat de ware labels bekend zijn.

De Nearest Neighbor Matching (NNM) Score:
Om de scores voor ongelabelde data te schatten, gebruiken de auteurs een innovatieve aanpak:

1. Pseudo-labels: Een vooraf getraind model genereert een pseudo-label ($\hat{y}$) voor elk ongelabeld voorbeeld.
2. Pseudo-score: De standaard niet-overeenkomstsscore wordt berekend met dit pseudo-label. Dit leidt echter tot een systematische bias, omdat het model zijn eigen meest waarschijnlijke keuze selecteert (wat de score kunstmatig verlaagt).
3. Bias Correctie via NNM: In plaats van een globale correctie toe te passen, zoekt de methode voor elk ongelabeld voorbeeld het gelabelde voorbeeld in de calibratiedataset waarvan de pseudo-score het meest lijkt op die van het ongelabelde voorbeeld.
4. Berekening: De geschatte score voor het ongelabelde punt wordt berekend als:
   $$\tilde{S}_{nnm}(\tilde{x}) = S(\tilde{x}, \hat{y}) + [S(x_j, y_j) - S(x_j, \hat{y}_j)]$$
   Waarbij $x_j$ het gevonden "nearest neighbor" is. De term tussen haakjes is de waargenomen bias op het gelabelde voorbeeld, die wordt gebruikt om de bias op het ongelabelde voorbeeld te corrigeren.

Werkingsprincipe:
De gecorrigeerde scores van de ongelabelde data worden samengevoegd met de scores van de gelabelde data om een grotere calibratiedataset te vormen. Hieruit wordt de quantiel-drempelwaarde ($\hat{\tau}$) berekend, wat leidt tot stabielere en efficiëntere voorspellingssets.

3. Belangrijkste Bijdragen

• Nieuw Paradigma (SemiCP): De eerste methode die ongelabelde data systematisch integreert in de calibratie van conformal prediction om het probleem van schaarse gelabelde data aan te pakken.
• Nearest Neighbor Matching (NNM): Een nieuwe, trainingsvrije (training-free) scorefunctie die de verdeling van de ware niet-overeenkomstsscores benadert door lokale bias-correctie op basis van pseudo-scores.
• Theoretische Garantie: De auteurs bewijzen dat de gemiddelde "coverage gap" (het verschil tussen de empirische coverage en de doel-coverage) afneemt met een snelheid van $O(1/\sqrt{N})$, waarbij $N$ het aantal ongelabelde voorbeelden is. Dit betekent dat meer ongelabelde data de stabiliteit van CP aanzienlijk verbetert.
• Generalisatie: De methode werkt naadloos samen met bestaande scorefuncties (zoals THR, APS, RAPS) en kan worden toegepast op conditionele CP (bijv. per klasse of per groep).

4. Resultaten

Uitgebreide experimenten zijn uitgevoerd op drie beeldclassificatie datasets: CIFAR-10, CIFAR-100 en ImageNet.

• Stabiliteit: Met slechts 20 gelabelde voorbeelden en 4000 ongelabelde voorbeelden (op CIFAR-10), verlaagde SemiCP de gemiddelde coverage gap met 77% ten opzichte van de standaard Split CP.
• Efficiëntie: De methode produceerde kleinere voorspellingssets (gemiddeld 5,7% kleiner op CIFAR-10), wat betekent dat de onzekerheid nauwkeuriger wordt gekwantificeerd zonder de betrouwbaarheid te verliezen.
• Robuustheid: De prestaties bleven stabiel over verschillende modelarchitecturen (ResNet, ViT, etc.) en bij conditionele settingen (per klasse).
• Vergelijking: SemiCP presteerde aanzienlijk beter dan bestaande methoden voor kleine datasets en benaderde de prestaties van een "Oracle" (een hypothetisch scenario waarbij alle ongelabelde data ook gelabeld zou zijn).

5. Betekenis en Impact

Dit werk is significant omdat het de afhankelijkheid van grote hoeveelheden gelabelde data voor betrouwbare onzekerheidskwantificering doorbreekt.

• Praktische Toepasbaarheid: Het maakt conformal prediction haalbaar in domeinen waar labels schaars en duur zijn (zoals gezondheidszorg en finance), maar waar ongelabelde data overvloedig aanwezig is.
• Theoretische Vooruitgang: Het biedt een theoretisch onderbouwde manier om ongelabelde data te gebruiken zonder de strikte garantie van de coverage te schenden, wat een langdurig probleem in het veld was.
• Toekomstige Richting: De methode opent de deur voor verdere onderzoek naar semi-supervised inferentie en kan worden gecombineerd met andere geavanceerde CP-technieken zoals clustering of interpolatie.

Kortom, SemiCP transformeert ongelabelde data van een passieve bron naar een actief instrument voor het stabiliseren en optimaliseren van machine learning-voorspellingen onder onzekerheid.