Estimation of Confidence Bounds in Binary Classification using Wilson Score Kernel Density Estimation

Deze paper introduceert Wilson Score Kernel Density Classification, een nieuwe methode voor het schatten van betrouwbare betrouwbaarheidsintervallen in binaire classificatie die vergelijkbare prestaties levert als Gaussian Process Classification maar met een lagere computatiekosten.

De kern

De "Veilige Gok": Een nieuwe manier om AI te vertrouwen

Stel je voor dat je een robot hebt die heel delicate taken uitvoert, zoals het in elkaar zetten van dure auto-onderdelen of het opereren op een patiënt. Je wilt dat de robot werkt, maar je wilt ook dat hij niet doorgaat als hij twijfelt.

Vandaag de dag zijn robots (die gebruikmaken van "Deep Learning") heel slim. Ze kunnen beelden zien en zeggen: "Dit is een kat" of "Dit is een geslaagde montage". Maar hier zit een groot probleem: deze robots zijn vaak te zelfverzekerd. Ze zeggen: "Ik ben 99% zeker!" terwijl ze eigenlijk maar 60% zekerheid hebben. In een kritieke situatie kan die overmoed leiden tot dure fouten of gevaar.

De auteurs van dit paper, Thorbjørn, Zebin en Frederik, hebben een nieuwe oplossing bedacht. Ze noemen het Wilson Score Kernel Density Estimation (WS-KDE). Laten we dit uitleggen met een paar alledaagse vergelijkingen.

1. Het probleem: De "Gokke" van de AI

Stel je voor dat een AI een gok doet. Normaal gesproken geeft de AI alleen een getal: "Ik denk dat dit een kat is." Maar in de echte wereld willen we niet alleen een gok, we willen weten hoe breed de marge is.

• Huidige AI: "Ik ben 90% zeker." (Maar is dat 90% echt betrouwbaar? Of is het een leugen?)
• De nieuwe methode: "Ik denk dat dit een kat is, en ik ben er zeker van dat mijn zekerheid ergens tussen de 85% en 95% ligt."

Die "marge" (de bandbreedte) is cruciaal. Als de onderkant van die marge (85%) nog steeds hoog genoeg is voor je veiligheidseisen, dan laat je de robot doorgaan. Is de onderkant te laag? Dan zegt de robot: "Ik weet het niet zeker genoeg, ik stop en vraag een mens om hulp." Dit heet selectieve classificatie.

2. De oplossing: Een slimme "Stempel" (De Wilson Score)

De auteurs gebruiken een wiskundig trucje dat al lang bestaat voor het tellen van munten (binomiale experimenten), maar dat ze nu toepassen op complexe beelden.

Stel je voor dat je een grote vloer hebt met duizenden punten. Sommige punten zijn "rood" (geslaagd) en sommige "blauw" (mislukt).

• De oude manier (Gaussian Process): Dit is alsof je een zeer complexe, dure en trage machine bouwt die elke punt in detail analyseert om een wolkje te tekenen rondom de data. Het werkt goed, maar het duurt eeuwen om te berekenen.
• De nieuwe manier (WS-KDE): Dit is alsof je een slimme stempel gebruikt.

Deze stempel werkt zo:

1. Je kijkt naar een nieuw punt (een nieuwe foto).
2. Je kijkt naar de buren (de trainingdata) die dichtbij liggen.
3. In plaats van alles perfect te berekenen, gebruikt de methode een Wilson Score. Dit is een wiskundige formule die zegt: "Als ik 10 keer heb gegokt en 7 keer goed zat, wat is dan de echte kans dat ik de volgende keer ook goed zit? En hoe breed is die marge?"

Het mooie is: deze methode is snel en eenvoudig. Het heeft maar één knop om aan te draaien (de "bandbreedte" van de stempel), terwijl de oude methoden tientallen knoppen hebben die je moet afstellen.

3. Waarom is dit zo belangrijk? (De Analogie van de Robot)

Stel je een robotarm voor die een schroef in een motor moet draaien.

• Zonder deze methode: De robot kijkt naar de camera, zegt "Ik kan dit!" en draait de schroef. Als hij de schroef verkeerd draait, is de motor kapot.
• Met deze methode: De robot kijkt naar de camera. Zijn nieuwe "veiligheids-systeem" berekent direct: "Mijn zekerheid ligt tussen 40% en 60%." Omdat de onderkant (40%) te laag is voor de regels, zegt de robot: "STOP! Ik durf dit niet aan." De robot wacht tot een mens komt kijken.

Dit voorkomt dat de robot "dwaas" doorgaat.

4. Wat zeggen de resultaten?

De auteurs hebben hun nieuwe methode getest op vier verschillende dingen:

• Het herkennen van valse bankbiljetten.
• Het onderscheiden van katten en honden.
• Het zien van longziektes op röntgenfoto's.
• Het controleren of robot-onderdelen goed zijn geplaatst.

De resultaten zijn verrassend:

• Even goed: Hun nieuwe methode is net zo betrouwbaar als de oude, dure methoden (Gaussian Process).
• Veel sneller: De oude methode duurt soms minuten of uren om te "leren" (optimaliseren). De nieuwe methode doet dit in seconden.
• Minder gedoe: Je hoeft veel minder handmatig in te stellen.

Conclusie in één zin

Deze paper introduceert een slimme, snelle en veilige manier om AI-systemen te laten zeggen: "Ik weet het niet zeker genoeg," zodat ze niet meer onnodig risico's nemen in kritieke situaties, zonder dat we maanden moeten wachten om het systeem te trainen.

Het is alsof we van een dure, trage veiligheidscontroleur zijn overgestapt op een snelle, slimme agent die precies weet wanneer hij moet stoppen.

Technische samenvatting

Probleemstelling

In kritieke toepassingen, zoals robotische inspectie of automatische assemblage, is het vertrouwen in de uitkomst van een beslissing cruciaal. Hoewel diepe leermodellen (deep learning) uitstekende prestaties leveren bij binaire classificatie (bijv. succes/falen), zijn hun interne betrouwbaarheidsschattingen (confidence scores) vaak te optimistisch en onbetrouwbaar.

Bestaande methoden voor kalibratie (zoals Platt scaling) geven weliswaar een betere kansinschatting, maar missen vaak statistisch onderbouwde betrouwbaarheidsintervallen (confidence bounds). Voor kritieke systemen is het echter noodzakelijk om niet alleen een voorspelling te doen, maar ook te weten met welke statistische significantie deze voorspelling geldig is. Als de onzekerheid te hoog is, moet het systeem in staat zijn om een beslissing uit te stellen (selectieve classificatie) om veiligheidsrisico's te voorkomen. Er is een gebrek aan methoden die deze statistisch solide grenzen efficiënt kunnen berekenen, vooral voor grote datasets of foundation models.

Methodologie: Wilson Score Kernel Density Classification (WS-KDC)

De auteurs stellen een nieuwe methode voor: Wilson Score Kernel Density Classification (WS-KDC). Deze methode benadert het classificatieprobleem als een functie-schatting waarbij de doelwitfunctie de kans op een positieve uitkomst is, gegeven een invoer-kenmerkvector.

De kern van de methode bestaat uit de volgende componenten:

1. Wilson Score Kernel Density Estimator (WS-KDE):

   • Dit is een frequentistische methode die Kernel Density Estimation (KDE) combineert met de Wilson Score-methode.
   • De Wilson Score wordt traditioneel gebruikt om betrouwbaarheidsintervallen te schatten voor binomiale experimenten (succes/falen).
   • In WS-KDE wordt de kenmerkenruimte (feature space) niet in vaste bins verdeeld (wat ruw zou zijn), maar wordt er gebruikgemaakt van een Gaussische kernel voor gewogen aggregatie van naburige datapunten.
   • Voor een nieuw punt worden de boven- en ondergrenzen van de succeskans geschat door de naburige trainingssamples te behandelen als een gecombineerd binomiaal experiment, waarbij de Wilson Score wordt toegepast op het gewogen gemiddelde.

2. Selectieve Classificatie:

   • De methode is ontworpen voor selectieve classificatie. Een voorspelling wordt alleen gedaan als het geschatte betrouwbaarheidsinterval voldoet aan een vooraf bepaald drempelwaarde ($\tau$, bijv. 95% succeskans).
   • Als het interval te breed is of niet boven de drempel uitkomt, wordt het systeem ingesteld op "onbekend" (abstain).

3. Architectuur:

   • De methode fungeert als een "classification head" die kan worden gekoppeld aan elke bestaande kenmerkextractor (zoals CNN's of Vision Foundation Models zoals Dinov3).
   • Het vereist slechts één aanpasbare hyperparameter: de bandbreedte (lengthscale) van de kernel.

Belangrijkste Bijdragen

• Nieuwe Methode: De eerste toepassing van Wilson Score Kernel Density Estimation in de context van binaire classificatie voor het schatten van betrouwbaarheidsintervallen.
• Statistische Zuiverheid: De methode levert statistisch onderbouwde grenzen zonder de complexe aannames van Bayesiaanse methoden, onder de aanname dat de kenmerkenruimte glad is.
• Efficiëntie: In tegenstelling tot Bayesiaanse Netwerken of Gaussian Processes, heeft de methode minder hyperparameters en is deze aanzienlijk sneller in training en inferentie.
• Onafhankelijkheid van Kenmerkextractor: De nauwkeurigheid van de betrouwbaarheidsintervallen hangt niet af van de prestaties van de onderliggende kenmerkextractor, maar alleen van de keuze van de kernelbandbreedte. Dit maakt het robuust voor gebruik met foundation models of synthetische data.

Resultaten en Evaluatie

De methode is geëvalueerd op vier verschillende datasets (Banknote Authentication, Cats & Dogs, ChestMNIST, en een robotische assemblage-inspectie) en vergeleken met Gaussian Process Classification (GPC), een gevestigde methode voor onzekerheidsschatting.

• Prestatie (Selectieve Classificatie):
  • De prestaties van WS-KDC en GPC waren vergelijkbaar. Beide methoden bereikten een vergelijkbaar gebied onder de Precision/Recall Reject Curves (AUPRC/AURRC).
  • Beide methoden slaagden erin om bij hoge zekerheid (lage coverage) een hoge precisie te behalen.
• Rekenkosten (Snelheid):
  • Training/Optimalisatie: WS-KDC was twee tot drie ordes van grootte sneller dan GPC. Bijvoorbeeld, op een dataset van 4000 samples duurde de optimalisatie voor GPC gemiddeld 525 seconden, terwijl WS-KDC slechts 1,5 seconde nodig had.
  • Inferentie: WS-KDC was ook sneller in de inferentiestap, hoewel het verschil hier minder extreem was.
• Hyperparameters:
  • WS-KDC vereist alleen het optimaliseren van de kernel-lengthscale (via cross-validatie). GPC vereist het optimaliseren van zowel de lengthscale als de kernel-variatie, wat complexer en rekenintensiever is.

Significantie en Conclusie

De paper toont aan dat het mogelijk is om statistisch solide betrouwbaarheidsintervallen te genereren voor kritieke binaire classificatietaken zonder de zware rekenlast van Gaussian Processes of Bayesiaanse Netwerken.

De Wilson Score Kernel Density Classifier biedt een praktische, intuïtieve en uiterst efficiënte oplossing voor het probleem van onbetrouwbare confidence scores in deep learning. Het is bij uitstek geschikt voor toepassingen waar:

1. Veiligheid en economische risico's een hoge betrouwbaarheid vereisen.
2. Systemen moeten kunnen "afzien" van een beslissing bij onzekerheid.
3. Rekenkracht beperkt is of snelle training/inferentie noodzakelijk is (bijv. in real-time robotica).

De auteurs concluderen dat WS-KDC een sterke concurrent is voor GPC, met name in scenario's waar schaalbaarheid en snelheid cruciaal zijn, zonder in te leveren op de kwaliteit van de onzekerheidsschatting.