📊 statistics

When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

Dit artikel introduceert een kalibratiebewust diagnostisch raamwerk dat een gesloten uitdrukking afleidt voor de attenuatiebias die wordt veroorzaakt door vertrouwensdrempelstelling in pseudo-gelabelde regressie, waardoor practitioners een berekenbare beslissingsregel kunnen toepassen op basis van de variantie van de residuscores om te bepalen wanneer dergelijke drempelstelling veilig is voor downstream-inferentie.

Oorspronkelijke auteurs: Marcell T. Kurbucz

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Marcell T. Kurbucz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert een mysterie op te lossen over een grote menigte mensen. Je hebt een kleine groep verdachten waarvan je zeker weet dat ze schuldig of onschuldig zijn (jouw gelabelde data). Maar je hebt een enorme menigte mensen waar je niets van weet (jouw ongelabelde data).

Je hebt een high-tech "Schuld-Detector" (een machine learning-classificator) die naar de menigte kijkt en iedereen een "Schuldscore" geeft tussen 0% en 100%. Deze score is gekalibreerd, wat betekent dat als de detector "50%" zegt, het echt betekent dat er 50% kans is dat ze schuldig zijn.

De Veelgemaakte Fout: De "Alles-of-Niets"-Regel

De meeste detectives (en datawetenschappers) nemen een afkorting. Ze zeggen: "Als de Schuldscore boven de 90% ligt, noem ik ze gewoon 'Schuldig' (1). Als hij onder de 10% ligt, noem ik ze 'Onschuldig' (0). Voor iedereen anders negeer ik ze."

Dit heet vertrouwensdrempelstelling. Het verandert een vage, genuanceerde waarschijnlijkheid in een harde, zwart-witte label.

Het Probleem: Deze afkorting is gevaarlijk. Door een vage score te forceren tot een hard "Ja" of "Nee", verlies je informatie. Het is alsof je een 3D-object platdrukt tot een schaduw; je verliest diepte. Wanneer je deze "platgedrukte" labels later gebruikt om statistieken te berekenen, worden je resultaten gebiasd (ze zijn systematisch verkeerd, meestal te klein).

De Oplossing uit het Artikel: De "Vertrouwenmeter"

Dit artikel vertelt je niet om te stoppen met het gebruik van de afkorting. In plaats daarvan geeft het je een diagnostisch hulpmiddel (een "Vertrouwenmeter") om te controleren voordat je je analyse start. Het beantwoordt de vraag: "Is het veilig voor mij om deze vage scores om te zetten in harde labels, of zal ik mijn resultaten verpesten?"

Hier is hoe de "Vertrouwenmeter" uit het artikel werkt, met eenvoudige analogieën:

1. De "Ruis"-Check (Het $V^*$ -Concept)

Stel je voor dat je Schuld-Detector door een mistig raam naar een menigte kijkt.

De Mist ( $X$ ): Dit zijn de basisfeiten die je al over iedereen weet (bijvoorbeeld leeftijd, baan, geslacht).
Het Duidelijke Zicht ( $W$ ): Dit zijn de extra details die de detector ziet (bijvoorbeeld micro-expressies in het gezicht, stemtoon, gang) die je niet gebruikt in je uiteindelijke berekening.

Het artikel introduceert een concept genaamd $V^*$ . Denk hierbij aan het meten van hoeveel "mist" er nog over is nadat je rekening hebt gehouden met de basisfeiten.

Als $V^*$ nul is: De detector herhaalt gewoon de basisfeiten die je al weet. Het heeft geen nieuwe informatie. Als je probeert deze detector te gebruiken, zal je wiskunde stuklopen. Het is alsof je probeert het weer te raden door te kijken naar een foto van de lucht die je al hebt.
Als $V^*$ hoog is: De detector ziet dingen die jij niet ziet. Het heeft "geheime kennis". Dit is goed. Dit betekent dat de detector waarde toevoegt.

De Regel: Als je detector gewoon herhaalt wat je al weet ( $V^* \approx 0$ ), vertrouw het dan niet. Als het iets nieuws ziet ( $V^* > 0$ ), ben je misschien veilig.

2. De "Signaalverlies"-Check (Het $\kappa$ -Concept)

Stel je nu voor dat je besluit de "Alles-of-Niets"-regel te gebruiken (de 90%-drempel). Hoeveel van de "geheime kennis" van de detector gooi je weg?

Het artikel berekent een getal genaamd $\kappa$ (kappa).

$\kappa = 1.0$ : Je hebt 100% van het signaal behouden. De drempel was perfect; je hebt geen informatie verloren.
$\kappa = 0.2$ : Je hebt 80% van het signaal weggegooid. Je uiteindelijke resultaat zal slechts 20% zo sterk zijn als het zou moeten zijn.

De Magie: Het artikel laat zien dat je dit $\kappa$ -getal kunt berekenen voordat je zelfs je uiteindelijke analyse uitvoert. Je kijkt gewoon naar de ongelabelde menigte en de scores van de detector.

De Beslissingsregel (Het "Verkeerslicht")

Het artikel geeft praktici een eenvoudige drie-stappen beslissingsregel (Algoritme 1) om te beslissen wat te doen:

Check de Mist ( $V^*$ ): Ziet de detector iets nieuws?
- Nee: Rood Licht. Stop. De detector is nutteloos voor deze specifieke taak. Blijf bij je kleine, bekende groep verdachten.
- Ja: Ga door naar stap 2.
Check het Signaalverlies ( $\kappa$ ): Als je een harde drempel gebruikt (zoals 90%), hoeveel signaal verlies je dan?
- Hoog Verlies (Laag $\kappa$ ): Geel Licht. Gebruik de harde "Ja/Nee"-labels niet. Gebruik in plaats daarvan de vage scores direct (de "Zachte" methode). Het is veiliger om de nuance te behouden.
- Laag Verlies (Hoog $\kappa$ ): Groen Licht. Je kunt de scores veilig omzetten in harde labels. De afkorting is veilig om te gebruiken.

Waarom Dit Belangrijk Is

Het artikel bewijst wiskundig dat je precies kunt voorspellen hoeveel je resultaten zullen worden "verzwakt" voordat je zelfs het experiment uitvoert.

De "Zachte" Manier: De vage scores direct gebruiken. Het is accuraat maar kan luidruchtig zijn als je niet genoeg data hebt.
De "Harde" Manier: De "Ja/Nee"-labels gebruiken. Het is schoon maar vaak biased (te zwak) als je te veel data afsnijdt.
De "Supervised" Manier: Alleen de kleine groep gebruiken waarvan je zeker weet.

De bijdrage van het artikel is een rekenmachine die je vertelt: "Gegeven je specifieke data en je specifieke detector, welke van deze drie paden geeft je het meest accurate antwoord?"

Samenvatting in Eén Zin

Zet vage waarschijnlijkheden niet blindelings om in harde labels; gebruik deze nieuwe "Vertrouwenmeter" om te controleren of je detector genoeg unieke informatie heeft en of je gekozen afkapwaarde te streng is, zodat je per ongeluk niet het bewijs weggooi dat je nodig hebt.

Technische Samenvatting: Calibratiediagnostiek voor Pseudo-gelabelde Regressie

1. Probleemstelling

Moderne machine learning-pijplijnen maken steeds meer gebruik van gekalibreerde waarschijnlijkheidsscores van classifiers die zijn getraind op kleine gelabelde subsets ( $L$ ) om downstream regressietaken op grote ongelabelde populaties ( $U$ ) te informeren. Veelvoorkomende toepassingen omvatten het schatten van effecten op populatieniveau, prevalenties of dispariteiten voor latente groepen (bijvoorbeeld beschermde attributen in eerlijkheidsaudits of ziekterisico in medische beeldvorming).

Een dominante praktijk in deze semi-supervised setting is pseudo-labeling: het omzetten van de gekalibreerde waarschijnlijkheid $p$ in een harde binaire label $\hat{G}$ door een betrouwbaarheidsthrshold $\tau_{thr}$ (bijvoorbeeld 0,9) toe te passen. Hoewel dit empirisch succesvol is voor classificatie, adresseert dit artikel een kritiek gat: hoe beïnvloedt deze drempelwaarde de downstream regressiecoëfficiënt? Bestaande literatuur mist een kwantitatieve verantwoording van hoe betrouwbaarheidsdrempelwaarde de estimand van belang verzwakt of vervormt, specifiek in de context van gedeeltelijk lineaire regressiemodellen waarbij het doel is om de associatie tussen een latente groepsindicator $G$ en een uitkomst $Y$ te schatten, gecontroleerd voor covariaten $X$ .

2. Methodologie en Opzet

Het artikel opereert binnen een kader waarin:

Data: Twee i.i.d. steekproeven worden waargenomen: een gelabelde set $L = \{(W_i, X_i, G_i, Y_i)\}$ en een grotere ongelabelde set $U = \{(W_i, X_i, Y_i)\}$ .
Functies: De classifier is getraind op een functieset $W$ , terwijl de downstream regressie controleert voor een subset $X \subseteq W$ . Cruciaal is dat het artikel een structurele scheiding afdwingt waarbij $W$ strikt rijker moet zijn dan $X$ ( $X \subsetneq W$ ) om identificeerbaarheid te waarborgen.
Model: De doelparameter $\tau$ wordt gedefinieerd via een gedeeltelijk lineaire regressie: $E[Y | G, X] = \mu(X) + \tau G$ .
Aanname: De classifieroutput $p = f(W)$ is conditioneel gekalibreerd, en voldoet aan $E[G | p, X] = p$ .

Gebaseerd op een begeleidend identificatieresultaat [8], gebruiken de auteurs een momentvergelijking om $\tau$ te identificeren met behulp van de gekalibreerde score $p$ direct (de "zachte" schatter). Vervolgens analyseren zij de eigenschappen van de "harde" schatter, die $p$ vervangt door een getriggerde binaire label $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$ .

3. Belangrijkste Bijdragen en Theoretische Resultaten

Het artikel leidt vijf specifieke voorspellingen en een diagnostische procedure af, geformaliseerd als volgt:

I. Gesloten-vorm Verzwakkingsbias (Voorspelling 1)
Het artikel leidt een gesloten-vorm uitdrukking af voor de verzwakkingsbias die wordt veroorzaakt door harde pseudo-labeling. De waarschijnlijkheidslimiet van de harde schatter $\hat{\tau}_{hard}$ is:
$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$
waarbij de verzwakkingsfactor $\kappa(\tau_{thr})$ de populatie-OLS-helling is van de geresidualiseerde harde label op de geresidualiseerde zachte score.

Betekenis: Deze factor is berekenbaar voordat er enige inferentie wordt uitgevoerd, uitsluitend op basis van de gezamenlijke verdeling van $(p, X)$ op de ongelabelde set. Het kwantificeert exact hoeveel signaal verloren gaat bij het binariseren van de waarschijnlijkheid bij een specifieke drempelwaarde.

II. Sandwich-variatie voor Zachte Schatters (Voorspelling 2)
De asymptotische variantie van de zachte schatter (die $p$ direct gebruikt) schaalt omgekeerd evenredig met het kwadraat van de variantie van de geresidualiseerde score $V^* = E[\text{Var}(p|X)]$ .

Implicatie: Zelfs bescheiden verminderingen in de informativiteit van de score (lage $V^*$ ) leiden tot enorme precisieverliezen. Het artikel biedt een sandwich-variatie plug-in die geldige Wald-intervallen oplevert.

III. Bias-variantie Regret van Betrouwbaarheidsdrempelwaarde (Voorspelling 3)
Voor methoden die pseudo-labeling beperken tot een zelfverzekerde subset (bijvoorbeeld FixMatch-stijl), wordt de Mean Squared Error (MSE) ontbonden in een kwadratische biasterm (gedreven door $\kappa_{FM}$ ) en een variantieterm (opgeblazen door de verkleinde steekproefgrootte $|C|$ ).

Vinding: Naarmate de drempelwaarde selectiever wordt, groeit de variantie monotoon terwijl de bias kan fluctueren. De totale MSE wordt vaak variantie-gedreven, waardoor de zachte schatter in veel regimes superieur is, ondanks het ontbreken van "harde" labels.

IV. Gevoeligheidsgrens onder Calibratiedrift (Voorspelling 4)
Onder een begrenste distributieverandering waarbij de calibratievoorwaarde geldt met een fout $\eta(p, X)$ begrensd door $\delta$ , wordt de asymptotische bias begrensd door:
$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$

Implicatie: Een hogere geresidualiseerde variantie $V^*$ (meer informatieve scores) vermindert proportioneel de worst-case bias voor een gegeven niveau van calibratiedrift.

V. De $V^*$ -Collapse Grens (Voorspelling 5)
Het artikel identificeert een scherpe grens: $V^* = 0$ dan en slechts dan als $p$ een deterministische functie is van $X$ .

Structurele Vereiste: Als de classifierfuncties $W$ identiek zijn aan de downstream controles $X$ , dan geldt $p = f(X)$ , $V^*=0$ , en wordt de momentvergelijking niet-informatief (identificatie faalt). Het remedie is om ervoor te zorgen dat $W$ functies bevat die niet worden gecontroleerd in de downstream regressie.

4. De Diagnostische Procedure

De auteurs stellen een praktische, één pagina tellende diagnostische algoritme (Algoritme 1) voor voor practitioners om te beslissen of betrouwbaarheidsdrempelwaarde veilig is:

Bereken $V^*$ : Schat de geresidualiseerde variantie van de gekalibreerde score na het regresseren van $X$ op de ongelabelde set.
Bereken $\hat{\kappa}$ : Voor een raster van drempelwaarden, schat de verzwakkingsfactor.
Beslissingsregel:
- Als de impliciete standaardfout van de zachte schatter te hoog is (door lage $V^*$ ), geef de voorkeur aan de supervised baseline (alleen $L$ gebruiken).
- Als $\hat{\kappa}$ voor alle drempelwaarden ver weg is van 1, veroorzaakt harde drempelwaarde significante verzwakking; geef de voorkeur aan de zachte schatter.
- Anders is beide acceptabel, hoewel de zachte schatter wordt aanbevolen vanwege zijn robuustheid ten opzichte van de keuze van de drempelwaarde.

5. Experimentele Resultaten

Het artikel valideert deze voorspellingen via vijf gecontroleerde simulaties en een illustratie met reële data op het UCI Adult Income-dataset:

Verzwakking: Empirische schattingen van $\hat{\tau}_{hard}$ kwamen overeen met de gesloten-vorm $\kappa(\tau_{thr})$ -voorspellingen over zes verschillende drempelwaarden met hoge statistische significantie.
Variantie: De sandwich-variantieformule voorspelde nauwkeurig de Monte Carlo-variantie en bereikte een nominale dekking van 95%.
Regret: Experimenten bevestigden dat hoge-betrouwbaarheidsdrempelwaarden vaak leiden tot hoge MSE door variantie-inflatie, wat de bias-variantie afwegingsanalyse valideert.
Gevoeligheid: De afgeleide gevoeligheidsgrens gold onder verschillende calibratiedriftscenario's, waarbij de empirische bias ver onder de theoretische worst-case envelop bleef.
Wereldwijd Geval: In het UCI Adult-experiment identificeerde de diagnose correct dat de supervised baseline (OLS op $L$ ) beter presteerde dan pseudo-gelabelde schatters omdat de gelabelde set voldoende informatief was en de conditionele waarschijnlijkheid goed werd verklaard door de controles (lage $V^*$ ten opzichte van het ruis). Omgekeerd toonde de diagnose aan dat harde labels op dit dataset minimale verzwakking opleidden ( $\hat{\kappa} \approx 0,92$ ) vanwege de rijkdom van de classifierfuncties.

6. Betekenis en Claims

Het artikel claimt een operationele bijdrage in plaats van een nieuwe algoritmische architectuur. Het stelt geen nieuw pseudo-labeling-algoritme voor of concurreert met state-of-the-art classificatieverliezen (zoals FixMatch). In plaats daarvan biedt het:

Een kwantitatieve rechtvaardiging voor waarom betrouwbaarheidsdrempelwaarde downstream regressiecoëfficiënten beïnvloedt.
Een diagnostisch hulpmiddel ( $(V^*, \kappa)$ beslissingsregel) waarmee practitioners a priori kunnen berekenen of het gebruik van harde labels veilig is of dat ze moeten blijven bij zachte scores of een puur supervised aanpak.
Een structureel inzicht dat de scheiding tussen classifierfuncties ( $W$ ) en downstream controles ( $X$ ) niet slechts een ontwerpkies is, maar een wiskundige noodzaak voor identificatie in deze setting.

De auteurs benadrukken dat hun kader "calibratie-bewust" is, en de abstracte kwaliteit van de calibratie van een classifier vertaalt naar concrete grenzen voor downstream schattingsbias, waardoor de kloof wordt overbrugd tussen classificatieprestaties en causale/associatieve inferentie.