📊 statistics

When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression

Dieser Beitrag stellt einen kalibrierungsbewussten Diagnoserahmen vor, der einen geschlossenen Ausdruck für den durch Konfidenzschwellenwertbildung in pseudo-gelabelter Regression verursachten Abschwächungsbias herleitet und es Praktikern ermöglicht, eine berechenbare Entscheidungsregel auf Basis der Residualscorevarianz zu nutzen, um zu bestimmen, wann eine solche Schwellenwertbildung für nachgelagerte Inferenz sicher ist.

Ursprüngliche Autoren: Marcell T. Kurbucz

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Marcell T. Kurbucz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel um eine große Menschenmenge zu lösen. Sie haben eine kleine Gruppe von Verdächtigen, von denen Sie mit Sicherheit wissen, dass sie schuldig oder unschuldig sind (Ihre gelabelten Daten). Doch Sie haben eine riesige Menschenmenge, über die Sie nichts wissen (Ihre ungelabelten Daten).

Sie verfügen über einen hochtechnologischen „Schuld-Detektor" (einen Machine-Learning-Klassifikator), der die Menge betrachtet und jedem eine „Schuld-Score" zwischen 0 % und 100 % zuweist. Dieser Score ist kalibriert, was bedeutet: Wenn der Detektor „50 %" sagt, bedeutet das wirklich, dass eine 50-prozentige Wahrscheinlichkeit besteht, dass die Person schuldig ist.

Der häufige Fehler: Die „Alles-oder-Nichts"-Regel

Die meisten Detektive (und Datenwissenschaftler) nehmen einen Abkürzungsweg. Sie sagen: „Wenn der Schuld-Score über 90 % liegt, nenne ich sie einfach ‚Schuldig' (1). Liegt er unter 10 %, nenne ich sie ‚Unschuldig' (0). Alle anderen ignoriere ich."

Dies nennt man Vertrauensschwellenwertbildung (confidence thresholding). Es verwandelt einen unscharfen, nuancierten Wahrscheinlichkeitswert in ein hartes, schwarz-weißes Label.

Das Problem: Diese Abkürzung ist gefährlich. Indem Sie einen unscharfen Score zu einem harten „Ja" oder „Nein" zwingen, verlieren Sie Informationen. Es ist, als würden Sie ein 3D-Objekt in einen flachen Schatten quetschen; Sie verlieren die Tiefe. Wenn Sie diese „gequetschten" Labels später zur Berechnung von Statistiken verwenden, werden Ihre Ergebnisse verzerrt (sie sind systematisch falsch, meist zu klein).

Die Lösung des Papers: Der „Vertrauens-Messgerät"

Dieses Paper sagt Ihnen nicht, dass Sie den Abkürzungsweg aufgeben sollen. Stattdessen gibt es Ihnen ein diagnostisches Werkzeug (ein „Vertrauens-Messgerät"), um zu prüfen, bevor Sie Ihre Analyse beginnen. Es beantwortet die Frage: „Ist es für mich sicher, diese unscharfen Scores in harte Labels umzuwandeln, oder werde ich meine Ergebnisse ruinieren?"

So funktioniert das „Vertrauens-Messgerät" des Papers, unter Verwendung einfacher Analogien:

1. Der „Rauschen"-Check (Das Konzept $V^*$ )

Stellen Sie sich vor, Ihr Schuld-Detektor betrachtet die Menge durch ein nebliges Fenster.

Der Nebel ( $X$ ): Dies sind die grundlegenden Fakten, die Sie bereits über alle kennen (z. B. Alter, Beruf, Geschlecht).
Die klare Sicht ( $W$ ): Dies sind die zusätzlichen Details, die der Detektor sieht (z. B. mikroskopische Gesichtsausdrücke, Stimmlage, Gangart), die Sie in Ihrer endgültigen Berechnung nicht verwenden.

Das Paper führt ein Konzept namens $V^*$ ein. Denken Sie daran als Maß dafür, wie viel „Nebel" noch übrig ist, nachdem Sie die grundlegenden Fakten berücksichtigt haben.

Wenn $V^*$ null ist: Der Detektor wiederholt nur die grundlegenden Fakten, die Sie bereits kennen. Er hat keine neuen Informationen. Wenn Sie versuchen, diesen Detektor zu nutzen, wird Ihre Mathematik versagen. Es ist, als würden Sie versuchen, das Wetter vorherzusagen, indem Sie auf ein Bild des Himmels schauen, das Sie bereits haben.
Wenn $V^*$ hoch ist: Der Detektor sieht Dinge, die Sie nicht sehen. Er hat „geheimes Wissen". Das ist gut. Es bedeutet, dass der Detektor einen Mehrwert bietet.

Die Regel: Wenn Ihr Detektor nur wiederholt, was Sie bereits wissen ( $V^* \approx 0$ ), vertrauen Sie ihm nicht. Wenn er etwas Neues sieht ( $V^* > 0$ ), könnten Sie auf der sicheren Seite sein.

2. Der „Signalverlust"-Check (Das Konzept $\kappa$ )

Stellen Sie sich nun vor, Sie entscheiden sich, die „Alles-oder-Nichts"-Regel zu verwenden (den 90 %-Schwellenwert). Wie viel des „geheimen Wissens" des Detektors werfen Sie weg?

Das Paper berechnet eine Zahl namens $\kappa$ (Kappa).

$\kappa = 1,0$ : Sie haben 100 % des Signals behalten. Der Schwellenwert war perfekt; Sie haben keine Informationen verloren.
$\kappa = 0,2$ : Sie haben 80 % des Signals weggeworfen. Ihr Endergebnis wird nur 20 % so stark sein, wie es sein sollte.

Die Magie: Das Paper zeigt, dass Sie diese $\kappa$ -Zahl berechnen können, bevor Sie überhaupt Ihre endgültige Analyse durchführen. Sie schauen sich einfach die ungelabelte Menge und die Scores des Detektors an.

Die Entscheidungsregel (Die „Ampel")

Das Paper gibt Praktikern eine einfache dreistufige Entscheidungsregel (Algorithmus 1), um zu entscheiden, was zu tun ist:

Prüfen Sie den Nebel ( $V^*$ ): Sieht der Detektor etwas Neues?
- Nein: Rotes Licht. Stoppen Sie. Der Detektor ist für diese spezifische Aufgabe nutzlos. Bleiben Sie bei Ihrer kleinen, bekannten Gruppe von Verdächtigen.
- Ja: Fahren Sie mit Schritt 2 fort.
Prüfen Sie den Signalverlust ( $\kappa$ ): Wenn Sie einen harten Schwellenwert verwenden (wie 90 %), wie viel Signal verlieren Sie?
- Hoher Verlust (niedriges $\kappa$ ): Gelbes Licht. Verwenden Sie keine harten „Ja/Nein"-Labels. Verwenden Sie stattdessen direkt die unscharfen Scores (die „Soft"-Methode). Es ist sicherer, die Nuancen zu behalten.
- Niedriger Verlust (hohes $\kappa$ ): Grünes Licht. Sie können die Scores sicher in harte Labels umwandeln. Der Abkürzungsweg ist sicher zu verwenden.

Warum dies wichtig ist

Das Paper beweist mathematisch, dass Sie genau vorhersagen können, wie stark Ihre Ergebnisse „abgeschwächt" (geschwächt) werden, noch bevor Sie das Experiment durchführen.

Der „Soft"-Weg: Die unscharfen Scores direkt verwenden. Er ist genau, kann aber verrauscht sein, wenn Sie nicht genügend Daten haben.
Der „Hard"-Weg: Die „Ja/Nein"-Labels verwenden. Er ist sauber, aber oft verzerrt (zu schwach), wenn Sie zu viele Daten abschneiden.
Der „Supervised"-Weg: Nur die kleine Gruppe verwenden, von der Sie mit Sicherheit wissen, dass sie korrekt gelabelt ist.

Der Beitrag des Papers ist ein Rechner, der Ihnen sagt: „Angesichts Ihrer spezifischen Daten und Ihres spezifischen Detektors, welcher dieser drei Pfade wird Ihnen die genaueste Antwort liefern?"

Zusammenfassung in einem Satz

Wandeln Sie unscharfe Wahrscheinlichkeiten nicht blind in harte Labels um; verwenden Sie dieses neue „Vertrauens-Messgerät", um zu prüfen, ob Ihr Detektor genügend einzigartige Informationen besitzt und ob Ihr gewählter Grenzwert zu streng ist, damit Sie nicht versehentlich die Beweise wegwerfen, die Sie benötigen.

Technisches Fazit: Kalibrierungsdiagnostik für pseudo-gelabelte Regression

1. Problemstellung

Moderne Machine-Learning-Pipelines nutzen zunehmend kalibrierte Wahrscheinlichkeitswerte von Klassifikatoren, die auf kleinen gelabelten Teilmengen ( $L$ ) trainiert wurden, um nachgelagerte Regressionsaufgaben an großen ungelabelten Populationen ( $U$ ) zu informieren. Häufige Anwendungen umfassen die Schätzung von Effekten auf Bevölkerungsebene, Prävalenzen oder Disparitäten für latente Gruppen (z. B. geschützte Attribute bei Fairness-Audits oder Krankheitsrisiken in der medizinischen Bildgebung).

Eine vorherrschende Praxis in diesem semi-supervised Setting ist das Pseudo-Labeling: Umwandlung der kalibrierten Wahrscheinlichkeit $p$ in ein hartes binäres Label $\hat{G}$ durch Anwendung eines Konfidenzschwellenwerts $\tau_{thr}$ (z. B. 0,9). Obwohl dies empirisch für Klassifikationsaufgaben erfolgreich ist, adressiert dieser Artikel eine kritische Lücke: Wie verzerrt diese Schwellenwertbildung den nachgelagerten Regressionskoeffizienten? Die bestehende Literatur liefert keine quantitative Erklärung dafür, wie Konfidenzschwellenwerte den Schätzwert von Interesse abschwächen oder verzerren, speziell im Kontext partiell linearer Regressionsmodelle, bei denen das Ziel die Schätzung des Zusammenhangs zwischen einem latenten Gruppenindikator $G$ und einem Ergebnis $Y$ unter Kontrolle von Kovariaten $X$ ist.

2. Methodik und Setup

Der Artikel arbeitet innerhalb eines Rahmens, in dem:

Daten: Zwei i.i.d. Stichproben beobachtet werden: ein gelabelter Satz $L = \{(W_i, X_i, G_i, Y_i)\}$ und ein größerer ungelabelter Satz $U = \{(W_i, X_i, Y_i)\}$ .
Merkmale: Der Klassifikator wird auf einem Merkmalsatz $W$ trainiert, während die nachgelagerte Regression eine Teilmenge $X \subseteq W$ kontrolliert. Entscheidend ist, dass der Artikel eine strukturelle Trennung durchsetzt, bei der $W$ strikt reicher sein muss als $X$ ( $X \subsetneq W$ ), um Identifizierbarkeit zu gewährleisten.
Modell: Der Zielparameter $\tau$ wird über eine partiell lineare Regression definiert: $E[Y | G, X] = \mu(X) + \tau G$ .
Annahme: Die Klassifikatorausgabe $p = f(W)$ ist bedingt kalibriert und erfüllt $E[G | p, X] = p$ .

Basierend auf einem begleitenden Identifikationsergebnis [8] nutzen die Autoren eine Momentengleichung, um $\tau$ unter Verwendung des kalibrierten Scores $p$ direkt zu identifizieren (der „weiche" Schätzer). Anschließend analysieren sie die Eigenschaften des „harten" Schätzers, der $p$ durch einen geschwellten binären Label $\hat{G} = \mathbb{1}\{p > \tau_{thr}\}$ ersetzt.

3. Hauptbeiträge und theoretische Ergebnisse

Der Artikel leitet fünf spezifische Vorhersagen und ein Diagnoseverfahren ab, formalisiert wie folgt:

I. Geschlossene Form der Abschwächungsverzerrung (Vorhersage 1)
Der Artikel leitet einen geschlossenen Ausdruck für die durch hartes Pseudo-Labeling verursachte Abschwächungsverzerrung ab. Der Wahrscheinlichkeitsgrenzwert des harten Schätzers $\hat{\tau}_{hard}$ lautet:
$\text{plim } \hat{\tau}_{hard} = \kappa(\tau_{thr}) \cdot \tau$
wobei der Abschwächungsfaktor $\kappa(\tau_{thr})$ die OLS-Steigung der residualisierten harten Labels auf den residualisierten weichen Score in der Population darstellt.

Bedeutung: Dieser Faktor ist vor Durchführung jeglicher Inferenz berechenbar, ausschließlich aus der gemeinsamen Verteilung von $(p, X)$ im ungelabelten Satz. Er quantifiziert exakt, wie viel Signal beim Binärisieren der Wahrscheinlichkeit bei einem bestimmten Schwellenwert verloren geht.

II. Sandwich-Varianz für weiche Schätzer (Vorhersage 2)
Die asymptotische Varianz des weichen Schätzers (unter direkter Verwendung von $p$ ) skaliert umgekehrt proportional zum Quadrat der residualen Score-Varianz $V^* = E[\text{Var}(p|X)]$ .

Implikation: Selbst moderate Reduktionen der Informativität des Scores (niedriges $V^*$ ) führen zu massiven Präzisionsverlusten. Der Artikel liefert einen Sandwich-Varianz-Plug-in, der gültige Wald-Intervalle liefert.

III. Bias-Varianz-Reue der Konfidenzschwellenwertbildung (Vorhersage 3)
Für Methoden, die das Pseudo-Labeling auf eine konfidente Teilmenge beschränken (z. B. im Stil von FixMatch), zerfällt der mittlere quadratische Fehler (MSE) in einen quadrierten Bias-Term (getrieben durch $\kappa_{FM}$ ) und einen Varianz-Term (aufgebläht durch die reduzierte Stichprobengröße $|C|$ ).

Ergebnis: Je selektiver der Schwellenwert wird, desto stärker wächst die Varianz monoton, während der Bias schwanken kann. Der gesamte MSE wird oft varianzdominiert, was den weichen Schätzer in vielen Regimen überlegen macht, trotz seines Fehlens „harter" Labels.

IV. Sensitivitätsgrenze bei Kalibrierungsdrift (Vorhersage 4)
Unter begrenzter Verteilungsverschiebung, bei der die Kalibrierungsbedingung mit einem Fehler $\eta(p, X)$ gilt, der durch $\delta$ beschränkt ist, ist die asymptotische Verzerrung beschränkt durch:
$|\text{plim } \hat{\tau} - \tau| \leq |\tau| \frac{\delta E|2p-1|}{2V^*}$

Implikation: Eine höhere residualen Varianz $V^*$ (informativere Scores) reduziert proportional die Worst-Case-Verzerrung für ein gegebenes Maß an Kalibrierungsdrift.

V. Die $V^*$ -Kollaps-Grenze (Vorhersage 5)
Der Artikel identifiziert eine scharfe Grenze: $V^* = 0$ genau dann, wenn $p$ eine deterministische Funktion von $X$ ist.

Strukturelle Anforderung: Wenn die Klassifikatormerkmale $W$ identisch mit den nachgelagerten Kontrollen $X$ sind, dann gilt $p = f(X)$ , $V^*=0$ , und die Momentengleichung wird uninformative (Identifikation scheitert). Die Abhilfe besteht darin, sicherzustellen, dass $W$ Merkmale enthält, die in der nachgelagerten Regression nicht kontrolliert werden.

4. Das Diagnoseverfahren

Die Autoren schlagen einen praktischen, einseitigen Diagnosealgorithmus (Algorithmus 1) für Praktiker vor, um zu entscheiden, ob Konfidenzschwellenwertbildung sicher ist:

Berechnung von $V^*$ : Schätzung der residualen Varianz des kalibrierten Scores nach Regression von $X$ im ungelabelten Satz.
Berechnung von $\hat{\kappa}$ : Für ein Gitter von Schwellenwerten den Abschwächungsfaktor schätzen.
Entscheidungsregel:
- Wenn der implizierte Standardfehler des weichen Schätzers zu hoch ist (aufgrund niedrigen $V^*$ ), den supervised Baseline bevorzugen (nur $L$ verwenden).
- Wenn $\hat{\kappa}$ für alle Schwellenwerte weit von 1 entfernt ist, verursacht hartes Schwellen eine signifikante Abschwächung; den weichen Schätzer bevorzugen.
- Andernfalls ist beides akzeptabel, wobei der weiche Schätzer aufgrund seiner Robustheit gegenüber der Schwellenwahl empfohlen wird.

5. Experimentelle Ergebnisse

Der Artikel validiert diese Vorhersagen durch fünf kontrollierte Simulationen und eine Real-Daten-Veranschaulichung am UCI Adult Income-Datensatz:

Abschwächung: Empirische Schätzungen von $\hat{\tau}_{hard}$ stimmten über sechs verschiedene Schwellenwerte hinweg mit den geschlossenen $\kappa(\tau_{thr})$ -Vorhersagen mit hoher statistischer Signifikanz überein.
Varianz: Die Sandwich-Varianz-Formel sagte die Monte-Carlo-Varianz genau voraus und erreichte eine nominale 95%-Abdeckung.
Reue: Experimente bestätigten, dass hochkonfidente Schwellenwerte oft zu hohem MSE aufgrund von Varianzvergrößerung führen, was die Analyse des Bias-Varianz-Trade-offs validiert.
Sensitivität: Die abgeleitete Sensitivitätsgrenze hielt unter verschiedenen Kalibrierungsdrift-Szenarien, wobei die empirische Verzerrung deutlich unter dem theoretischen Worst-Case-Umfeld blieb.
Realwelt-Fall: Im UCI Adult-Experiment identifizierte die Diagnose korrekt, dass der supervised Baseline (OLS auf $L$ ) die pseudo-gelabelten Schätzer übertraf, da der gelabelte Satz ausreichend informativ war und die bedingte Wahrscheinlichkeit gut durch die Kontrollen erklärt wurde (niedriges $V^*$ relativ zum Rauschen). Umgekehrt zeigte die Diagnose, dass harte Labels auf diesem Datensatz eine minimale Abschwächung verursachten ( $\hat{\kappa} \approx 0,92$ ) aufgrund der Reichhaltigkeit der Klassifikatormerkmale.

6. Bedeutung und Behauptungen

Der Artikel beansprucht einen operativen Beitrag und keine neue algorithmische Architektur. Er schlägt keinen neuen Pseudo-Labeling-Algorithmus vor und konkurriert nicht mit State-of-the-Art-Klassifikationsverlusten (wie FixMatch). Stattdessen liefert er:

Eine quantitative Begründung, warum Konfidenzschwellenwertbildung nachgelagerte Regressionskoeffizienten verzerrt.
Ein Diagnosewerkzeug ( $(V^*, \kappa)$ -Entscheidungsregel), das Praktikern ermöglicht, a priori zu berechnen, ob die Verwendung harter Labels sicher ist oder ob sie bei weichen Scores oder einem rein supervised Ansatz bleiben sollten.
Eine strukturelle Einsicht, dass die Trennung zwischen Klassifikatormerkmalen ( $W$ ) und nachgelagerten Kontrollen ( $X$ ) nicht bloß eine Designentscheidung, sondern eine mathematische Notwendigkeit für die Identifikation in diesem Setting ist.

Die Autoren betonen, dass ihr Rahmenwerk „kalibrierungsbewusst" ist, indem es die abstrakte Qualität der Kalibrierung eines Klassifikators in konkrete Grenzen für die Verzerrung der nachgelagerten Schätzung übersetzt und so die Lücke zwischen Klassifikationsleistung und kausaler/asozialer Inferenz schließt.