Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score

Die Arbeit stellt SemiCP vor, ein semi-überwachtes konformes Vorhersageverfahren, das durch die Einführung eines Nearest-Neighbor-Matching-Scores für ungelabelte Daten die Kalibrierung verbessert und bei begrenzten gelabelten Daten die Abdeckungsgenauigkeit signifikant erhöht.

Das Wesentliche

Stell dir vor, du bist ein Koch, der ein neues Gericht (ein KI-Modell) serviert. Bevor du es deinen Gästen anbietest, willst du sicherstellen, dass es schmeckt und keine Allergien auslöst. In der Welt der Künstlichen Intelligenz nennen wir das „Unsicherheitsquantifizierung". Du möchtest wissen: „Wie sicher bin ich eigentlich bei meiner Vorhersage?"

Das Problem ist: Um diese Sicherheit zu testen, brauchst du normalerweise viele geschulte Tester (gelabelte Daten), die das Gericht probieren und sagen: „Das ist ein Rindfleischgericht" oder „Das ist ein Fischgericht".

Aber hier liegt das Problem: In der echten Welt sind diese geschulten Tester oft knapp und teuer. Wenn du nur 20 Tester hast, ist dein Ergebnis sehr wackelig. Einmal sagen sie „Es ist sicher", das nächste Mal „Es ist gefährlich". Das nennt man „Instabilität".

Hier kommt die neue Methode aus dem Papier ins Spiel: SemiCP (Semi-Supervised Conformal Prediction).

Die Idee: Die „Stille Masse" nutzen

Stell dir vor, du hast zwar nur 20 geschulte Tester, aber du hast 4.000 Gäste in deinem Restaurant, die noch nichts gesagt haben (unbeschriftete Daten). Sie haben das Gericht probiert, aber du hast ihre Antworten noch nicht notiert.

Die alte Methode ignoriert diese 4.000 Gäste. Die neue Methode, SemiCP, sagt: „Warte mal! Wir können diese 4.000 Gäste trotzdem nutzen, um unsere Sicherheit zu berechnen!"

Aber wie? Die Gäste haben ja keine Antworten. Hier kommt der geniale Trick: Der „Nachbar-Vergleich" (Nearest Neighbor Matching).

Die Analogie: Der schlaue Kellner

Stell dir vor, du hast einen sehr aufmerksamen Kellner (das KI-Modell). Er glaubt, er weiß, was auf dem Teller liegt.

1. Der naive Fehler: Der Kellner sagt einfach: „Ich bin mir zu 99% sicher, das ist Rindfleisch." Wenn er sich irrt, ist das Problem.
2. Der SemiCP-Trick: Der Kellner schaut sich die 4.000 Gäste an. Für jeden Gast sucht er den geschulten Tester aus den 20, der dem Gast am ähnlichsten sieht (gleiche Kleidung, ähnlicher Appetit, ähnlicher Gesichtsausdruck).
   • Wenn der ähnliche Tester gesagt hat: „Ich bin mir unsicher, das könnte auch Schwein sein", dann weiß der Kellner: „Aha, bei diesem Gast hier ist meine Sicherheit auch nicht so hoch."
   • Wenn der ähnliche Tester sagte: „Das ist definitiv Rindfleisch!", dann kann der Kellner dem Gast auch mehr Sicherheit zusprechen.

Indem der Kellner die Antworten der wenigen geschulten Tester auf die vielen ähnlichen ungeschulten Gäste „überträgt", bekommt er plötzlich ein riesiges, stabiles Bild davon, wie sicher sein Gericht wirklich ist.

Was bringt das?

1. Stabilität: Früher war das Ergebnis wie ein Wackeltisch (bei nur 20 Testern). Jetzt, mit den 4.000 „stillschweigenden" Daten, wird der Tisch fest. Die Vorhersagen sind viel zuverlässiger.
2. Präzision: Früher musste der Koch aus Angst vor Fehlern sagen: „Es könnte Rind, Schwein, Huhn oder Fisch sein" (ein riesiger, ungenauer Teller). Mit SemiCP kann er sagen: „Es ist höchstwahrscheinlich Rindfleisch" (ein kleinerer, präziserer Teller), ohne die Sicherheit zu opfern.
3. Kein Training nötig: Das Beste ist: Man muss das KI-Modell nicht neu trainieren. Es ist wie ein „Plug-and-Play"-Zusatz, der einfach die vorhandenen Daten cleverer nutzt.

Zusammenfassung in einem Satz

SemiCP ist wie ein cleverer Kellner, der die Meinungen von wenigen Experten nutzt, um die Unsicherheit bei Tausenden von normalen Gästen zu berechnen – und dadurch viel sicherere und genauere Vorhersagen trifft, ohne dass man mehr Experten einstellen muss.

Das Papier zeigt, dass diese Methode auf verschiedenen „Speisekarten" (Bild-Datenbanken wie CIFAR oder ImageNet) funktioniert und die Vorhersagen um bis zu 77% stabiler macht, selbst wenn nur extrem wenige Experten zur Verfügung stehen.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Semi-Supervised Conformal Prediction With Unlabeled Nonconformity Score" auf Deutsch:

1. Problemstellung

Konformale Vorhersage (Conformal Prediction, CP) ist ein statistisches Framework, das Vorhersagemengen generiert, die mit einer garantierten Wahrscheinlichkeit die wahre Klasse enthalten (Coverage Guarantee). Das weit verbreitete Split Conformal Prediction benötigt jedoch eine kalibrierte Menge an gelabelten Daten, um einen Schwellenwert zu bestimmen.

Das zentrale Problem liegt in realen Szenarien, in denen gelabelte Daten oft knapp sind:

• Instabilität: Bei kleinen Kalibrierungssätzen führt die Schätzung des Quantils zu einer hohen Varianz. Die tatsächliche Abdeckung (Coverage) schwankt stark zwischen verschiedenen Läufen und weicht oft signifikant vom Zielwert ($1-\alpha$) ab.
• Ineffizienz: Um die Abdeckung zu garantieren, neigen Methoden bei wenig Daten dazu, sehr große Vorhersagemengen zu erzeugen, was die Nützlichkeit der Unsicherheitsquantifizierung mindert.
• Limitationen bestehender Ansätze: Bisherige Versuche, dies zu lösen (z. B. Interpolation oder Few-Shot Meta-Learning), sind entweder heuristisch, bieten keine endlichen Stichproben-Garantien oder sind in der Praxis schwer anwendbar.

Die Autoren stellen fest, dass in vielen Anwendungen zwar viele unbeschriftete (unlabeled) Daten verfügbar sind, diese aber in der konventionellen CP nicht genutzt werden, da die Berechnung der „Nonconformity Scores" (Abweichungsscores) normalerweise die wahre Klasse benötigt.

2. Methodik: SemiCP und NNM

Die Autoren schlagen SemiCP (Semi-Supervised Conformal Prediction) vor, ein neues Paradigma, das sowohl gelabelte als auch unbeschriftete Daten zur Kalibrierung nutzt. Der Kern der Methode ist die Einführung eines neuen Scores für unbeschriftete Daten: Nearest Neighbor Matching (NNM).

Der NNM-Score (Nearest Neighbor Matching)

Da die wahre Klasse $\tilde{y}$ für unbeschriftete Daten $\tilde{x}$ unbekannt ist, kann der wahre Nonconformity Score $S(\tilde{x}, \tilde{y})$ nicht direkt berechnet werden. Stattdessen wird ein Schätzer konstruiert:

1. Pseudo-Labeling: Ein vortrainiertes Modell $f$ liefert eine Pseudo-Klasse $\hat{y} = \arg\max f(\tilde{x})$. Der naive Score wäre $S(\tilde{x}, \hat{y})$. Dies ist jedoch systematisch verzerrt (biased), da das Modell bei $\hat{y}$ am sichersten ist und der Score künstlich niedrig ausfällt.
2. Bias-Schätzung: Die Verzerrung (Bias) wird definiert als $\Delta(x) = S(x, y) - S(x, \hat{y})$.
3. Nearest Neighbor Matching: Um den Bias für ein unbeschriftetes Beispiel zu korrigieren, wird im Raum der Pseudo-Scores der gelabelte Datenpunkt $x_j$ gesucht, dessen Pseudo-Score $S(x_j, \hat{y}_j)$ dem des unbeschrifteten Punktes $S(\tilde{x}, \hat{y})$ am nächsten kommt.
4. Korrektur: Der NNM-Score für das unbeschriftete Beispiel wird berechnet als:
   $$\tilde{S}_{nnm}(\tilde{x}) = S(\tilde{x}, \hat{y}) + (S(x_j, y_j) - S(x_j, \hat{y}_j))$$
   Dabei wird der beobachtete Bias des ähnlichsten gelabelten Beispiels auf das unbeschriftete Beispiel übertragen.

Kalibrierung und Theoretische Garantien

• Schwellenwert: Der Kalibrierungsschwellenwert $\hat{\tau}$ wird nun auf der Vereinigung der Scores aller gelabelten ($n$) und unbeschrifteten ($N$) Daten berechnet.
• Theoretische Ergebnisse:
  • Es wird bewiesen, dass die durchschnittliche Lücke zwischen empirischer und Ziel-Abdeckung (Average Coverage Gap) mit der Rate $O(1/\sqrt{N})$ abnimmt, wobei $N$ die Anzahl der unbeschrifteten Daten ist.
  • Der Bias-Term hängt von der Diskrepanz zwischen der wahren Score-Verteilung und der geschätzten Verteilung ab. Unter milden Regularitätsannahmen konvergiert die NNM-Verteilung asymptotisch gegen die wahre Verteilung, wenn die Anzahl der gelabelten Daten wächst.

3. Hauptbeiträge

1. Einführung von SemiCP: Ein semi-supervised Framework, das unbeschriftete Daten nutzt, um die Stabilität und Effizienz von CP bei wenig gelabelten Daten zu verbessern.
2. Entwicklung des NNM-Scores: Eine innovative Methode zur Schätzung von Nonconformity Scores für unbeschriftete Daten durch lokale Bias-Korrektur basierend auf dem nächsten Nachbarn im Pseudo-Score-Raum.
3. Theoretische Analyse: Ein Beweis, dass die Hinzunahme unbeschrifteter Daten die Varianz der Abdeckung reduziert und den Coverage Gap signifikant verringert.
4. Umfassende Validierung: Experimente auf mehreren Datensätzen (CIFAR-10/100, ImageNet) und mit verschiedenen Architekturen und Score-Funktionen (THR, APS, RAPS).

4. Ergebnisse

Die Experimente zeigen konsistente Verbesserungen gegenüber dem Standard Split CP und nähern sich der Leistung eines „Oracle" (das hypothetische Szenario, bei dem alle unbeschrifteten Daten gelabelt sind):

• Stabilität: Auf CIFAR-10 mit nur 20 gelabelten Beispielen und 4000 unbeschrifteten Beispielen konnte der durchschnittliche Coverage Gap um bis zu 77% reduziert werden.
• Effizienz: Die Größe der Vorhersagemengen (Average Set Size) wurde signifikant verringert (z. B. um 5,7% auf CIFAR-10), was bedeutet, dass die Vorhersagen präziser sind, ohne die Abdeckungsgarantie zu verletzen.
• Robustheit: SemiCP funktioniert gut über verschiedene Modellarchitekturen (ResNet, ViT, MobileNet etc.) hinweg und ist kompatibel mit existierenden CP-Erweiterungen wie Interpolation oder ClusterCP.
• Bedingte Vorhersage: Die Methode ist auch auf konditionale CP (z. B. klassenspezifische Abdeckung) anwendbar und verbessert dort die Stabilität ebenfalls.
• Sensitivität: Die Methode ist robust gegenüber kleinen Mengen unbeschrifteter Daten (schon bei $N=10$ sichtbar) und funktioniert auch unter Verteilungsverschiebungen (Distribution Shift) besser als Standard-CP.

5. Bedeutung und Fazit

Dieses Paper adressiert ein kritisches Hindernis für den praktischen Einsatz von Konformaler Vorhersage: die Abhängigkeit von großen Mengen an gelabelten Kalibrierungsdaten.

• Paradigmenwechsel: SemiCP zeigt, dass unbeschriftete Daten nicht nur für das Training von Modellen, sondern auch für die Unsicherheitsquantifizierung genutzt werden können, ohne dass zusätzliche Annotationen erforderlich sind.
• Praktische Relevanz: Da unbeschriftete Daten in der Regel billig und reichlich vorhanden sind, ermöglicht SemiCP den Einsatz von CP in hochriskanten Anwendungen (Medizin, Finanzen), wo oft nur wenige gelabelte Beispiele verfügbar sind.
• Theoretische Fundierung: Im Gegensatz zu vielen heuristischen Ansätzen bietet SemiCP formale Garantien für die Konvergenz der Abdeckungsgenauigkeit.

Zusammenfassend stellt SemiCP einen robusten, dateneffizienten und theoretisch fundierten Weg dar, um die Zuverlässigkeit und Präzision von Machine-Learning-Modellen in datenarmen Umgebungen zu erhöhen.