Conformal Prediction with Corrupted Labels: Uncertain Imputation and Robust Re-weighting

Diese Arbeit stellt ein Framework für robuste Unsicherheitsquantifizierung bei korrupten Labels vor, das die Robustheit der privilegierten konformen Vorhersage gegenüber ungenauen Gewichten analysiert und eine neue Methode der unsicheren Imputation einführt, die theoretisch fundierte, valide Vorhersageintervalle auch unter Verteilungsverschiebungen garantiert.

Das Wesentliche

Das große Problem: Der unzuverlässige Koch

Stellen Sie sich vor, Sie sind ein Chefkoch (der KI-Modell), der versuchen soll, ein perfektes Gericht (eine Vorhersage) für einen Gast zu kochen. Um das zu tun, schauen Sie sich ein Kochbuch an, das mit Rezepten gefüllt ist (Trainingsdaten).

Aber hier ist das Problem: Das Kochbuch ist kaputt.

1. Verschmierte Seiten: Bei manchen Rezepten ist die Menge an Salz unleserlich oder fehlt ganz (fehlende Labels).
2. Falsche Einträge: Bei anderen Rezepten steht „Salz", aber es war eigentlich „Zucker" (verrauschte Labels).

Wenn Sie einfach blindlings aus diesem kaputten Buch lernen und dann dem Gast ein Gericht servieren, werden Sie wahrscheinlich nicht wissen, wie sicher Sie sich sein können. „Ist das Essen gut? Oder habe ich gerade Zucker statt Salz genommen?"

Normalerweise nutzen KI-Systeme eine Methode namens Konforme Vorhersage (Conformal Prediction). Das ist wie ein Sicherheitsnetz. Es sagt nicht nur: „Ich denke, das ist ein Steak", sondern: „Ich bin zu 90 % sicher, dass es ein Steak ist, aber es könnte auch ein Burger sein." Das gibt uns ein Vertrauensintervall.

Das Problem: Dieses Sicherheitsnetz funktioniert nur, wenn das Kochbuch (die Daten) sauber ist. Wenn die Daten kaputt sind, reißt das Netz.

Die Lösung: Der „Privilegierte" Assistent

Die Autoren dieses Papiers haben eine geniale Idee: Sie nutzen einen privilegierten Assistenten (Privileged Information).

Stellen Sie sich vor, Sie haben einen alten, erfahrenen Küchenchef (den Assistenten), der Ihnen beim Lernen hilft. Er kennt die Rezepte perfekt und kann Ihnen sagen: „Hey, bei diesem Rezept hier war das Salz unleserlich, aber ich weiß aus Erfahrung, dass es 2 Teelöffel waren." Oder: „Bei diesem anderen Rezept war der Gast sehr wählerisch, also war das Salz wahrscheinlich anders dosiert."

Der Clou: Dieser Assistent ist nur während des Lernens da. Wenn der Gast später kommt (im Testzeitraum), ist der Assistent weg. Sie müssen das Gericht allein servieren.

Die Forscher haben drei neue Methoden entwickelt, um mit diesem Szenario umzugehen:

1. Die Waage-Methode (Privileged Conformal Prediction - PCP)

Diese Methode versucht, die Fehler im Kochbuch auszugleichen, indem sie den Rezepten unterschiedliche Gewichte gibt.

• Die Idee: Wenn der Assistent sagt: „Dieses Rezept hier ist sehr unzuverlässig", dann geben wir ihm weniger Gewicht in unserer Berechnung. Wenn er sagt: „Das hier ist super", dann wiegt es mehr.
• Das Problem: Was, wenn der Assistent nicht ganz genau weiß, wie unzuverlässig die Rezepte sind? Was, wenn seine Schätzung der Gewichte etwas danebenliegt?
• Die Erkenntnis der Autoren: Überraschenderweise funktioniert diese Waage-Methode auch dann noch gut, wenn die Gewichte nicht perfekt sind! Es ist wie eine Waage, die auch dann noch ein brauchbares Ergebnis liefert, wenn Sie das Gewicht der Gewichte leicht falsch einschätzen. Sie ist sehr robust.

2. Die „Unsichere" Füllung (Uncertain Imputation - UI)

Diese Methode ist noch cleverer. Statt zu versuchen, die Fehler im Kochbuch mit Gewichten zu korrigieren, füllt sie die Lücken einfach aus – aber auf eine besondere Art.

• Die Idee: Wenn ein Rezept fehlt, schaut der Assistent hin und sagt: „Ich denke, es war 2 Teelöffel Salz." Aber statt einfach „2 Teelöffel" zu schreiben, schreibt er: „Ich denke, es waren 2 Teelöffel, aber ich bin mir nicht 100 % sicher, also fügen wir eine kleine Unsicherheit hinzu."
• Der Trick: Sie füllen die Lücke nicht mit einer festen Zahl, sondern mit einer Zahl plus einem „Zufalls-Salat" (einem Fehler), der die Unsicherheit widerspiegelt.
• Warum das genial ist: Selbst wenn der Assistent die genaue Menge nicht weiß, aber die Art der Unsicherheit richtig einschätzt, funktioniert das Sicherheitsnetz perfekt. Es ist wie ein Sicherheitsgurt, der sich dehnt, wenn man unsicher ist, aber trotzdem hält.

3. Der „Dreifach-Robuste" Sicherheitsgurt (Triply Robust)

Das ist der ultimative Trick. Die Autoren haben alle drei Methoden (die normale, die Waage-Methode und die Unsicherheits-Füllung) kombiniert.

• Die Analogie: Stellen Sie sich vor, Sie bauen ein Auto mit drei verschiedenen Bremssystemen:
  1. Ein mechanisches System (die normale Methode).
  2. Ein hydraulisches System (die Waage-Methode).
  3. Ein elektrisches System (die Unsicherheits-Füllung).
• Das Ergebnis: Solange mindestens eines dieser Systeme funktioniert, bremst das Auto sicher. Sie müssen nicht hoffen, dass alle drei perfekt sind. Wenn eines versagt, springt das nächste ein. Das macht das System extrem sicher, selbst wenn die Daten chaotisch sind.

Was bedeutet das für uns?

In der echten Welt sind Daten fast immer „schmutzig". Menschen machen Fehler beim Eintragen, Sensoren fallen aus, oder sensible Daten (wie das Einkommen oder die Herkunft einer Person) werden aus Datenschutzgründen nicht immer geteilt.

Diese Forschung zeigt uns:

1. Wir müssen nicht perfekt sein, um gute Vorhersagen zu treffen.
2. Selbst wenn wir nur ungefähre Informationen über die Fehler haben, können wir trotzdem verlässliche Sicherheitsnetze bauen.
3. Die Kombination verschiedener Ansätze ist der Schlüssel zu robuster KI, die auch in schwierigen Situationen (wie im Gesundheitswesen oder bei Finanzentscheidungen) nicht versagt.

Kurz gesagt: Die Autoren haben einen neuen Weg gefunden, KI-Systeme so zu trainieren, dass sie auch dann noch sagen können: „Ich bin mir ziemlich sicher", selbst wenn das Lehrbuch, aus dem sie gelernt haben, voller Löcher und Tintenkleckse ist. Und das Beste: Sie funktionieren auch dann noch, wenn wir die Löcher nicht perfekt zählen können.

Technische Zusammenfassung

1. Problemstellung

Das Paper adressiert das Problem der robusten Unsicherheitsquantifizierung in maschinellen Lernmodellen, wenn die Trainingsdaten durch verrauschte oder fehlende Labels (corrupted labels) beeinträchtigt sind.

• Herausforderung: Conformal Prediction (CP) ist ein statistisches Framework, das Vorhersagemengen mit einer garantierten Abdeckungswahrscheinlichkeit (z. B. 90 %) für Testdaten liefert. Diese Garantie gilt jedoch nur unter der Annahme, dass Trainings- und Testdaten austauschbar (i.i.d.) sind.
• Verzerrung: Bei korrupten Labels (z. B. fehlende Antworten, die nicht zufällig, sondern in Abhängigkeit von den Merkmalen auftreten) entsteht eine Verteilungsverschiebung (distribution shift). Eine naive Anwendung von CP auf die verfügbaren Daten führt zu unzuverlässigen Unsicherheitsschätzungen und oft zu einer Unterabdeckung (undercoverage).
• Privilegierte Informationen (PI): Ein zentrales Konzept ist die Nutzung von „Privileged Information" (PI) – zusätzliche Merkmale $Z$, die während des Trainings verfügbar sind, aber zum Testzeitpunkt fehlen (z. B. Expertenbewertungen, detaillierte klinische Berichte).
• Bestehende Ansätze: Die Methode „Privileged Conformal Prediction" (PCP) versucht, diese Verschiebung durch Gewichtung der Daten basierend auf der Wahrscheinlichkeit, dass ein Label korrekt ist, zu korrigieren. Dies erfordert jedoch die genaue Schätzung von Gewichten (Likelihood-Ratios), was in der Praxis oft fehlerhaft ist und zum Verlust der Validität führt.

2. Methodik

Die Autoren stellen zwei Hauptmethoden und eine kombinierte Strategie vor:

A. Robustheit von PCP gegenüber ungenauen Gewichten

Die Autoren analysieren die Robustheit von PCP (und Weighted CP, WCP) gegenüber Fehlern in den geschätzten Gewichten.

• Theoretische Analyse: Sie zeigen, dass PCP auch dann eine gültige Abdeckungswahrscheinlichkeit liefern kann, wenn die Gewichte nicht exakt sind.
• Bedingungen: Die Gültigkeit hängt davon ab, ob die naive CP-Methodik (ohne Gewichtung) eine Über- oder Unterabdeckung aufweist.
  • Wenn naive CP überabdeckt (conservative), ist PCP auch bei großen Gewichtsfehlern robust.
  • Wenn naive CP unterabdeckt, müssen die Gewichtsfehler innerhalb eines sehr engen Intervalls liegen, um die Validität zu wahren.
• Ergebnis: Dies liefert neue theoretische Garantien und praktische Einsichten, dass PCP in vielen realen Szenarien robuster ist als bisher angenommen.

B. Uncertain Imputation (UI) – Unsichere Imputation

Da PCP bei schlechter Gewichtsschätzung versagen kann, schlagen die Autoren eine neue Methode vor: Uncertain Imputation (UI).

• Prinzip: Anstatt fehlende Labels zu ersetzen oder Gewichte zu schätzen, werden die korrupten Labels durch eine „unsichere" Version ersetzt.
• Prozess:
  1. Ein Modell $\hat{g}(X, Z)$ wird trainiert, um das Label $Y$ basierend auf den Features $X$ und der PI $Z$ vorherzusagen.
  2. Für die Kalibrierung werden die Residuen (Fehler) von $\hat{g}$ auf einem Referenzsatz berechnet.
  3. Fehlende Labels werden imputiert, indem der Vorhersagewert von $\hat{g}$ mit einem zufällig aus der Verteilung der Residuen gezogenen Fehler addiert wird: $\bar{Y} = \hat{g}(X, Z) + \epsilon$.
• Theoretische Garantie: Unter der Annahme, dass $\hat{g}$ hinreichend genau ist und die Verteilung der Residuen bedingt auf $Z$ unabhängig von den Vorhersagen ist, garantiert UI eine gültige marginale Abdeckungswahrscheinlichkeit, selbst wenn die Gewichte für PCP nicht geschätzt werden können.
• Vorteil: UI erfordert keine Schätzung der Korruptionswahrscheinlichkeiten, sondern nutzt die PI direkt zur Rekonstruktion der Unsicherheit.

C. Triply Robust Calibration (Dreifach robuste Kalibrierung)

Um die Stärken beider Ansätze zu vereinen, schlagen die Autoren eine Ensemble-Methode vor:

• Kombination: Die Vorhersagemengen von drei Methoden werden vereinigt:
  1. Naive CP (gültig, wenn das Modell $\hat{f}$ perfekt ist).
  2. PCP (gültig, wenn die Gewichte $M|Z$ gut geschätzt sind).
  3. UI (gültig, wenn die Labels $Y|Z$ gut geschätzt sind).
• Garantie: Die resultierende Menge $C_{TriplyRobust}$ erreicht die gewünschte Abdeckungswahrscheinlichkeit, solange mindestens eine der drei zugrundeliegenden Annahmen erfüllt ist. Dies bietet eine hohe Sicherheit gegen Modellfehler.

3. Wichtige Beiträge

1. Robustheitsanalyse von PCP: Erste formale Charakterisierung der Bedingungen, unter denen PCP und WCP trotz fehlerhafter Gewichte gültige Konfidenzmengen liefern. Die Analyse zeigt, dass die Methoden oft robuster sind als Worst-Case-Analysen vermuten lassen.
2. Einführung von Uncertain Imputation (UI): Eine neue, theoretisch fundierte Methode, die korrupte Labels durch eine unsichere Imputation behandelt, die die Unsicherheit der Schätzung bewahrt. Dies umgeht das Problem der Gewichtsschätzung vollständig.
3. Triply Robust Framework: Ein neues Kalibrierungsschema, das die Validität garantiert, wenn mindestens eine von drei unterschiedlichen Annahmen (perfektes Modell, gute Gewichtung, gute Imputation) zutrifft.
4. Empirische Validierung: Umfassende Experimente auf synthetischen und realen Datensätzen (z. B. MEPS, Facebook-Daten, House Sales), die zeigen, dass UI und TriplyRobust die gewünschte Abdeckung (z. B. 90 %) erreichen, wo naive Methoden und PCP mit geschätzten Gewichten versagen.

4. Ergebnisse

• Synthetische Daten: In Szenarien, in denen die Gewichte schwer zu schätzen sind, versagt PCP (Unterabdeckung), während UI die Zielabdeckung konsistent erreicht.
• Robustheit von PCP: Experimente bestätigen die theoretischen Vorhersagen: PCP bleibt gültig, wenn die Gewichtsfehler bestimmte Bedingungen erfüllen (abhängig davon, ob naive CP über- oder unterabdeckt).
• Reale Daten: Auf fünf verschiedenen Benchmarks (MEPS, Bio, House, etc.) zeigt UI, dass sie schmale, aber statistisch gültige Intervalle konstruiert. Naive Imputation (Ersetzen durch Mittelwerte) führt zu Unterabdeckung, während UI die Unsicherheit korrekt abbildet.
• TriplyRobust: Die kombinierte Methode liefert robuste Ergebnisse, ohne die statistische Effizienz (Länge der Intervalle) signifikant zu verschlechtern, solange mindestens eine Komponente gut funktioniert.

5. Bedeutung und Ausblick

Das Paper ist von großer Bedeutung für den Einsatz von KI in hochriskanten Umgebungen (z. B. Medizin, Finanzen), wo Daten oft unvollständig oder verrauscht sind.

• Praktische Relevanz: Es bietet Lösungen für Szenarien, in denen wichtige Informationen (PI) nur im Training verfügbar sind, aber nicht zum Testzeitpunkt.
• Theoretischer Fortschritt: Die Arbeit erweitert das Verständnis von Conformal Prediction unter Verteilungsverschiebungen und zeigt, wie man mit unsicheren Schätzungen (Gewichte oder Imputation) umgehen kann, ohne die mathematischen Garantien zu verlieren.
• Zukunft: Die Autoren sehen Potenzial darin, die Bedingungen für die Gewichtsrobustheit aus den Daten zu schätzen und die Methoden auf Multi-Annotator-Szenarien oder mehrdeutige Labels zu erweitern.

Zusammenfassend bietet das Paper einen umfassenden Werkzeugkasten für zuverlässige Unsicherheitsquantifizierung in der realen Welt, wo Datenqualität und Verfügbarkeit oft eingeschränkt sind.