📊 statistics

Shape-Adaptive Conditional Calibration for Conformal Prediction via Minimax Optimization

Die Arbeit stellt Minimax Optimization Predictive Inference (MOPI) vor, ein Rahmenwerk für die konforme Vorhersage, das durch Minimierung des quadratischen Fehlers der Abdeckung über eine flexible Klasse von Mengenabbildungen eine überlegene Formanpassung und eine gültige bedingte Abdeckung erreicht.

Ursprüngliche Autoren: Yajie Bao, Chuchen Zhang, Zhaojun Wang, Haojie Ren, Changliang Zou

Veröffentlicht 2026-03-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yajie Bao, Chuchen Zhang, Zhaojun Wang, Haojie Ren, Changliang Zou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der unfaire Wetterbericht

Stellen Sie sich vor, Sie nutzen eine Wetter-App. Die App sagt: „Es gibt eine 90%ige Wahrscheinlichkeit, dass es regnet." Das ist eine marginale Vorhersage. Das bedeutet: Wenn Sie die App 100 Tage lang nutzen, wird es an 90 Tagen regnen. Das ist statistisch korrekt.

Aber hier liegt das Problem:

An sonnigen Tagen im Sommer sagt die App vielleicht trotzdem „90% Regen" voraus, nur um den Durchschnitt zu halten.
An stürmischen Tagen im Winter sagt sie vielleicht nur „50% Regen", obwohl es sicher regnet.

Die App ist im Durchschnitt „fair", aber für den einzelnen Nutzer an einem bestimmten Tag oft ungenau oder sogar irreführend. In der Statistik nennt man das konforme Vorhersage. Bisherige Methoden waren wie dieser Wetterbericht: Sie garantierten im Durchschnitt eine gute Abdeckung, passten sich aber nicht an die lokale Situation an (z. B. an bestimmte Gruppen von Menschen oder spezifische Wetterlagen).

Die Lösung: MOPI – Der schlaue Schneider

Die Autoren dieses Papiers haben eine neue Methode namens MOPI (Minimax Optimization Predictive Inference) entwickelt.

Stellen Sie sich vor, Sie gehen zu einem Schneider, um einen Anzug zu bekommen.

Die alten Methoden (z. B. CC oder SCP) waren wie ein Schneider, der nur die Größe des Anzugs ändern kann. Er macht den Anzug größer oder kleiner, aber die Form bleibt immer gleich (z. B. immer ein rechteckiger Kasten). Wenn Sie aber eine sehr schmale Taille und breite Schultern haben, passt der Anzug trotzdem nicht gut, egal wie groß Sie ihn machen.
MOPI ist wie ein Schneider, der den Stoff formen kann. Er passt nicht nur die Größe an, sondern dreht, dehnt und verformt den Anzug so, dass er perfekt zu Ihrer Körperform passt. Er erkennt: „Aha, bei dieser Person sind die Schultern breit, also muss der Anzug hier breiter sein, aber an den Hüften schmaler."

Wie funktioniert MOPI? (Die Metapher des „Zwei-Wege-Spiels")

Das Herzstück von MOPI ist ein cleveres mathematisches Spiel, das sie Minimax-Optimierung nennen. Man kann es sich wie ein Duell zwischen zwei Spielern vorstellen:

Spieler A (Der Vorhersager): Er versucht, einen Vorhersagebereich (den „Anzug") zu bauen, der so klein wie möglich ist, aber trotzdem den echten Wert (die „Wahrheit") einschließt. Er will effizient sein.
Spieler B (Der Kritiker): Er ist ein strenger Prüfer. Er sucht nach Schwachstellen. Er fragt: „Hey, hast du bei dieser speziellen Gruppe von Leuten (z. B. Frauen, oder Leute mit hohem Einkommen) versagt? Hast du sie unterversorgt?"

Das Geniale daran:
Spieler A und Spieler B spielen gegeneinander. Spieler A muss einen Anzug entwerfen, der so robust ist, dass er selbst gegen den schärfsten Kritiker (Spieler B) bestehen kann.

Wenn Spieler A nur einen einfachen Kasten nimmt, findet Spieler B sofort eine Lücke bei einer bestimmten Gruppe.
Also muss Spieler A den Anzug formen (z. B. zu einer Ellipse verzerren), um die Lücke zu schließen.

Durch dieses ständige „Wettrüsten" (Minimax) entsteht am Ende eine Vorhersage, die sich automatisch an die Form der Daten anpasst. Sie wird dort größer, wo die Unsicherheit hoch ist, und dort kleiner, wo sie niedrig ist.

Der große Vorteil: Geheime Informationen nutzen

Ein weiterer cooler Trick von MOPI ist, dass es Informationen nutzen kann, die während des Trainings da sind, aber später fehlen.

Beispiel: Stellen Sie sich vor, Sie trainieren ein System, um Kredite zu prüfen. Während des Trainings kennen Sie das Geschlecht der Antragsteller (ein sensibles Attribut). Aber aus ethischen Gründen (Fairness) dürfen Sie das Geschlecht beim eigentlichen Kreditantrag eines Kunden nicht sehen.
Das Problem: Andere Methoden können das Geschlecht beim Training nicht nutzen, um die Vorhersage für den Fall zu verbessern, dass sie später fehlt.
MOPI: MOPI nutzt das Geschlecht während des Trainings, um zu lernen: „Aha, bei Männern ist die Unsicherheit anders als bei Frauen." Es baut einen Vorhersagebereich, der diese Unterschiede im „Gedächtnis" speichert, ohne dass das Geschlecht später noch sichtbar sein muss. Das Ergebnis: Eine fairere und genauere Vorhersage für alle, auch wenn das sensible Attribut später „maskiert" ist.

Zusammenfassung in einem Satz

MOPI ist wie ein intelligenter, formbarer Vorhersage-Beutel, der sich nicht nur in der Größe, sondern in der Form an die lokale Situation anpasst, um sicherzustellen, dass er für jeden Einzelfall (nicht nur im Durchschnitt) genau das Richtige enthält – und das sogar dann, wenn er geheime Informationen aus der Vergangenheit nutzt, um heute fairer zu sein.

Warum ist das wichtig?
In Bereichen wie Medizin (Diagnosen), autonomen Fahrzeugen oder Finanzwesen ist es lebenswichtig, dass die Vorhersage nicht nur „im Durchschnitt" stimmt, sondern für jeden einzelnen Patienten oder Fahrer zuverlässig ist. MOPI macht genau das möglich.

1. Problemstellung

Konforme Vorhersage (Conformal Prediction, CP) bietet eine distribution-unabhängige Methode, um Vorhersagemengen mit einer garantierten marginalen Abdeckungswahrscheinlichkeit ( $1-\alpha$ ) zu konstruieren. Ein zentrales Problem besteht jedoch darin, dass die marginale Abdeckung oft nicht für alle Individuen oder Subgruppen gleichmäßig zuverlässig ist (z. B. Unterabdeckung in bestimmten Regionen des Merkmalsraums).

Das Ziel ist bedingte Abdeckung (conditional coverage): $P\{Y \in C(X) \mid Z = z\} = 1 - \alpha$ für alle $z$ .

Herausforderungen:
- Exakte bedingte Abdeckung ist in endlichen Stichproben ohne triviale (unendlich große) Mengen theoretisch unmöglich.
- Bestehende Methoden (z. B. Conditional Calibration von Gibbs et al., 2025) nutzen oft feste Score-Funktionen und kalibrieren nur einen Schwellenwert. Dies führt zu geometrischer Starrheit: Die Form der Vorhersagemenge (z. B. Ellipsoid oder Box) kann nicht an lokale Heteroskedastizität oder Korrelationen angepasst werden.
- Viele Methoden scheitern, wenn das Bedingungsvariable $Z$ (z. B. sensible Attribute wie Geschlecht oder Ethnie) während der Kalibrierung bekannt, aber zum Zeitpunkt der Vorhersage (Testzeit) maskiert (unbeobachtet) ist.

2. Methodik: MOPI (Minimax Optimization Predictive Inference)

Die Autoren stellen MOPI vor, ein Framework, das die bedingte Vorhersage als Minimax-Optimierungsproblem neu formuliert.

Kernidee

Anstatt nur einen Schwellenwert für eine feste Score-Funktion zu lernen, optimiert MOPI die geometrische Struktur der Vorhersagemenge selbst.

Strukturierte Mengenklasse: Die Vorhersagemenge wird definiert als $C(x; h) = \{y \in \mathcal{Y} : T(h(x), y) \le 0\}$ , wobei $h(x)$ Parameter wie Mittelwert oder Kovarianzmatrix steuert, um die Form (z. B. Ausrichtung und Aspektverhältnis einer Ellipse) anzupassen.
Minimax-Formulierung: Das Ziel ist es, die Abweichung von der bedingten Abdeckung zu minimieren. Dies wird durch eine Relaxation der bedingten Bedingung auf eine Menge von marginalen Momentenbeschränkungen erreicht:
$\min_{C \in \mathcal{C}} \max_{f \in \mathcal{F}} \mathbb{E}\left[ f(Z) \left( \mathbb{1}\{Y \notin C(X)\} - \alpha \right) - f^2(Z) \right]$
- Äußerer Minimierung: Sucht die beste Menge $C$ (bzw. die beste Funktion $h$ ), um die Abdeckung zu optimieren.
- Innerer Maximierung: Sucht eine Gewichtungsfunktion $f$ (aus einer Klasse $\mathcal{F}$ ), die die schwersten Verletzungen der Abdeckungsbedingung identifiziert. Dies entspricht der Minimierung des Mean Squared Coverage Error (MSCE).
Umgang mit maskierten Variablen: Ein entscheidender Vorteil ist die Entkopplung: Die innere Maximierung nutzt $Z$ (z. B. sensible Attribute), um die Kalibrierung zu steuern, während die äußere Minimierung nur von $X$ abhängt. So kann $Z$ während des Trainings genutzt werden, um eine robuste Menge $C(X)$ zu lernen, die auch dann gültig ist, wenn $Z$ im Test nicht verfügbar ist.
Implementierung: Da der Indikator $\mathbb{1}\{Y \notin C(X)\}$ nicht differenzierbar ist, wird er durch eine glatte Surrogatfunktion (z. B. Sigmoid oder Error Function) ersetzt, um Gradienten-basierte Optimierung (z. B. SGD) zu ermöglichen.

3. Wichtige Beiträge

Verallgemeinerung der Conditional Calibration: MOPI erweitert das Prinzip von Gibbs et al. (2025), indem es die Geometrie der Vorhersagemenge dynamisch an die lokale Datendichte anpasst (Shape-Adaptivity). Im Gegensatz zu vorherigen Ansätzen ist $Z$ nicht notwendigerweise eine Teilmenge von $X$ , was die Behandlung maskierter sensibler Attribute ermöglicht.
Statistische Interpretation und Theoretische Garantien:
- Es wird gezeigt, dass das Minimax-Ziel äquivalent zur Minimierung des MSCE ist, sofern die Gewichtsfunktionklasse $\mathcal{F}$ ausdrucksstark genug ist.
- Es werden nicht-asymptotische Oracle-Ungleichungen hergeleitet.
- Die Konvergenzraten des MSCE werden für endliche Dimensionen und RKHS (Reproducing Kernel Hilbert Spaces) bestimmt und erreichen unter regulären Bedingungen die optimale Ordnung (bis auf logarithmische Faktoren).
Praktische Leitlinie für $\mathcal{F}$ : Je nach Kardinalität von $Z$ wird empfohlen, parametrische Klassen (für diskrete $Z$ ) oder RKHS (für kontinuierliche $Z$ ) zu wählen. Dies führt zu geschlossenen Formen für die innere Maximierung, was die Berechnung effizient macht.
Umfassende Evaluation: Die Methode wurde auf synthetischen Daten (multivariate Labels, heteroskedastische Verteilungen) und realen Datensätzen (Haushaltsausgaben, Kriminalitätsdaten, medizinische Versicherungen, FashionMNIST) getestet.

4. Ergebnisse

Die empirischen Ergebnisse zeigen, dass MOPI bestehenden Baselines (Split Conformal Prediction, Conditional Calibration, Randomized Localized CP) überlegen ist:

Effizienz: MOPI erzeugt deutlich kompaktere Vorhersagemengen (kleineres Volumen), während es die Abdeckungsgarantien einhält. Dies liegt daran, dass es die Form (z. B. Rotation und Skalierung von Ellipsen) anpasst, statt nur den Volumen-Schwellenwert zu ändern.
Bedingte Abdeckung: MOPI erreicht eine bessere bedingte Abdeckung über verschiedene Subgruppen und lokale Regionen hinweg.
Maskierte Attribute: In Szenarien, in denen sensible Attribute ( $Z$ ) nur während der Kalibrierung bekannt sind, scheitern Baselines oft an der Gleichverteilung der Abdeckung (Equalized Coverage). MOPI nutzt die Informationen aus $Z$ effektiv, um eine faire und robuste Menge zu lernen, die auch ohne $Z$ funktioniert.
Robustheit: Die Methode ist robust gegenüber der Wahl des Glättungsparameters $r$ und zeigt stabile Leistung in verschiedenen Dimensions- und Verteilungsszenarien.

5. Bedeutung und Fazit

Dieses Paper adressiert eine der größten Lücken in der konformen Vorhersage: die Balance zwischen effizienten (kleinen) Mengen und strikter bedingter Gültigkeit, insbesondere bei komplexen, mehrdimensionalen Daten und fairen KI-Anforderungen.

Theoretischer Fortschritt: Die Verbindung von Minimax-Optimierung mit konformer Vorhersage bietet einen neuen theoretischen Rahmen, der über die reine Quantilregression hinausgeht.
Praktische Relevanz: MOPI ist besonders wertvoll für Anwendungen mit hohen Risiken (z. B. Medizin, autonomes Fahren), wo nicht nur die durchschnittliche, sondern die garantierte Zuverlässigkeit für jede Untergruppe entscheidend ist.
Fairness: Die Fähigkeit, bedingte Abdeckung für sensible Attribute zu erzwingen, auch wenn diese im Test nicht verfügbar sind, ist ein wichtiger Schritt hin zu algorithmischer Fairness in Unsicherheitsquantifizierung.

Zusammenfassend stellt MOPI einen Paradigmenwechsel dar: weg von der reinen Kalibrierung fester Scores hin zur optimierten Formgebung von Vorhersagemengen unter Berücksichtigung komplexer Bedingungsstrukturen.