Technisches Resümee: Multi-Distribution Robust Conformal Prediction

Problemstellung

Die Arbeit adressiert die Herausforderung, Vorhersagesets zu konstruieren, die Abdeckungsgarantien aufrechterhalten, wenn Testdaten aus einem beliebigen Mitglied oder einer Mischung aus $K$ heterogenen Quellverteilungen stammen können. In vielen realen Szenarien – wie etwa der klinischen Risikoprädiktion über verschiedene Krankenhäuser hinweg, Fairness gegenüber geschützten Gruppen ohne Beobachtung von Gruppenlabels oder Multi-Source-Learning – ist die Testverteilung unbekannt und kann signifikant von der Trainingsverteilung abweichen.

Standardmäßige Conformal Prediction, wenn sie auf gepoolten Daten kalibriert wird, garantiert lediglich die Abdeckung für die spezifische Mischverteilung, die durch die Trainingsstichprobe induziert wurde. Umgekehrt versagt eine Kalibrierung auf einer einzelnen Quelle, wenn der Testpunkt aus einer anderen Quelle stammt. Die Autoren formalisieren das Ziel als Konstruktion eines einzelnen Vorhersagesets $\hat{C}(X_{n+1})$, das eine gleichmäßige Abdeckung (uniform coverage) erreicht:
$$\min_{k \in [K]} \mathbb{P}_{D \times P^{(k)}} \left( Y_{n+1} \in \hat{C}(X_{n+1}) \right) \ge 1 - \alpha$$
Dies stellt sicher, dass die Abdeckungsgarantie simultan für alle möglichen Quellverteilungen gilt, unabhängig davon, welche davon den Testpunkt generiert hat.

Methodik: Multi-Distribution Conformal Prediction (MDCP)

Das vorgeschlagene Framework, MDCP, besteht aus zwei Hauptkomponenten: einem Validitätsmechanismus und einer Effizienzoptimierungsstrategie.

1. Max-p Aggregation für die Validität

Die Grundlage der Methode ist ein distributionsfreies Aggregationsschema.

• Single-Source P-Werte: Für jede Quelle $k$ wird ein Konformitätswert $s_k$ berechnet. Ein Conformal P-Wert $p^{(k)}(y)$ wird für einen Kandidaten-Label $y$ basierend auf dem Kalibrierungs-Fold der Quelle $k$ abgeleitet.
• Aggregation: Die Methode aggregiert diese P-Werte durch Bildung ihres Maximums: $p(y) = \max_{k \in [K]} p^{(k)}(y)$.
• Vorhersageset: Das finale Vorhersageset ist die Menge der Labels, deren aggregierter P-Wert das Signifikanzniveau $\alpha$ überschreitet: $\hat{C}(X) = \{ y : p(y) \ge \alpha \}$.
• Theoretische Garantie: Die Autoren beweisen, dass dieses aggregierte Set exakt die Vereinigung der Single-Source Conformal Sets ist. Folglich bietet es endliche Stichproben-Garantie für gleichmäßige Validität (finite-sample uniform validity) für jede Mischung der Quellverteilungen, ohne dass die Quelle des Testpunkts bekannt sein muss.

2. Effizienzoptimierung via Dualer Formulierung

Während die Max-p Aggregation die Validität sicherstellt, führt die naive Anwendung auf Standard-Single-Source-Scores oft zu übermäßig konservativen (großen) Vorhersagesets. Um dies zu adressieren, leitet die Arbeit das auf Populationsebene optimale Vorhersageset ab, welches die Größe unter gleichmäßigen Abdeckungsbeschränkungen minimiert.

• Optimaler Score: Die Autoren zeigen, dass das optimale Vorhersageset dem Superlevel-Set eines „gemeinsamen“ Konformitätsscores $h^*(x, y) = \sum_{k=1}^K \lambda_k^*(x) f_k(y|x)$ entspricht, wobei $f_k$ die bedingte Dichte der Quelle $k$ ist und $\lambda_k^*(x)$ nicht-negative duale Gewichte sind.
• Lernen der Gewichte: Die Gewichte $\lambda_k^*(x)$ werden durch das Lösen eines dualen Optimierungsproblems bestimmt, das die Abdeckungsbeschränkungen über die Quellen hinweg ausbalanciert.
• Empirischer Algorithmus: Die Arbeit schlägt ein End-to-End-Verfahren vor, um diese Gewichte zu lernen:
  1. Fit von bedingten Dichtemodellen (oder Klassifikatoren) für jede Quelle sowie ein gepooltes Modell.
  2. Parametrisierung der Gewichtfunktionen $\lambda_k(x)$ (z. B. mittels Splines oder neuronaler Netze).
  3. Optimierung eines empirischen dualen Objekts (abgeleitet aus dem Lagrangian des Populationsproblems), um die Parameter $\hat{\Theta}$ zu lernen.
  4. Konstruktion des finalen MDCP-Sets unter Verwendung der gelernten Scores und der Max-p Aggregation.

Zentrale Beiträge

1. Generelles Max-p Aggregationsschema: Einführung eines einfachen, distributionsfreien Mechanismus, der durch Aggregation von Single-Source Conformal P-Werten eine endliche Stichproben-Garantie für gleichmäßige Abdeckung über mehrere heterogene Quellen hinweg erreicht.
2. Charakterisierung der Optimalität: Theoretische Ableitung der optimalen Vorhersagesets unter gleichmäßigen Abdeckungsbeschränkungen. Die Autoren beweisen, dass die Max-p Aggregation asymptotisch optimal und eng gefasst (tight) ist, wenn sie mit den korrekt gelernten Konformitätsscores (speziell dem optimalen gemeinsamen Score $h^*$) kombiniert wird.
3. End-to-End Algorithmus: Eine praktische Pipeline zum Lernen der optimalen Konformitätsscores sowohl für Klassifikations- als höchstwahrscheinlich Regressionsaufgaben, unter Verwendung von Empirical Risk Minimization auf einem dualen Zielobjekt.
4. Empirische Validierung: Umfangreiche Experimente, die zeigen, dass MDCP eine enge Worst-Case-Abdeckung erreicht und gleichzeitig die Größen der Vorhersagesets im Vergleich zu naiven Aggregations-Baselines signifikant reduziert.

Ergebnisse

Die Arbeit evaluiert MDCP an synthetischen Daten und drei realen Datensätzen:

• Synthetische Experimente: Über lineare, nichtlineare und Settings mit variierender Temperatur (Heterogenität) hinweg, sowohl für Klassifikation als auch für Regression, hält MDCP konsistent eine Worst-Case-Abdeckung nahe dem Nominalwert ($1-\alpha$). Im Gegensatz dazu leiden Single-Source-Baselines unter Unterabdeckung bei verschobenen Daten, und die naive Aggregation (BASELINE-AGG) ist übermäßig konservativ. MDCP reduziert die Vorhersageset-Größen im Vergleich zur naiven Aggregation um etwa 34 % in der Klassifikation und 22 % in der Regression und nähert sich oft der Effizienz eines Oracles an, das Zugriff auf die wahren Dichten hat.
• Reale Anwendungen:
  • FMoW (Satellitenbilder): Demonstriert Robustheit gegenüber geografischen Verschiebungen über sechs Regionen hinweg. MDCP bietet eine valide Abdeckung über alle Regionen mit Set-Größen, die kleiner als einige Single-Source-Sets sind.
  • PovertyMap: Adressiert Urban-Rural-Shifts. MDCP hält eine enge Abdeckung dort aufrecht, wo Single-Source-Methoden versagen (Abdeckung so niedrig wie 0,6) und naive Aggregation zu weit ist.
  • MEPS (Medizinische Ausgaben): Handhabt Heterogenität über sensible Gruppen (Rasse) hinweg, ohne dass bei der Inferenz Gruppenlabels benötigt werden. MDCP erreicht eine egalisierte Abdeckung und kürzere Intervalle im Vergleich zu Baselines.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass MDCP eine robuste Lösung für die Quantifizierung von Unsicherheit in heterogenen Umgebungen bietet und die Lücke zwischen distributional robustness und Fairness schließt.

• Fairness ohne geschützte Attribute: Die Methode ermöglicht Gruppen-bedingte Abdeckungsgarantien (Sicherstellung der Zuverlässigkeit für alle Subgruppen), ohne das sensible Gruppenattribut zur Inferenzzeit beobachten zu müssen, was eine kritische Einschränkung im fairen maschinellen Lernen adressiert.
• Schutz gegen Subpopulations-Shifts: Sie bietet Garantien gegen beliebige Subpopulations-Shifts und stellt die Zuverlässigkeit sicher, selbst wenn die Testverteilung eine Mischung aus Quellen ist, die sich vom Trainings-Mix unterscheidet.
• Effizienz-Validitäts-Trade-off: Die Arbeit zeigt, dass es möglich ist, gleichmäßige Validität zu erreichen, ohne die schweren Effizienz-Einbußen, die typischerweise mit Worst-Case-Robustheit assoziiert sind, in Kauf nehmen zu müssen, sofern man einen geeigneten gemeinsamen Konformitätsscore lernt.

Die Autoren positionieren MDCP als praktische Alternative zur Standard-Conformal-Prediction in Multi-Source-Settings, die exakte endliche Stichproben-Garantien und asymptotische Optimalität unter milden Konsistenzbedingungen bietet.