Geometry-Aware Uncertainty Quantification via Conformal Prediction on Manifolds

Technische Zusammenfassung: Geometriebewusste Unsicherheitsquantifizierung mittels Conformal Prediction auf Mannigfaltigkeiten

Problemstellung
Conformal Prediction (CP) bietet endliche Stichproben- und distributionsfreie Abdeckungsgarantien für Regressionsaufgaben. Herkömmliche CP-Konstruktionen sind jedoch für euklidische Output-Räume konzipiert und nutzen euklidische Residuen sowie koordinatenbasierte Regionen. Wenn die Antwortvariable $Y$ auf einer Riemannschen Mannigfaltigkeit liegt (z. B. der Einheitssphäre $S^2$ für geomagnetische Richtungen, dem Torus für Proteinkonformationen oder Rotationsgruppen für die Orientierung von Raumfahrzeugen), versagen diese Standardansätze, da sie die intrinsische Geometrie des Antwortraums nicht berücksichtigen.

Es ergeben sich zwei primäre Probleme in diesem Kontext:

1. Geometrische Diskrepanz: Standard-Residuen basieren oft auf koordinatenbasierten Distanzen (z. B. Breitengrad/Längengrad). Auf gekrümmten Räumen hängen diese Distanzen eher von der gewählten Chart ab als von der intrinsischen Diskrepanz zwischen den Antworten. Beispielsweise hat ein fester Koordinaten-Rechteck auf einer Sphäre eine variierende Fläche (sie schrumpft in der Nähe der Pole), während eine geodätische Kappe mit festem intrinsischem Radius unabhängig vom Ort eine konstante Fläche beibehält.
2. Heteroskedastizität: Die Vorhersageschwierigkeit ist selten über den Eingangsraum hinweg konstant. Bei Aufgaben wie der geomagnetischen Vorhersage unterscheiden sich die Raten der säkularen Variation signifikant je nach Region. Ein Vorhersagesatz mit konstanter Breite neigt dazu, „einfache“ Regionen zu überdecken und „schwierige“ Regionen zu unterdecken. Während die euklidische Regression dies durch die Normalisierung von Residuen mittels lokaler Schätzungen der Schwierigkeit adressiert, haben bestehende Methoden für mannigfaltigkeitswertige CP dieses Konzept der intrinsischen Geometrie bisher nicht explizit angepasst.

Methodik
Die Autoren schlagen Adaptive Geodesic Conformal Prediction vor, ein Framework, das intrinsische Geometrie mit lokaler Adaptivität innerhalb des Split-Conformal-Prediction-Settings integriert.

• Setup: Die Daten werden in einen Trainingssatz ($D_{tr}$), einen Kalibrierungssatz ($D_{cal}$) und einen Testsatz aufgeteilt. Ein Basispunkt-Prädiktor $\hat{y}: \mathcal{X} \to \mathcal{M}$ und ein Schwierigkeitsschätzer $\hat{\sigma}: \mathcal{X} \to \mathbb{R}^+$ werden ausschließlich unter Verwendung von $D_{tr}$ trainiert.
• Nichtkonformitäts-Scores: Die Methode vergleicht drei Scoring-Strategien:
  1. Naive Koordinaten: Verwendet die $L_\infty$-Distanz in sphärischen Koordinaten, was achsenparallele Rechtecke erzeugt.
  2. Standard Geodätisch: Verwendet die unnormierte geodätische Distanz $s_{geo}(x, y) = d_{geo}(\hat{y}(x), y)$, was konstante Radius-geodätische Kugeln (sphärische Kappen) erzeugt.
  3. Adaptiv Geodätisch (Vorgeschlagen): Definiert den Score als $s_{adapt}(x, y) = d_{geo}(\hat{y}(x), y) / \hat{\sigma}(x)$.
• Schwierigkeitsschätzung: Der Schätzer $\hat{\sigma}(x)$ wird mittels 5-facher Kreuzvalidierung auf $D_{tr}$ trainiert, um die geodätischen Residuen des Basismodells vorherzusagen. Er wird ohne Zugriff auf Kalibrierungs-Labels trainiert, um die validen Conformal-Garantien sicherzustellen.
• Vorhersageregion: Für einen Testpunkt $x$ ist der Vorhersagesatz eine geodätische Kugel zentriert um $\hat{y}(x)$ mit einem Radius, der durch das Conformal-Quantil $\hat{q}_\alpha$ skaliert durch die lokale Schwierigkeit bestimmt wird: $C(x) = B_{geo}(\hat{y}(x), \hat{q}_\alpha \cdot \hat{\sigma}(x))$. Dies ermöglicht es der Region, sich in schwierigen Bereichen zu vergrößern und in einfachen Bereichen zu verkleinern, während sie die Form einer geodätischen Kappe beibehält.

Wesentliche Beiträge

1. Geometriebewusste Regionen: Die Methode konstruiert Vorhersagesätze unter Verwendung geodätischer Distanzen und stellt sicher, dass die Fläche der Vorhersagesätze (z. B. geodätische Kappen) positionsunabhängig ist, wodurch die intrinsische Geometrie der Mannigfaltigkeit respektiert wird.
2. Lokal Adaptive Kalibrierung: Durch die Skalierung der Residuen mit einem kovariatenabhängigen Schwierigkeitsschätzer, der ausschließlich auf den korrekten Trainingsdaten trainiert wurde, passt sich die Größe der Regionen an die lokale Vorhersageschwierigkeit an, ohne dass Kalibrierungs-Labels für das Modelltraining verwendet werden.
3. Empirische Validierung: Der Ansatz wird auf synthetischen Sphären-Daten und einer realen Aufgabe der geomagnetischen Vorhersage (IGRF-14) validiert, wobei Verbesserungen bei der Uniformität der bedingten Abdeckung und der Worst-Case-Abdeckung unter Wahrung der marginalen Abdeckungsgarantien nachgewiesen werden.

Experimentelle Ergebnisse
Die Arbeit evaluiert die Methode anhand zweier Benchmarks: einer synthetischen Sphäre mit heteroskedastischem Rauschen und der IGRF-14 geomagnetischen Feldvorhersageaufgabe.

• Synthetische Sphäre ($S^2$):
  • Alle Methoden erreichten eine valide marginale Abdeckung nahe dem nominalen Niveau von 0,90.
  • Die Adaptive Geodätische Methode reduzierte die Standardabweichung der bedingten Abdeckung um 19 % im Vergleich zur Standard Geodätischen Methode.
  • Die Worst-Bin-Abdeckung verbesserte sich von 0,814 (Standard) auf 0,839 (Adaptiv).
  • Die Naive Koordinaten-Methode benötigte etwa 26 % mehr Fläche als die geodätischen Methoden, um eine ähnliche Abdeckung zu erreichen, was die Kosten der Koordinatendistorsion verdeutlicht.
• IGRF-14 Geomagnetische Vorhersage:
  • Die Aufgabe bestand darin, geomagnetische Feldvektoren auf $S^2$ über 352 Standorte hinweg vorherzusagen, mit natürlich heteroskedastischer säkularer Variation (die in der Schwierigkeit um das 274-Fache variiert).
  • Der Schwierigkeitsschätzer zeigte eine Pearson-Korrelation von $r=0,516$ mit den tatsächlichen Residuen.
  • Die Adaptive Geodätische Methode reduzierte die Standardabweichung der bedingten Abdeckung um 71 % (0,031 gegenüber 0,107 für die Standard Geodätische Methode).
  • Die Worst-Bin-Abdeckung stieg signifikant von 0,689 (Standard) auf 0,855 (Adaptiv).
  • Es wurde festgestellt, dass die Standard Geodätische Methode Äquatorregionen, in denen die Feldentwicklung am schnellsten erfolgt, unterdeckt, während die adaptive Methode die Abdeckung über alle Breitengrade hinweg näher am nominalen Zielwert hält.

Bedeutung und Ansprüche
Das Paper behauptet, dass die vorgeschlagene Methode eine praktische Lösung für die Unsicherheitsquantifizierung in mannigfaltigkeitswertigen Regressionen bietet. Die Bedeutung liegt in der Kombination zweier komplementärer Entscheidungen:

1. Adaptivität: Die Skalierung durch $\hat{\sigma}(x)$ macht die Konformitäts-Scores über Regionen unterschiedlicher Schwierigkeit hinweg vergleichbar.
2. Geometrie: Die Verwendung geodätischer Kappen stellt sicher, dass die Fläche der Vorhersagesätze konsistent mit der Metrik der Mannigfaltigkeit ist und die der koordinatenbasierten Ansätze inhärenten Verzerrungen vermeidet.

Die Autoren merken an, dass die Effektivität der adaptiven Methode mit der Qualität des Schwierigkeitsschätzers korreliert. In dem IGRF-14 Experiment lieferte eine Korrelation von $r=0,516$ erhebliche Verbesserungen. Sie legen nahe, dass, falls die Korrelation zwischen der geschätzten Schwierigkeit und dem tatsächlichen Fehler schwach ist (z. B. unter 0,15), die Standard Geodätische Methode bevorzugt werden sollte. Die Arbeit beansprucht nicht, alle Mannigfaltigkeits-Regressionsprobleme zu lösen, bietet aber ein robustes Framework für Fälle, in denen der Antwortraum gekrümmt ist und die Vorhersageschwierigkeit räumlich variiert. Zukünftige Richtungen umfassen die Erweiterung des Frameworks auf nicht-austauschbare Daten und die Untersuchung anisotroper Regionen für richtungsabhängige Unsicherheit.