Geometry-Aware Uncertainty Quantification via Conformal Prediction on Manifolds

Sintesi Tecnica: Quantificazione dell'Incertezza Sensibile alla Geometria tramite Conformal Prediction su Manifold

Enunciato del Problema
La predizione conforme (Conformal Prediction, CP) fornisce garanzie di copertura con campioni finiti e indipendenti dalla distribuzione per compiti di regressione. Tuttavia, le costruzioni standard della CP sono progettate per spazi di output euclidei, utilizzando residui euclidei e regioni basate su coordinate. Quando la variabile risposta $Y$ risiede su un manifold di Riemann (ad esempio, la sfera unitaria $S^2$ per le direzioni geomagnetiche, il toro per gli angoli proteici o i gruppi di rotazione per l'orientamento dei veicoli spaziali), questi approcci standard falliscono nel rispettare la geometria intrinseca dello spazio di risposta.

Due problemi primari emergono in questo contesto:

1. Disallineamento Geometrico: I residui standard spesso si basano su distanze basate su coordinate (ad esempio, latitudine/longitudine). Su spazi curvi, queste distanze dipendono dalla carta scelta piuttosto che dalla discrepanza intrinseca tra le risposte. Ad esempio, un rettangolo di larghezza fissa in coordinate ha un'area che varia con la latitudine (restringendosi vicino ai poli), mentre un cappuccio geodesico di raggio intrinseco fisso mantiene un'area costante indipendentemente dalla posizione.
2. Eteroschedasticità: La difficoltà di predizione raramente è costante attraverso lo spazio di input. In compiti come la previsione geomagnetica, i tassi di variazione secolare differiscono significativamente per regione. Un set di predizione a larghezza costante tende a sovra-coprire le regioni "facili" e a sotto-coprire le regioni "difficili". Mentre la regressione euclidea affronta questo problema normalizzando i residui con stime della difficoltà locale, i metodi esistenti di CP per valori su manifold non hanno esplicitamente adattato questo concetto alla geometria intrinca.

Metodologia
Gli autori propongono la Adaptive Geodesic Conformal Prediction, un framework che integra la geometria intrinseca con l'adattività locale all'interno del setting di split-conformal prediction.

• Setup: I dati sono suddivisi in un set di addestramento ($D_{tr}$), un set di calibrazione ($D_{cal}$) e un set di test. Un predittore di punto base $\hat{y}: \mathcal{X} \to \mathcal{M}$ e un estimatore di difficoltà $\hat{\sigma}: \mathcal{X} \to \mathbb{R}^+$ vengono addestrati utilizzando solo $D_{tr}$.
• Score di Nonconformità: Il metodo confronta tre strategie di scoring:
  1. Naive Coordinate: Utilizza la distanza $L_\infty$ nelle coordinate sferiche, producendo rettangoli allineati agli assi.
  2. Standard Geodesic: Utilizza la distanza geodesica non normalizzata $s_{geo}(x, y) = d_{geo}(\hat{y}(x), y)$, producendo sfere geodesiche a raggio costante (cappucci sferici).
  3. Adaptive Geodesic (Proposto): Definisce lo score come $s_{adapt}(x, y) = d_{geo}(\hat{y}(x), y) / \hat{\sigma}(x)$.
• Stima della Difficoltà: L'estimatore $\hat{\sigma}(x)$ viene addestrato tramite cross-validazione a 5 pieghe su $D_{tr}$ per predire i residui geodesici del modello base. Viene addestrato senza accesso alle etichette di calibrazione per garantire la validità delle garanzie conformi.
• Regione di Predizione: Per un punto di test $x$, il set di predizione è una sfera geodesica centrata in $\hat{y}(x)$ con un raggio determinato dal quantile conforme $\hat{q}_\alpha$ scalato dalla difficoltà locale: $C(x) = B_{geo}(\hat{y}(x), \hat{q}_\alpha \cdot \hat{\sigma}(x))$. Ciò consente alla dimensione della regione di espandersi nelle aree difficili e contrarsi in quelle facili, mantenendo la forma di un cappuccio geodesico.

Contributi Chiave

1. Regioni Sensibili alla Geometria: Il metodo costruisce set di predizione utilizzando distanze geodesiche, garantendo che l'area delle regioni (ad esempio, i cappucci sferici) sia indipendente dalla posizione, rispettando così la geometria intrinseca del manifold.
2. Calibrazione Localmente Adattiva: Scalando i residui con una stima della difficoltà dipendente dalle covariate, addestrata esclusivamente sui dati di addestramento corretti, il metodo adatta le dimensioni delle regioni alla difficoltà di predizione locale senza utilizzare le etichette di calibrazione per l'addestramento del modello.
3. Validazione Empirica: Il metodo è validato su dati sferici sintetici e su un compito di previsione del campo geomagnetico IGRF-14, dimostrando miglioramenti nella uniformità della copertura condizionale e nella copertura del caso peggiore, preservando al contempo le garanzie di copertura marginale.

Risultati Sperimentali
Il paper valuta il metodo su due benchmark: una sfera sintetica con rumore eteroschedastico e il compito di previsione del campo geomagnetico IGRF-14.

• Sfera Sintetica ($S^2$):
  • Tutti i metodi hanno raggiunto una copertura marginale valida vicino al livello nominale dello 0.90.
  • Il metodo Adaptive Geodesic ha ridotto la deviazione standard della copertura condizionale del 19% rispetto al metodo Standard Geodesic.
  • La copertura del bin peggiore è migliorata da 0.814 (Standard) a 0.839 (Adaptive).
  • Il metodo Naive Coordinate ha richiesto circa il 26% di area in più rispetto ai metodi geodesici per raggiungere una copertura simile, evidenziando il costo della distorsione delle coordinate.
• Previsione Geomagnetica IGRF-14:
  • Il compito consisteva nel predire i vettori del campo geomagnetico su $S^2$ attraverso 352 località con una variazione secolare naturalmente eteroschedastica (con una differenza di difficoltà di 274 volte).
  • L'estimatore di difficoltà ha mostrato una correlazione di Pearson $r=0.516$ con i residui effettivi.
  • Il metodo Adaptive Geodesic ha ridotto la deviazione standard della copertura condizionale del 71% (0.031 rispetto a 0.107 per lo Standard Geodesic).
  • La copertura del bin peggiore è aumentata significativamente da 0.689 (Standard) a 0.855 (Adaptive).
  • È stato osservato che il metodo Standard Geodesic tendeva a sotto-coprire le regioni equatoriali dove l'evoluzione del campo è più rapida, mentre il metodo adattivo ha mantenuto una copertura più vicina al target nominale attraverso le latitudini.

Significatività e Rivendicazioni
Il paper sostiene che il metodo proposto offra una soluzione pratica per la quantificazione dell'incertezza nella regressione su manifold. La significatività risiede nella combinazione di due scelte complementari:

1. Adattività: La scalatura tramite $\hat{\sigma}(x)$ rende gli score di conformità confrontabili tra regioni di diversa difficoltà.
2. Geometria: L'uso di cappucci geodesici assicura che l'area del set di predizione sia coerente con il metric del manifold, evitando le distorsioni inerenti agli approcci basati su coordinate.

Gli autori notano che l'efficacia del metodo adattivo correla con la qualità dell'estimatore di difficoltà. Nell'esperimento IGRF-14, una correlazione di $r=0.516$ ha prodotto miglioramenti sostanziali. Suggeriscono che se la correlazione tra la difficoltà stimata e l'errore effettivo è debole (ad esempio, al di sotto di 0.15), il metodo Standard Geodesic potrebbe essere preferibile. Il lavoro non pretende di risolvere tutti i problemi di regressione su manifold, ma fornisce un framework robusto per i casi in cui lo spazio di risposta è curvo e la difficoltà di predizione varia spazialmente. Le direzioni future menzionate includono l'estensione del framework a dati non scambiabili e l'esplorazione di regioni anisotrope per l'incertezza dipendente dalla direzione.