Regularized estimation of Monge-Kantorovich quantiles for spherical data

Sintesi Tecnica: Stima Regolarizzata dei Quantili di Monge-Kantorovich per Dati Sferici

Enunciato del Problema
I dati direzionali, osservati come punti sulla $d$-sfera unitaria $S^{d-1}$, mancano di un ordinamento canonico, rendendo la definizione di quantili statistici più complessa rispetto allo spazio euclideo. Recenti approcci non parametrici utilizzano la teoria del Trasporto Ottimale (OT) per definire i quantili di Monge-Kantorovich (MK). Nello specifico, per i dati direzionali, viene costruita una funzione quantile empirica $Q_n$ risolvendo un problema di OT tra una distribuzione uniforme sulla sfera e la misura empirica dei dati.

Tuttove, gli esistenti stimatori basati su OT per i dati direzionali soffrono di due limitazioni primarie:

1. Mancanza di Capacità Out-of-Sample: L'appaiamento empirico tra due distribuzioni discrete (i dati e una griglia regolare) produce una funzione costante a tratti limitata all'insieme delle osservazioni. Non può fornire stime per nuovi dati non osservati ($X_{new}$), il che è essenziale per applicazioni come la classificazione basata sulla profondità o la misurazione della dispersione.
2. Complessità Computazionale: Risolvere problemi di OT discreti tipicamente scala con una potenza cubica rispetto al numero di osservazioni, ostacolando la scalabilità.

Metodologia
Gli autori propongono un framework per la stima regolarizzata dei quantili MK direzionali utilizzando il Trasporto Ottimo Entropico (EOT) sulla 2-sfera ($S^2$). La metodologia procede come segue:

1. Regolarizzazione Entropica: Invece di risolvere il problema discreto di Monge, gli autori formulano un problema di OT continuo tra la misura uniforme $\mu_{S^2}$ e la misura target $\nu$. Introducono un termine di regolarizzazione entropica con parametro $\varepsilon > 0$. Questo trasforma il problema in un'ottimizzazione semi-duale su una singola funzione potenziale $u$, definita come:
   $$\max_{u \in L^\infty(S^2)} \int_{S^2} u(x) d\mu_{S^2}(x) + \int_{S^2} u^{c,\varepsilon}(y) d\nu(y)$$
   dove $u^{c,\varepsilon}$ è la coniugata regolare di $u$.

2. Parametrizzazione Spettrale: Per risolvere questo problema a dimensione infinita, il potenziale $u$ è parametrizzato utilizzando gli armonici sferici. La funzione è espansa come una serie di coefficienti $\bar{u} = (\bar{u}^m_l)$. Gli autori dimostrano che, per il caso regolarizzato, il potenziale è due volte continuamente differenziabile, garantendo che la serie degli armonici sferici appartenga a $\ell^1$.

3. Algoritmo Stocastico: Viene sviluppato un algoritmo di discesa del gradiente stocastico per ottimizzare i coefficienti degli armonici sferici.

   • Input: Una sequenza di osservazioni i.i.d. $X_1, \dots, X_n$ da $\nu$.
   • Meccanismo: Ad ogni iterazione, l'algoritmo aggiorna i coefficienti utilizzando il gradiente della funzione obiettivo rispetto a un singolo campione.
   • Efficienza: L'algoritmo sfrutta la Trasformata Rapida di Fourier (FFT) sulla sfera (tramite la libreria pyshtools) per calcolare le integrali e le trasformazioni necessarie. Il costo computazionale per iterazione è $O(p^2 \log^2 p)$, dove $p$ è la dimensione della griglia, migliorando significativamente la complessità cubica dei solutori di OT discreti.
   • Apprendimento Online: L'algoritmo opera in modalità online, elaborando i dati sequenzialmente senza richiedere l'archiviazione di una matrice di costo completa $n \times n$.

4. Funzioni Quantile e di Distribuzione Regolarizzate:

   • Una volta stimata la potenziale ottimale $u_\varepsilon$, la funzione quantile regolarizzata $Q_\varepsilon$ e la funzione di distribuzione $F_\varepsilon$ vengono derivate.
   • A differenza del caso non regolarizzato, queste funzioni sono lisce e definite tramite espressioni in forma chiusa che coinvolgono medie pesate nello spazio tangente (proiezioni baricentriche).
   • Nello specifico, $Q_\varepsilon(x) = \text{Exp}_x \left( \int \text{Log}_x(z) \exp(\dots) d\nu(z) \right)$, permettendo la valutazione diretta in qualsiasi punto $x \in S^2$.

5. Profondità Statistica Direzionale: Il documento definisce una Profondità MK Direzionale basata sulla prossimità della funzione di distribuzione $F(x)$ alla mediana di Fréchet. Questa misura di profondità soddisfa versioni adattate degli assiomi di Liu-Zuo-Serfling, inclusa l'invarianza rotazionale e la monotonicità lungo le curve di segno.

Contributi Chiave

• Estensione delle Mappe Entropiche: Gli autori estendono il concetto di mappa entropica (precedentemente definito per spazi euclidei) all'ambiente non euclideo della sfera, fornendo uno stimatore liscio e regolarizzato per i quantili MK.
• Stima Out-of-Sample: La funzione quantile regolarizzata proposta $Q_\varepsilon$ permette di stimare i quantili per nuove osservazioni, una capacità assente nei precedenti metodi basati su OT discreto.
• Algoritmo Spettrale Stocastico: Viene introdotto un nuovo algoritmo stocastico che risolve problemi di OT continui su $S^2$ espandendo i potenziali in armonici sferici, utilizzando la FFT per l'efficienza computazionale.
• Definizione di Profondità Direzionale: Viene introdotta una nuova nozione di profondità statistica MK direzionale, che eredita proprietà desiderabili dalla profondità MK euclidea e soddisfa gli assiomi rilevanti per la statistica direzionale.

Risultati e Rivendicazioni

• Proprietà Teoriche: Il documento stabilisce che i potenziali regolarizzati sono due volte continuamente differenziabili, garantendo che le funzioni quantile e di distribuzione risultanti siano lisce. Dimostra che, per $\varepsilon \to 0$, i potenziali regolarizzati convergono uniformemente ai potenziali di Kantorovich non regolarizzati.
• Efficienza Computazionale: L'algoritmo stocastico evita la complessità $O(n^3)$ dell'OT discreto, riducendo il costo per iterazione a $O(p^2 \log^2 p)$, rendendolo adatto a grandi dataset e scenari di apprendimento online.
• Utilità Statistica: La metodologia consente la classificazione basata sulla profondità e le misurazioni della dispersione fornendo mappature continue e differenziabili. Il documento illustra questi benefici attraverso esperimenti numerici (dettagliati nella Sezione 6 del paper completo), mostrando come l'approccio regolarizzato fornisca contorni più lisci e migliori prestazioni out-of-sample rispetto agli stimatori discreti non regolarizzati.

Significato
Il documento rivendica che la sua importanza primaria risieda nel colmare il divario tra i quantili teorici basati su OT e le applicazioni pratiche per i dati direzionali. Introducendo la regolarizzazione entropica e un solutore spettrale stocastico, gli autori forniscono un metodo computazionalmente trattabile che supera il limite "out-of-sample" dei precedenti approcci discreti. Ciò consente l'applicazione dei quantili MK e delle misure di profondità a problemi del mondo reale che coinvolgono dati direzionali, come la classificazione e la misurazione del rischio, dove la fluidità e la capacità di valutare nuovi punti dati sono mandatorie. Il lavoro contribuisce inoltre al campo più ampio dell'OT su varietà fornendo una formulazione esplicita e trattabile per la sfera.