Multiscaling in Wasserstein Spaces

Titolo: Multiscaling in Spazi di Wasserstein

1. Il Problema

Gli spazi di Wasserstein ($P_p(\mathbb{R}^d)$), che sono spazi metrici di misure di probabilità dotati di una struttura geometrica derivata dal trasporto ottimo, sono diventati fondamentali in campi come l'elaborazione delle immagini, l'apprendimento profondo e la biologia cellulare. Tuttavia, l'analisi multiscala (o multirisoluzione) all'interno di questi spazi rimane un'area largamente inesplorata.
Mentre strumenti come le wavelet e gli schemi di suddivisione (subdivision schemes) sono ben consolidati per i dati vettoriali euclidei o su varietà Riemanniane, non esisteva un framework generalizzato per analizzare sequenze di misure di probabilità (sia continue che discrete) che preservi la loro struttura geometrica intrinseca (geodetica). La sfida principale risiede nel definire operatori di "somma", "sottrazione" e "rifinimento" che siano coerenti con la geometria non lineare degli spazi di Wasserstein.

2. Metodologia

Gli autori propongono un nuovo framework di multiscaling basato sulla geometria intrinseca del trasporto ottimo. La metodologia si articola nei seguenti punti chiave:

• Operatori Binari ($\oplus$ e $\ominus$):
  Vengono introdotti due operatori che generalizzano l'addizione e la sottrazione scalari:

  • Sottrazione ($\nu \ominus \mu$): Restituisce un campo vettoriale (o una mappa) che rappresenta la differenza tra due misure, definita tramite la mappa di Monge $T^\nu_\mu$ che spinge $\mu$ su $\nu$. Formalmente, $\nu \ominus \mu = T^\nu_\mu - I$, dove $I$ è l'identità. Questo operatore mappa la differenza nello spazio tangente $Tan_\mu$.
  • Addizione ($\mu \oplus \psi$): Proietta un campo vettoriale $\psi$ dallo spazio tangente di $\mu$ allo spazio di Wasserstein, definendo una nuova misura come $\mu \oplus \psi = (I + \psi)_\# \mu$ (pushforward).
    Questi operatori sono ben definiti sia per misure assolutamente continue (dove la mappa di Monge è unica) che per misure discrete (dove si utilizza una matrice di accoppiamento ottimale).

• Operatore di Rifinimento (Subdivisione):
  Viene adattato uno schema di suddivisione elementare utilizzando gli interpolanti di McCann. Dato una sequenza di misure $\{\mu_i\}$, l'operatore di suddivisione $S$ genera una sequenza più fitta mantenendo i punti originali e inserendo nuovi punti intermedi calcolati come medie geodetiche:
  $$(S\mu)_{2i+1} = M(\mu_i, \mu_{i+1}; 1/2)$$
  dove $M$ è l'operatore di media che segue la geodetica a velocità costante tra le due misure.

• Trasformata Multiscala:
  Il processo di analisi decompone una sequenza fine $\mu^{(J)}$ in una piramide composta da:

  1. Un'approssimazione grossolana $\mu^{(0)}$ (ottenuta tramite downsampling).
  2. Un insieme di coefficienti di dettaglio $\psi^{(\ell)}$, calcolati come la differenza tra la sequenza originale a livello $\ell$ e la predizione ottenuta applicando l'operatore di suddivisione all'approssimazione del livello precedente: $\psi^{(\ell)} = \mu^{(\ell)} \ominus S\mu^{(\ell-1)}$.
     La sintesi (ricostruzione) avviene invertendo il processo tramite l'operatore di addizione.

• Numero di Ottimalità (Optimality Number):
  Viene introdotto un nuovo scalare, $\omega$, che quantifica la deviazione di una sequenza di misure dal flusso geodetico ottimale. È definito come la somma delle norme dei coefficienti di dettaglio su tutte le scale:
  $$\omega(\mu^{(J)}) = \sum_{\ell=1}^J \|\psi^{(\ell)}\|_1$$
  Un valore di $\omega$ basso indica che la sequenza evolve lungo una geodetica (flusso ottimale), mentre valori alti rivelano dinamiche irregolari o anomalie.

3. Contributi Chiave

• Generalizzazione a Misure Continue e Discrete: Il framework è applicabile sia a misure assolutamente continue (risolvendo equazioni di Monge-Ampère) sia a misure discrete (risolvendo problemi di trasporto ottimo lineari), permettendo l'analisi di dati eterogenei.
• Garanzie Teoriche:
  • Decadimento Geometrico: Viene dimostrato che se una sequenza è campionata da una curva assolutamente continua con derivata metrica finita, i coefficienti di dettaglio decadono geometricamente con la scala.
  • Stabilità: Viene provata la stabilità della trasformata inversa, garantendo che piccole perturbazioni nei coefficienti di dettaglio portino a errori proporzionalmente piccoli nella ricostruzione.
• Strumento di Diagnosi: Il "Numero di Ottimalità" offre un nuovo strumento quantitativo per valutare la qualità e la regolarità di flussi di misure, utile per il rilevamento di anomalie.

4. Risultati Sperimentali

Gli autori validano il metodo attraverso tre esperimenti numerici distinti:

1. Flussi di Misure Gaussiane (Continuo):

   • Analisi di curve di distribuzioni gaussiane.
   • Denoising: Rimozione del rumore applicando una soglia ai coefficienti di dettaglio ad alta frequenza, ricostruendo una curva liscia.
   • Rilevamento di Anomalie: Identificazione di discontinuità (salti) nella varianza o nella media della distribuzione tramite picchi nei coefficienti di dettaglio.
   • Calcolo del numero di ottimalità per curve che si discostano dalla geodetica, mostrando un aumento proporzionale alla deviazione.

2. Dinamica di Nuvole di Punti (Discreto):

   • Simulazione dell'evoluzione di una nuvola di punti sotto l'influenza di un campo vettoriale elettrico (legge di Coulomb).
   • Dimostrazione che le traiettorie geodetiche (flusso regolare) producono coefficienti di dettaglio che decadono rapidamente, mentre l'aggiunta di rumore al campo vettoriale distrugge questo decadimento e aumenta il numero di ottimalità.

3. Traiettorie di Apprendimento delle Reti Neurali:

   • Analisi della distribuzione di probabilità delle previsioni di una rete neurale convolutiva (CNN) durante l'addestramento su MNIST.
   • La trasformata multiscala rivela che la dinamica di apprendimento segue un percorso liscio nello spazio delle misure (decadimento geometrico dei dettagli), mentre le fluttuazioni ad alta scala riflettono la stocasticità dell'ottimizzatore (Adam).
   • Il numero di ottimalità viene proposto come metrica potenziale per valutare l'efficienza dei modelli generativi (es. Flow Matching).

5. Significato e Impatto

Questo lavoro colma un vuoto teorico significativo estendendo l'analisi multiscala agli spazi di Wasserstein.

• Versatilità: Fornisce un linguaggio unificato per analizzare dati strutturati come misure di probabilità, indipendentemente dal fatto che siano continui o discreti.
• Interpretabilità Geometrica: A differenza di metodi puramente statistici, questo approccio sfrutta la geometria Riemanniana formale degli spazi di trasporto ottimo, offrendo interpretazioni fisiche e geometriche dei coefficienti di dettaglio.
• Applicazioni Pratiche: Apre nuove strade per il denoising di dati probabilistici, il rilevamento di anomalie in flussi temporali complessi e la diagnosi di modelli di deep learning, in particolare per la valutazione della qualità dei percorsi di generazione nei modelli generativi.

In sintesi, il paper stabilisce un ponte solido tra la teoria del trasporto ottimo e l'analisi dei segnali multiscala, fornendo strumenti matematici rigorosi e algoritmi computazionalmente efficienti per l'analisi di dati complessi su spazi non euclidei.