Learning sufficient low-dimensional structures through conditional optimal transport

Sintesi Tecnica: Apprendimento di Strutture Sufficienti a Bassa Dimensionalità attraverso il Trasporto Ottimo Condizionale

Definizione del Problema
La Riduzione della Dimensionalità Sufficiente (SDR) mira a trovare una rappresentazione a bassa dimensionalità delle covariate $X$ che preservi l'intera legge condizionale di una risposta $Y$, soddisfacendo la condizione $Y \perp\!\!\!\perp X \mid R(X)$. I metodi classici di SDR lineare si affidano spesso a target indiretti come le medie condizionali o i momenti di regressione inversa, che possono trascurare informazioni contenute nell'eteroschedasticità, nel comportamento delle code o nella multimodalità. Sebbene approcci generativi recenti (ad es., GenSDR, FlowSDR) modellino direttamente la legge condizionale, essi operano spesso in contesti euclidei o assumono specifiche proprietà strutturali. Questo articolo affronta la sfida di apprendere riduzioni sufficienti in un contesto generale in cui sia le covariate che le risposte possono risiedere in spazi di Hilbert separabili, utilizzando il Trasporto Ottimo Condizionale (COT) come framework geometrico per descrivere la variazione della legge della risposta condizionale.

Metodologia
Il framework proposto, SDR-COT, sfrutta le proprietà geometriche del trasporto ottimo per caratterizzare la struttura di indipendenza condizionale.

1. Formulazione del Trasporto Ottimo Condizionale (COT):
   Il metodo modella la transizione da una risposta di riferimento indipendente $Y_0 \sim \rho$ alla risposta osservata $Y_1$ dato le covariate $X$. Questo è inquadrato come una mappa di trasporto triangolare $T^\star(x, y) = (x, T^\star_Y(x, y))$ che spinge la misura prodotto $\mu_0 = \eta \otimes \rho$ verso la legge congiunta $\mu_1 = P(X, Y_1)$ preservando la coordinata della covariata.

2. COT Dinamico e Campi di Velocità:
   Gli autori utilizzano la formulazione dinamica di Benamou–Brenier. Essi stabiliscono che, sotto un costo quadratico e un setting di sorgente prodotto, l'interpolazione di Monge ammette un rappresentante di velocità corrente Borel su ogni intervallo di tempo troncato $[0, 1-\tau]$, anche senza assumere l'iniettività globale della mappa terminale. Questo campo di velocità $v^\star_t$ guida l'interpolazione di spostamento tra le leggi sorgente e target.

3. Teorema di Fattorizzazione:
   Un risultato teorico centrale dimostra che se esiste una rappresentazione sufficiente $R(X)$ (ovvero $Y_1 \perp\!\!\!\perp X \mid R(X)$), allora sia la mappa di trasporto ottimo statica $T^\star_Y$ che il campo di velocità dinamico $v^\star_t$ si fattorizzano attraverso $R$. Nello specifico:
   $$T^\star_Y(x, y) = G^\star_Y(R(x), y)$$
   $$v^\star_t(x, y) = (0, u^\star_Y(t, R(x), y))$$
   Ciò implica che la dipendenza del meccanismo di trasporto dalla covariata è interamente mediata dalla riduzione sufficiente.

4. Stima tramite Flow Matching:
   Motivati dalla fattorizzazione, gli autori propongono un criterio di Conditional Flow Matching (CFM). Inveiz di stimare l'intera mappa condizionale, l'algoritmo apprende una mappa di riduzione $R_\theta$ e una rete di velocità $u_\phi$ parametrizzata dalla covariata ridotta. L'obiettivo minimizza l'errore quadratico tra lo spostamento reale e la velocità predetta:
   $$L(\theta_u, \theta_R) = \int_0^{T_\tau} \mathbb{E} \left[ \| V - u_{\theta_u}^Y(t, R_{\theta_R}(X), Y_t) \|^2 \right] dt$$
   dove $V = Y_1 - Y_0$ e $Y_t$ è l'interpolazione lineare. Per gestire l'accoppiamento ottimale non osservato, il metodo utilizza un accoppiamento empirico rilassato utilizzando una funzione di costo anisotropa che penalizza pesantemente il mismatch delle covariate.

Contributi Chiave

1. Ottimalità del COT Dinamico senza Iniettività Globale:
   Il lavoro dimostra un'affermazione di ottimalità di tipo Benamou–Brenier per il COT dinamico in spazi di Hilbert separabili con costo quadratico. A differenza di lavori precedenti che assumono l'iniettività globale della mappa di Monge triangolare per definire le velocità, questo lavoro stabilisce l'esistenza di una velocità corrente Borel su intervalli troncati $[0, 1-\tau]$ utilizzando la monotonia ciclica, rimuovendo la necessità di assunzioni di iniettività a priori.

2. Teorema di Fattorizzazione SDR-COT:
   Gli autori dimostrano che, sotto deboli condizioni di regolarità, la componente di risposta della mappa COT triangolare ottima e il campo di velocità indotto si fattorizzano attraverso qualsiasi rappresentazione sufficiente. Questo risultato strutturale lega formalmente l'assunzione di indipendenza condizionale della SDR alle proprietà geometriche del trasporto ottimo.

3. Framework di Stima Unificato:
   Il documento sviluppa un criterio di flow-matching a livello di popolazione e fornisce algoritmi sia per setting euclidei che per dati funzionali.

   • Euclideo: Utilizza reti neurali standard per la riduzione e la velocità.
   • Funzionale: Gestisce covariate funzionali tramite proiezione su basi e risposte funzionali tramite Neural Operators (specificamente Fourier Neural Operators).
   • Accoppiamento Rilassato: Introduce una strategia di accoppiamento empirico rilassato per approssimare la mappa di trasporto condizionale dai dati.

4. Consistenza Statistica per la SDR Lineare:
   Il lavoro stabilisce la consistenza per la SDR lineare sia in contesti euclidei che di Hilbert:

   • Euclideo: La consistenza è dimostrata utilizzando il teorema di contrazione di Caffarelli per limitare la costante di Lipschitz della velocità, permettendo l'identificazione del sottospazio centrale tramite una condizione di perdita nulla.
   • Hilbert (Funzionale): La consistenza è stabilita senza continuità Lipschitz ambientale sfruttando le velocità di Sobolev con valori in Cameron–Martin e l'unicità dell'equazione di continuità gaussiana.

Risultati

• Teorici: Il teorema di fattorizzazione conferma che la struttura di indipendenza condizionale è ereditata dalla mappa di trasporto ottimo e dal campo di velocità. I teoremi di consistenza garantiscono che, sotto corretta specificazione e regolarità, la riduzione lineare stimata converge al vero sottospazio centrale in distanza di proiezione.
• Empirici: Gli studi numerici su dati euclidei non lineari sintetici, dati euclidei lineari, covariate funzionali e dati funzione-su-funzione dimostrano che SDR-COT è competitivo con i benchmark stabiliti. In particolare, il metodo performa bene quando informazioni sufficienti sono contenute in caratteristiche distribuzionali oltre la media condizionale (ad es., varianza o forma), dove i metodi basati sui momenti classici potrebbero fallire.
• Dati Reali: In un'analisi della domanda di Capital Bikeshare (dati funzionali), SDR-COT ha ottenuto errori di test inferiori rispetto a FPCA (Functional PCA) e ai competitor basati su momenti condizionali deboli nella maggior parte delle dimensioni di riduzione.

Significatività e Rivendicazioni
Il lavoro sostiene di fornire un approccio geometricamente fondato alla SDR che mira direttamente alla legge condizionale piuttosto che ai suoi momenti. Utilizzando il Trasporto Ottimo Condizionale, il metodo cattura naturalmente dipendenze distribuzionali complesse (eteroschedasticità, multimodalità) che spesso sfuggono ai metodi basati sulla regressione inversa o sulla media condizionale.

Gli autori sono modesti riguardo al caso non lineare generale: sebbene il criterio di popolazione sia "esaustivo" (qualsiasi rappresentazione che contenga la $\sigma$-algebra centrale raggiunge il valore ottimale), il criterio da solo non garantisce la selezione di una rappresentazione minima senza vincoli aggiuntivi (come fissare la dimensione dell'output). Pertanto, i rigorosi risultati di consistenza sono esplicitamente limitati al setting lineare con una dimensione strutturale fissa. Il lavoro colma il divario tra la teoria del trasporto ottimo e la riduzione della dimensionalità sufficiente, offrendo una procedura di stima scalabile e senza simulazioni che si estende ai dati funzionali ad dimensione infinita.