Riassunto Tecnico: Apprendimento Generativo Condizionale Semi-Supervisionato tramite Interpolazione Stocastica e Rappresentazioni Sufficienti

1. Definizione del Problema

La modellazione generativa condizionale mira a apprendere la distribuzione condizionale sottostante $P_{X|Y}$ di dati ad alta dimensione $X \in \mathbb{R}^d$ dato una condizione $Y \in \mathbb{R}^q$. Mentre la regressione standard fornisce stime puntuali, l'apprendimento dell'intera distribuzione è essenziale per la quantificazione dell'incertezza e per catturare strutture complesse come la multimodalità. Tuttavia, in contesti semi-supervisionati, le coppie etichettate $(X, Y)$ sono scarse, mentre i campioni non etichettati di $X$ sono abbondanti.

Gli approcci diretti che iniettano $Y$ nel processo generativo ad alta dimensione soffrono di una scarsa efficienza campionaria. Essi richiedono una quantità sostanziale di dati etichettati per apprendere la complessa distribuzione condizionale ambientale, fallendo nel sfruttare l'abbondanza di dati non etichettati. I metodi esistenti basati sulle rappresentazioni (ad es., VAE, diffusione latente) spesso si affidano a strutture di autoencoder dove le garanzie teoriche per la generazione condizionale rimangono inesplorate, in particolare riguardo a come la perdita di informazione in rappresentazioni imperfette si propaghi all'errore generativo.

2. Metodologia: Framework RepG

Gli autori propongono RepG, un framework a due stadi che fattorizza il processo di generazione condizionale utilizzando rappresentazioni sufficienti e interpolazione stocastica condizionale.

2.1 Fattorizzazione Strutturale tramite Rappresentazioni Sufficienti

RepG introduce una rappresentazione latente a bassa dimensione $R(X) \in \mathbb{R}^k$ (dove $k \ll d$) progettata per catturare tutta l'informazione che lega $X$ e $Y$. Il metodo si basa sull'assunzione di indipendenza condizionale $X \perp\!\!\!\perp Y \mid R$, stabilendo la catena di Markov $Y \to R \to X$. Ciò consente di decomporre il processo generativo in:

1. Campionamento Latente (Dipendente dall'Etichetta): Generare la rappresentazione sufficiente $r$ dalla condizione $y$ ($P_{R|Y}$). Questo è un compito a bassa dimensione stimato utilizzando dati etichettati scarsi.
2. Ricostruzione (Indipendente dall'Etichetta): Generare il target ad alta dimensione $x$ dalla rappresentazione $r$ ($P_{X|R}$). Poiché $P_{X|R}$ è indipendente da $Y$, questa fase può essere stimata utilizzando l'insieme combinato di dati etichettati e dati non etichettati abbondanti.

2.2 Implementazione tramite Interpolazione Stocastica Condizionale

Per implementare i due stadi, RepG utilizza l'interpolazione stocastica condizionale (Albergo et al., 2025; Huang et al., 2023).

• Percorso di Interpolazione: Un percorso $Z_t = a_t Z_0 + b_t Z_1$ connette una distribuzione Gaussiana di riferimento ($Z_0$) a una distribuzione target ($Z_1$) su $t \in [0, 1]$.
• Stima del Drift: Il compito generativo si riduce alla stima del campo di drift $v^*_F$ di un SDE (Equazione Differenziale Stocastica). Questo drift viene decomposto in un campo di velocità e una funzione di score.
• Stimatori Neurali: I campi di velocità per entrambi gli stadi sono parametrizzati da reti neurali feedforward (FNN) profonde con attivazione ReLU.
  • Stadio 1: Il campo di velocità $u$ è addestrato su coppie etichettate $(R_i, Y_i)$ per minimizzare il rischio empirico del percorso di interpolazione.
  • Stadio 2: Il campo di velocità $v$ è addestrato sull'insieme di dati aumentato $(X_m, R_m)$ (combinando dati etichettati e non etichettati) per apprendere la mappatura di ricostruzione.
• Generazione: Data una condizione $y$, il modello prima simula l'SDE per generare una rappresentazione latente $\hat{r}$, poi simula un secondo SDE condizionato su $\hat{r}$ per generare il campione finale $\hat{x}$.

2.3 Apprendimento della Rappresentazione

Per costruire la rappresentazione sufficiente $R(\cdot)$, gli autori impiegano un framework di Riduzione della Dimensione Profonda (DDR) (Huang et al., 2024). Ciò comporta l'apprendimento di una mappatura che massimizza la covarianza di distanza tra $R(X)$ e $Y$, regolarizzando al contempo $R(X)$ affinché segua una distribuzione Gaussiana standard, garantendo che $X \perp\!\!\!\perp Y \mid R(X)$ sia approssimativamente soddisfatta.

3. Contributi Chiave

3.1 Decomposizione dell'Errore Teorico

Il documento stabilisce una rigorosa decomposizione della divergenza di Kullback-Leibler (KL) attesa tra la vera distribuzione condizionale e lo stimatore RepG. L'errore totale comprende tre componenti:

1. Bias Strutturale: Quantificato dall'Informazione Mutua Condizionale (CMI), $I(X; Y \mid R)$. Questo misura la perdita di informazione se la rappresentazione non è perfettamente sufficiente.
2. Errore di Stima a Bassa Dimensione: L'errore nell'apprendimento di $P_{R|Y}$ utilizzando dati etichettati.
3. Errore di Stima ad Alta Dimensione: L'errore nell'apprendimento di $P_{X|R}$ utilizzando l'insieme di dati combinato.

Questa decomposizione dimostra che la stretta indipendenza condizionale non è richiesta; una piccola CMI unita a errori di stima controllati è sufficiente per un basso errore generativo totale.

3.2 Tassi di Convergenza Non-Asintotica

Sotto assunzioni di regolarità (classi Hölder locali) e limiti di momento sub-esponenziali, gli autori derivano i tassi di convergenza per gli stimatori FNN:

• L'errore del primo stadio scala con la dimensione del campione $n$ e la dimensione $k+q$.
• L'errore del secondo stadio scala con la dimensione del campione combinato $n+N$ e la dimensione $d+k$.
• Risultato Cruciale: Nel regime in cui i dati non etichettati sono abbondanti ($N \gg n$), il tasso di convergenza complessivo è dominato dalla componente supervisionata a bassa dimensione ($n^{-2\alpha/(2\alpha+q+k+1)}$). Ciò dimostra che RepG mitiga efficacementamente la maledizione della dimensionalità confinando l'onere statistico dei dati etichettati alla dimensione ridotta $k$.

3.3 Limite Minimax

Il documento fornisce un limite inferiore minimax per la generazione condizionale diretta (senza fattorizzazione latente), mostrando che l'errore scala con la dimensione ambientale completa $d+q+1$. Confrontando questo con il limite superiore di RepG, gli autori confermano che la fattorizzazione basata sulla rappresentazione migliora significativamente la complessità campionaria quando $k \ll d$.

4. Risultati Sperimentali

4.1 Studi di Simulazione

• Condizionamento Discreto: RepG è stato testato su dataset sintetici (Two Moons, Concentric Circles, miscele Gaussiane 2D/3D). Il metodo ha appreso con successo rappresentazioni sufficienti che preservavano la separabilità delle classi e ricostruivano geometrie complesse senza collasso dei modi (mode collapse).
• Condizionamento Continuo: In scenari di eteroschedasticità, asimmetria (skewness) e distribuzioni incrociate, RepG ha superato la Regressione dei Processi Gaussiani (GPR), le Reti di Densità di Miscela (MDN) e le Foreste Casuali dei Quantili (QRF) in termini di accuratezza della distribuzione congiunta (Energy Score). Sebbene le ampiezze degli intervalli marginali fossero comparabili, RepG ha catturato meglio le strutture di dipendenza multivariate.

4.2 Applicazione nel Mondo Reale (MNIST)

RepG è stato applicato alla generazione di cifre MNIST con set etichettati fissi ($n_\ell \in \{1000, 3000\}$) e set non etichettati variabili ($n_u$).

• Prestazioni: RepG ha superato costantemente un modello condizionale diretto di base.
• Scalabilità: All'aumentare del numero di campioni non etichettati, RepG ha mostrato guadagni di accuratezza monotonici in un compito di classificazione a valle, stabilizzandosi vicino all'87-90% di accuratezza. Al contrario, le prestazioni del baseline sono rimaste piatte, poiché non era in grado di utilizzare i dati non etichettati.
• Qualità Visiva: Le immagini generate sono passate da artefatti frammentati a strutture coerenti all'aumentare della dimensione del campione non etichettato.

5. Significato e Rivendicazioni

Il documento afferma che RepG offre una soluzione fondata al problema della generazione condizionale semi-supervisionata:

1. Decoupling della Complessità: Separazione della difficile generazione ad alta dimensione in un compito supervisionato a bassa dimensione e un compito di ricostruzione privo di etichette.
2. Garanzie Teoriche: Fornisce la prima decomposizione rigorosa dell'errore e i tassi di convergenza per la generazione condizionale basata su rappresentazioni, collegando esplicitamente il bias strutturale (CMI) al rischio statistico.
3. Efficienza Campionaria: Dimostrando che, confinando l'onere dell'apprendimento supervisionato alla dimensione intrinseca dello spazio latente, il metodo evita la maledizione della dimensionalità inerente alla modellazione diretta nello spazio ambiente.
4. Utilità Pratica: Validando che, anche con una sufficienza approssimativa, il framework rimane efficace, come dimostrato dai risultati empirici sia su dati sintetici che reali.

Gli autori concludono che questo approccio fornisce una solida base teorica per allocare i limitati dati etichettati in contesti semi-supervisionati e per sfruttare efficacemente l'abbondanza di dati non etichettati per apprendere le strutture dei dati ad alta dimensione.