Technische Samenvatting: Semi-gecontroleerd Conditioneel Generatief Leren door Stochastische Interpolatie en Voldoende Representaties

1. Probleemstelling

Conditionele generatieve modellering beoogt de onderliggende conditionele distributie $P_{X|Y}$ van hoogdimensionele data $X \in \mathbb{R}^d$ te leren gegeven een conditie $Y \in \mathbb{R}^q$. Hoewel standaard regressie punt-schattingen biedt, is het leren van de volledige distributie essentieel voor onzekerheidskwantificering en het vastleggen van complexe structuren zoals multimodaliteit. Echter, in semi-gecontroleerde settings zijn gelabelde paren $(X, Y)$ schaars, terwijl ongelabelde monsters van $X$ overvloedig aanwezig zijn.

Directe benaderingen die $Y$ in het hoogdimensionele generatieproces injecteren, lijden aan een slechte monster-efficiëntie (sample efficiency). Ze vereisen substantiële gelabelde data om de complexe ambivalente conditionele distributie te leren, waardoor ze er niet in slagen de overvloed aan ongelabelde data te benutten. Bestaande representatie-gebaseerde methoden (bijv. VAE's, latente diffusie) vertrouwen vaak op autoencoder-structuren waarbij theoretische garanties voor conditionele generatie nog niet zijn verkend, met name met betrekking tot hoe informatieverlies in imperfecte representaties doorwerkt in de generatieve fout.

2. Methodologie: RepG Framework

De auteurs stellen RepG voor, een tweestaps framework dat het conditionele generatieproces factoriseert middels voldoende representaties en conditionele stochastische interpolatie.

2.1 Structurele Factorisatie via Voldoende Representaties

RepG introduceert een laagdimensionele latente representatie $R(X) \in \mathbb{R}^k$ (waarbij $k \ll d$) die ontworie is om alle informatie te vangen die $X$ en $Y$ verbindt. De methode rust op de aanname van conditionele onafhankelijkheid $X \perp\!\!\!\perp Y \mid R$, wat de Markov-keten $Y \to R \to X$ vestigt. Dit maakt het mogelijk om het generatieproces te deconstrueren in:

1. Latente Sampling (Label-afhankelijk): Het genereren van de voldoende representatie $r$ vanuit de conditie $y$ ($P_{R|Y}$). Dit is een laagdimensionele taak die wordt geschat met schaarse gelabelde data.
2. Reconstructie (Label-onafhankelijk): Het genereren van de hoogdimensionele doelvariabele $x$ vanuit de representatie $r$ ($P_{X|R}$). Omdat $P_{X|R}$ onafhankelijk is van $Y$, kan deze fase worden geschat met de gepoolde dataset van zowel gelabelde als overvloedige ongelabelde data.

2.2 Implementatie via Conditionele Stochastische Interpolatie

Om de twee fasen te implementeren, maakt RepG gebruik van conditionele stochastische interpolatie (Albergo et al., 2025; Huang et al., 2023).

• Interpolatiepad: Een pad $Z_t = a_t Z_0 + b_t Z_1$ verbindt een referentie Gaussische distributie ($Z_0$) met de doeldistributie ($Z_1$) over $t \in [0, 1]$.
• Drift-schatting: De generatieve taak reduceert tot het schatten van het driftveld $v^*_F$ van een Stochastische Differentiaalvergelijking (SDE). Dit driftveld wordt gedecomposeerd in een snelheidveld en een scorefunctie.
• Neurale Estimatoren: De snelheidvelden voor beide fasen worden geparametriseerd door diepe ReLU feedforward neurale netwerken (FNN's).
  • Fase 1: Het snelheidveld $u$ wordt getraind op gelabelde paren $(R_i, Y_i)$ om het empirische risico van het interpolatiepad te minimaliseren.
  • Fase 2: Het snelheidveld $v$ wordt getraind op de uitgebreide dataset $(X_m, R_m)$ (combinatie van gelabelde en ongelabelde data) om de reconstructie-mapping te leren.
• Generatie: Gegeven een conditie $y$, simuleert het model eerst de SDE om een latente representatie $\hat{r}$ te genereren, en simuleert vervolgens een tweede SDE geconditioneerd op $\hat{r}$ om de uiteindelijke sample $\hat{x}$ te genereren.

2.3 Representatie Leren

Om de voldoende representatie $R(\cdot)$ te construeren, gebruiken de auteurs een Deep Dimension Reduction (DDR) framework (Huang et al., 2024). Dit behelst het leren van een mapping die de afstandscovariantie tussen $R(X)$ en $Y$ maximaliseert, terwijl $R(X)$ wordt geregulariseerd om een standaard Gaussische distributie te volgen, wat ervoor zorgt dat $X \perp\!\!\!\perp Y \mid R(X)$ ongeveer wordt voldaan.

3. Belangrijkste Bijdragen

3.1 Theoretische Foutdecompositie

Het artikel stelt een rigoureuze decompositie vast van de verwachte Kullback-Leibler (KL) divergentie tussen de ware conditionele distributie en de RepG-estimator. De totale fout bestaat uit drie componenten:

1. Structurele Bias: Gekwantificeerd door de Conditionele Mutual Informatie (CMI), $I(X; Y \mid R)$. Dit meet het informatieverlies indien de representatie niet perfect voldoende is.
2. Laagdimensionele Schattingsfout: De fout in het leren van $P_{R|Y}$ met behulp van gelabelde data.
3. Hoogdimensionele Schattingsfout: De fout in het leren van $P_{X|R}$ met behulp van de gepoolde dataset.

Deze decompositie bewijst dat strikte conditionele onafhankelijkheid niet vereist is; een kleine CMI gecombineerd met gecontroleerde schattingsfouten volstaat voor een lage totale generatieve fout.

3.2 Niet-Asymptotische Convergentie-snelheden

Onder aannames van gladheid (lokale Hölder-klassen) en sub-exponentiële momenten, leiden de auteurs convergentiesnelheden af voor de FNN-estimators:

• De fout in de eerste fase schaalt met de steekproefomvang $n$ en de dimensie $k+q$.
• De fout in de tweede fase schaalt met de gepoolde steekproefomvang $n+N$ en de dimensie $d+k$.
• Cruciaal Resultaat: In het regime waar ongelabelde data overvloedig is ($N \gg n$), wordt de algehele convergentiesnelheid gedomineerd door de laagdimensionele gesuperviseerde component ($n^{-2\alpha/(2\alpha+q+k+1)}$). Dit demonstreert dat RepG de vloek van dimensionaliteit effectief verzacht door de statistische last van gelabelde data te beperken tot de gereduceerde dimensie $k$.

3.3 Minimax Lower Bound

Het artikel biedt een minimax lower bound voor directe conditionele generatie (zonder latente factorisatie), waarbij wordt aangetoond dat de fout schaalt met de volledige ambivalente dimensie $d+q+1$. Door dit te vergelijken met de upper bound van RepG, bevestigen de auteurs dat de representatie-gebaseerde factorisatie de steekproefcomplexiteit aanzienlijk verbetert wanneer $k \ll d$.

4. Experimentele Resultaten

4.1 Simulatiestudies

• Discrete Conditionering: RepG werd getest op synthetische datasets (Two Moons, Concentric Circles, 2D/3D Gaussian Mixtures). De methode slaagde erin voldoende representaties te leren die de klasse-scheidbaarheid behielden en complexe geometrieën reconstrueerden zonder mode collapse.
• Continue Conditionering: In scenario's met heteroscedasticiteit, scheefheid (skewness) en kruisende distributies, presteerde RepG beter dan Gaussian Process Regression (GPR), Mixture Density Networks (MDN) en Quantile Random Forests (QRF) op basis van de gezamenlijke distributionele nauwkeurigheid (Energy Score). Hoewel de marginale intervalbreedtes vergelijkbaar waren, ving RepG de multivariate afhankelijkheidsstructuren beter op.

4.2 Real-World Applicatie (MNIST)

RepG werd toegepast op MNIST-cijfergeneratie met vaste gelabelde sets ($n_\ell \in \{1000, 3000\}$) en variërende ongelabelde sets ($n_u$).

• Prestaties: RepG presteerde consequent beter dan een baseline direct conditioneel model.
• Schaalbaarheid: Naarmate het aantal ongelabelde samples toenam, vertoonde RepG een monotone winst in nauwkeurigheid bij een downstream classificatietaak, waarbij de nauwkeurigheid stabiliseerde rond de 87-90%. In contrast hiermee bleef de prestatie van de baseline vlak, omdat deze de ongelabelde data niet kon benutten.
• Visuele Kwaliteit: De gegenereerde afbeeldingen transformeerden van gefragmenteerde artefacten naar coherente structuren naarmate de omvang van de ongelabelde dataset toenam.

5. Betekenis en Claims

Het artikel claimt dat RepG een principieel model biedt voor het semi-gecontroleerde conditionele generatieprobleem door:

1. Complexiteit te Ontkoppelen: Het splitsen van de moeilijke hoogdimensionele generatie in een laagdimensionele gesuperviseerde taak en een label-onafhankelijke reconstructietaken.
2. Theoretische Garanties: Het bieden van de eerste rigoureuze foutdecompositie en convergentiesnelheden voor representatie-gebaseerde conditionele generatie, waarbij de structurele bias (CMI) expliciet wordt gekoppeld aan het statistische risico.
3. Steekproef-efficiëntie: Door aan te tonen dat het beperken van de gesuperviseerde leerlast tot de intrinsieke dimensie van de latente ruimte, de methode de vloek van dimensionaliteit omzeilt die inherent is aan directe modellering in de ambivalente ruimte.
4. Praktisch Nut: Het valideren dat zelfs bij benaderende sufficiëntie, het framework effectief blijft, zoals aangetoond door empirische resultaten op zowel synthetische als real-world data.

De auteurs concluderen dat deze aanpak een sterke theoretische basis biedt voor het alloceren van beperkte gelabelde data in semi-gecontroleerde settings en het effectief benutten van overvloedige ongelabelde data om hoogdimensionele datastructuren te leren.