Resumen Técnico: Aprendizaje Generativo Condicional Semi-Supervisado mediante Interpolación Estocástica y Representaciones Suficientes

1. Planteamiento del Problema

El modelado generativo condicional busca aprender la distribución condicional subyacente $P_{X|Y}$ de datos de alta dimensión $X \in \mathbb{R}^d$ dado una condición $Y \in \mathbb{R}^q$. Mientras que la regresión estándar proporciona estimaciones puntuales, el aprendizaje de la distribución completa es esencial para la cuantificación de la incertidumbre y para capturar estructuras complejas como la multimodalidad. Sin embargo, en entornos semi-supervisados, los pares etiquetados $(X, Y)$ son escasos, mientras que las muestras no etiquetadas de $X$ son abundantes.

Los enfoques directos que inyectan $Y$ en el proceso de generación de alta dimensión sufren de una baja eficiencia de muestreo. Requieren una cantidad sustancial de datos etiquetados para aprender la compleja distribución condicional ambiental, fallando al no aprovechar la abundancia de datos no etiquetados. Los métodos existentes basados en representaciones (por ejemplo, VAEs, difusión latente) a menudo dependen de estructuras de autoencoder donde las garantías teóricas para la generación condicional permanecen inexploradas, particularmente en cuanto a cómo la pérdida de información en representaciones imperfectas se propaga al error generativo.

2. Metodología: Marco RepG

Los autores proponen RepG, un marco de dos etapas que factoriza el proceso de generación condicional utilizando representaciones suficientes e interpolación estocástica condicional.

2.1 Factorización Estructural mediante Representaciones Suficientes

RepG introduce una representación latente de baja dimensión $R(X) \in \mathbb{R}^k$ (donde $k \ll d$) diseñada para capturar toda la información que vincula a $X$ y $Y$. El método se basa en el supuesto de independencia condicional $X \perp\!\!\!\perp Y \mid R$, estableciendo la cadena de Markov $Y \to R \to X$. Esto permite que el proceso de generación se descomponga en:

1. Muestreo Latente (Dependiente de la Etiqueta): Generar la representación suficiente $r$ a partir de la condición $y$ ($P_{R|Y}$). Esta es una tarea de baja dimensión estimada utilizando datos etiquetados escasos.
2. Reconstrucción (Independiente de la Etiqueta): Generar el objetivo de alta dimensión $x$ a partir de la representación $r$ ($P_{X|R}$). Dado que $P_{X|R}$ es independiente de $Y$, esta etapa puede estimarse utilizando el conjunto de datos agrupado de datos tanto etiquetados como no etiquetados abundantes.

2.2 Implementación mediante Interpolación Estocástica Condicional

Para implementar las dos etapas, RepG utiliza la interpolación estocástica condicional (Albergo et al., 2025; Huang et al., 2023).

• Trayectoria de Interpolación: Una trayectoria $Z_t = a_t Z_0 + b_t Z_1$ conecta una distribución Gaussiana de referencia ($Z_0$) con la distribución objetivo ($Z_1$) sobre $t \in [0, 1]$.
• Estimación de la Deriva (Drift): La tarea generativa se reduce a estimar el campo de deriva $v^*_F$ de una Ecuación Diferencial Estocástica (SDE). Este campo de deriva se descompone en un campo de velocidad y una función de puntuación (score function).
• Estimadores Neuronales: Los campos de velocidad para ambas etapas están parametrizados por redes neuronales de alimentación hacia adelante (FNN) profundas tipo ReLU.
  • Etapa 1: El campo de velocidad $u$ se entrena en pares etiquetados $(R_i, Y_i)$ para minimizar el riesgo empírico de la trayectoria de interpolación.
  • Etapa 2: El campo de velocidad $v$ se entrena en el conjunto de datos aumentado $(X_m, R_m)$ (combinando datos etiquetados y no etiquetados) para aprender el mapeo de reconstrucción.
• Generación: Dada una condición $y$, el modelo primero simula la SDE para generar una representación latente $\hat{r}$, luego simula una segunda SDE condicionada en $\hat{r}$ para generar la muestra final $\hat{x}$.

2.3 Aprendizaje de Representación

Para construir la representación suficiente $R(\cdot)$, los autores emplean un marco de Reducción de Dimensión Profunda (DDR) (Huang et al., 2024). Esto implica aprender un mapeo que maximiza la distancia de covarianza entre $R(X)$ y $Y$ mientras se regulariza $R(X)$ para que siga una distribución Gaussiana estándar, asegurando que $X \perp\!\!\!\perp Y \mid R(X)$ se satisfaga aproximadamente.

3. Contribuciones Clave

3.1 Descomposición de Error Teórica

El artículo establece una descomposición rigurosa de la divergencia de Kullback-Leibler (KL) esperada entre la distribución condicional real y el estimador RepG. El error total comprende tres componentes:

1. Sesgo Estructural: Cuantificado por la Información Mutua Condicional (CMI), $I(X; Y \mid R)$. Esto mide la pérdida de información si la representación no es perfectamente suficiente.
2. Error de Estimación de Baja Dimensión: El error en el aprendizaje de $P_{R|Y}$ utilizando datos etiquetados.
3. Error de Estimación de Alta Dimensión: El error en el aprendizaje de $P_{X|R}$ utilizando el conjunto de datos agrupado.

Esta descomposición demuestra que la independencia condicional estricta no es necesaria; una pequeña CMI combinada con errores de estimación controlados es suficiente para un bajo error generativo total.

3.2 Tasas de Convergencia No Asintóticas

Bajo supuestos de suavidad (clases de Hölder locales) y límites de momentos sub-exponenciales, los autores derivan tasas de convergencia para los estimadores FNN:

• El error de la primera etapa escala con el tamaño de la muestra $n$ y la dimensión $k+q$.
• El error de la segunda etapa escala con el tamaño de la muestra agrupada $n+N$ y la dimensión $d+k$.
• Resultado Crucial: En el régimen donde los datos no etiquetados son abundantes ($N \gg n$), la tasa de convergencia global está dominada por el componente supervisado de baja dimensión ($n^{-2\alpha/(2\alpha+q+k+1)}$). Esto demuestra que RepG mitiga eficazmente la maldición de la dimensionalidad al confinar la carga estadística de los datos etiquetados a la dimensión reducida $k$.

3.3 Límite Inferior Minimax

El artículo proporciona un límite inferior minimax para la generación condicional directa (sin factorización de latencia), mostrando que el error escala con la dimensión ambiental completa $d+q+1$. Al comparar esto con el límite superior de RepG, los autores confirbran que la factorización basada en representaciones mejora significamente la complejidad de muestreo cuando $k \ll d$.

4. Resultados Experimentales

4.1 Estudios de Simulación

• Condicionamiento Discreto: RepG fue probado en conjuntos de datos sintéticos (Two Moons, Concentric Circles, Mezclas Gaussianas 2D/3D). El método aprendió con éxito representaciones suficientes que preservaron la separabilidad de clases y reconstruyeron geometrías complejas sin colapso de modo.
• Condicionamiento Continuo: En escenarios que involucran heterocedasticidad, asimetría y distribuciones cruzadas, RepG superó a la Regresión de Procesos Gaussianos (GPR), las Redes de Densidad de Mezcla (MDN) y los Bosques Aleatorios de Cuantiles (QRF) en términos de precisión de la distribución conjunta (Energy Score). Aunque las anchuras de los intervalos marginales fueron comparables, RepG capturó mejor las estructuras de dependencia multivariante.

4.2 Aplicación en el Mundo Real (MNIST)

RepG se aplicó a la generación de dígitos MNIST con conjuntos etiquetados fijos ($n_\ell \in \{1000, 3000\}$) y conjuntos no etiquetados variables ($n_u$).

• Desempeño: RepG superó consistentemente a un modelo condicional directo de referencia.
• Escalabilidad: A medida que el número de muestras no etiquetadas aumentó, RepG mostró ganancias de precisión monotónicas en una tarea de clasificación descendente, estabilizándose cerca de una precisión del 87-90%. En contraste, el desempeño del modelo de referencia se mantuvo plano, ya que no podía utilizar los datos no etiquetados.
• Calidad Visual: Las imágenes generadas transicionaron de artefactos fragmentados a estructuras coherentes a medida que aumentaba el tamaño de la muestra no etiquetada.

5. Significado y Reivindicaciones

El artículo afirma que RepG ofrece una solución fundamentada al problema de la generación condicional semi-supervisada al:

1. Desacoplar la Complejidad: Separar la difícil generación de alta dimensión en una tarea supervisada de baja dimensión y una tarea de reconstrucción libre de etiquetas.
2. Garantías Teóricas: Proporcionar la primera descomposición de error rigurosa y tasas de convergencia para la generación condicional basada en representaciones, vinculando explícitamente el sesgo estructural (CMI) con el riesgo estadístico.
3. Eficiencia de Muestreo: Demostrar que, al confinar la carga de aprendizaje supervisado a la dimensión intrínseca del espacio latente, el método evita la maldición de la dimensionalidad inherente al modelado directo en el espacio ambiental.
4. Utilidad Práctica: Validar que, incluso con una suficiencia aproximada, el marco sigue siendo efectivo, como lo demuestran los resultados empíricos tanto en datos sintéticos como en el mundo real.

Los autores concluyen que este enfoque proporciona una base teórica sólida para la asignación de datos etiquetados limitados en entornos semi-supervisados y para aprovechar eficazmente los abundantes datos no etiquetados para aprender estructuras de datos de alta dimensión.