📊 statistics

Semi-Supervised Conditional Diffusion via Label Augmentation

Este artículo presenta la Difusión Condicional Aumentada por Etiquetas (LACD, por sus siglas en inglés), un método que aprovecha los datos no etiquetados asignándoles etiquetas triviales para lograr una convergencia más rápida en la distancia de variación total y un mejor rendimiento generativo en comparación con los modelos de difusión condicional puramente supervisados.

Autores originales: Jin Su, Yuan Gao, Yong Zhou, Jian Huang

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jin Su, Yuan Gao, Yong Zhou, Jian Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a pintar cuadros de gatos, perros y pájaros. En el mundo de la inteligencia artificial, esto se llama "generación condicional": enseñar a una máquina a crear cosas específicas basadas en una etiqueta que le das. Durante años, las mejores herramientas para este trabajo han sido los "modelos de difusión". Piensa en estos modelos como un maestro escultor que comienza con un bloque de mármol lleno de ruido y estática, y que va tallando lentamente el ruido para revelar una estatua perfecta. Para aprender a tallar un animal específico, el escultor necesita ver miles de ejemplos de ese animal siendo tallado. Pero aquí está el truatorio: conseguir esos ejemplos etiquetados es costoso y difícil. Puede que tengas un millón de fotos de animales por ahí, pero solo unas pocas cientos tienen etiquetas que dicen "gato" o "perro". El resto son solo manchas de píxeles sin etiquetar.

Aquí es donde el problema se vuelve complicado. Si solo le muestras al escultor las pocas cientos de fotos etiquetadas, podría confundirse o empezar a memorizar los pocos ejemplos que tiene, lo que resultaría en un arte extraño y repetitivo. Pero si de alguna manera pudieras usar esas millones de fotos sin etiquetar para ayudar al escultor a entender la forma general de los "animales" antes de enseñarle las diferencias específicas entre gatos y perros, el resultado sería mucho mejor. Este artículo aborda exactamente ese desafío: cómo utilizar una montaña de datos sin etiquetar para mejorar el entrenamiento de estos artistas de IA, incluso cuando los datos etiquetados son escasos.

Los autores de este artículo, Jin Su y sus colegas, proponen un nuevo y astuto método llamado Difusión Condicional Aumentada por Etiquetas (LACD, por sus siglas en inglés). Su gran idea es dejar de tratar los datos sin etiquetar como "inútiles" y, en su lugar, darles una etiqueta temporal y "trivial"; llamémosla "Desconocido". Imagina que tienes un salón de clases lleno de estudiantes. Tienes a unos pocos estudiantes que saben exactamente cómo se ve un "gato", y una gran multitud que solo sabe que están viendo a "un animal", pero no conocen la especie. En lugar de ignorar al segundo grupo, los autores le dicen al profesor (el modelo de IA) que trate a "Desconocido" como una categoría válida.

Así es como ocurre la magia: la IA aprende a generar imágenes para "gato", "perro" y "pájaro" mirando a los estudiantes etiquetados. Simultáneamente, aprende cómo se ve un "animal" genérico estudiando a la gran multitud de estudiantes sin etiquetar. Debido a que la IA está entrenada para entender que "gato", "perro" y "pájaro" son todas variaciones de ese concepto de "animal" genérico, la enorme cantidad de datos sin etiquetar ayuda a que aprenda las características compartidas de todos los animales (como tener pelaje, orejas o colas) de manera mucho más rápida y precisa. Este entendimiento compartido actúa como una base sólida, permitiendo que el modelo distinga entre animales específicos con muchos menos ejemplos etiquetados de lo habitual.

El artículo no solo supone que esto funciona; lo demuestra con matemáticas y lo prueba con computadoras. Demostraron que, cuando tienes muchos datos sin etiquetar, este nuevo método crea imágenes que están estadísticamente más cerca de la realidad que los métodos antiguos que solo usaban datos etiquetados. En sus experimentos, probaron esto en todo, desde formas simples generadas por computadora hasta fotos reales de ciudades e incluso datos de ondas cerebrales.

Por ejemplo, en un famoso conjunto de datos de imágenes llamado CIFAR-10, encontraron que si solo tenían 1,000 imágenes etiquetadas, añadir 10,000 imágenes sin etiquetar hacía que las imágenes de aves y autos de la IA parecieran significativamente más realistas y diversas. El método antiguo, que ignoraba las fotos sin etiquetar, producía imágenes que se veían un poco borrosas o repetitivas. El nuevo método, utilizando el truco de la etiqueta "Desconocido", produjo imágenes que eran más nítidas y variadas, casi tan buenas como si hubieran sido entrenadas con las 50,000 imágenes con etiquetas.

Los autores también realizaron simulaciones con datos sintéticos para ver exactamente cómo funciona la matemática. Encontraron que, a medida que añadían más datos sin etiquetar, el error en las imágenes generadas disminuía de forma constante. En algunos casos, la mejora era estricta y garantizada por sus pruebas matemáticas, lo que significa que el nuevo método es matemáticamente superior al método antiguo cuando hay datos disponibles sin etiquetar. Incluso probaron esto en un conjunto de datos tabulares de señales EEG de cerebro para la detección de epilepsia, mostrando que el método funciona no solo para imágenes bonitas, sino también para tablas de datos complejos.

Sin embargo, el artículo tiene cuidado de no exagerar los resultados. Señalan que, si bien el método es una gran mejora, no reemplaza completamente la necesidad de datos etiquetados; simplemente hace que los datos etiquetados que sí tienes rindan mucho más. También señalan que sus pruebas matemáticas actuales dependen de ciertas suposiciones sobre cómo se distribuyen los datos, y que los datos del mundo real pueden ser a veces más desordenados que sus simulaciones. Pero, en general, el mensaje es claro: al tratar los datos sin etiquetar como una categoría "genérica", podemos enseñar a los modelos de IA a ser mejores artistas con menos etiquetas costosas, convirtiendo una pila de datos sin etiquetar en una poderosa herramienta de aprendizaje.

Resumen Técnico: Difusión Condicional Semi-Supervisada mediante Aumento de Etiquetas

Planteamiento del Problema

El artículo aborda el desafío de estimar distribuciones condicionales $P_{X|Y}$ en entornos de alta dimensión donde los datos etiquetados $(X, Y)$ son escasos, pero los datos no etiquetados $X$ son abundantes. Aunque los modelos de difusión condicional han alcanzado la optimalidad minimax en entornos supervisados, sufren de sobreajuste y un rendimiento deficiente cuando los pares de datos son limitados. Los métodos existentes de aprendizaje semi-supervisado (SSL) se centran principalmente en tareas discriminativas o en la estimación de densidades marginales, dejando un vacío en la utilización de las covariables no etiquetadas $X$ para mejorar la estimación de la distribución condicional $P_{X|Y}$ en el modelado generativo.

Metodología: Difusión Condicional con Aumento de Etiquetas (LACD)

Los autores proponen la Difusión Condicional con Aumento de Etiquetas (LACD), un marco que integra los datos no etiquetados en el proceso de difusión condicional mediante una estrategia de aumento específica.

1. Espacio de Probabilidad Aumentado

La innovación central es la construcción de una variable de condicionamiento aumentada $\tilde{Y} \in \mathcal{Y} \cup \{\emptyset\}$ , donde $\emptyset$ representa el estado no etiquetado.

Datos Etiquetados: Se les asigna su etiqueta real $Y$ .
Datos No Etiquetados: Se les asigna una etiqueta "trivial" $\emptyset$ .
Identificación: La distribución condicional en este espacio aumentado se define de tal manera que $P_{X|\tilde{Y}=\emptyset} = P_X$ (la distribución marginal), mientras que $P_{X|\tilde{Y}=y} = P_{X|Y=y}$ para $y \in \mathcal{Y}$ . Esto permite que el modelo aprenda el componente base compartido de la distribución a partir de los abundantes datos no etiquetados, utilizando al mismo tiempo los pares etiquetados para identificar las variaciones específicas de la condición.

2. Especificación del Modelo

El método asume que las densidades condicionales comparten una estructura base común parametrizada por una función $h(\tilde{y})$ :
$p_{X|\tilde{Y}=\tilde{y}}(x|\tilde{y}) = p(x; h(\tilde{y}))$
donde $h(\tilde{y}) = b_0 + \Phi_0 e_y \cdot \mathbb{1}\{\tilde{y} = y \in \mathcal{Y}\}$ .

$b_0$ captura el componente compartido (aprendido de los datos etiquetados y no etiquetados).
$\Phi_0 e_y$ captura la desviación específica de la condición (aprendida principalmente de los datos etiquetados).
Esta formulación abarca diversas familias, incluyendo familias de localización, familias exponenciales y modelos de variables latentes.

3. Entrenamiento e Inferencia

Entrenamiento: El modelo emplea un proceso de difusión basado en puntuación (basado en Ornstein-Uhlenbeck). La red de puntuación $s_\theta$ se entrena mediante Emparejamiento de Puntuación de Denoisado (DSM) en el conjunto de datos aumentado. La pérdida empírica es una suma ponderada de las pérdidas de las muestras etiquetadas (dependiente de $b$ y $\Phi$ ) y de las muestras no etiquetadas (dependiente solo de $b$ ).
Muestreo: Para generar muestras para una condición específica $y$ , se simula el proceso de difusión inversa condicionado en $\tilde{y} = y$ .

Principales Contribuciones

1. Garantías Teóricas

El artículo establece tasas de convergencia de muestra finita para el estimador LACD tanto en distancias de Variación Total (TV) como en Wasserstein-1 (W1).

Mejora Estricta en TV: La tasa de convergencia en la distancia TV es estrictamente más rápida que la del estimador puramente supervisado cuando hay muestras no etiquetadas disponibles ( $N_u \gg N_\ell$ ).
Mejora en W1: La tasa de convergencia en la distancia W1 es al menos tan rápida como la contraparte supervisada. Específicamente, cuando la dimensión de la covariable $d_x > 2$ y el número de muestras no etiquetadas es suficientemente grande, la tasa de LACD es estrictamente más rápida.
Identificabilidad: Los autores proporcionan condiciones suficientes (vía construcción de teoría de la medida) que garantizan la identificabilidad de la distribución condicional objetivo a nivel de población bajo el esquema aumentado.

2. Validación Empírica

Se realizaron experimentos extensos en entornos sintéticos, de imágenes y de datos tabulares:

Datos Sintéticos: En conjuntos de datos 2D (ej. Gaussianas multimodales, anillos, espirales), el aumento del número de muestras no etiquetadas ( $N_u$ ) redujo consistentemente las distancias TV, MMD y W1, logrando que las muestras generadas recuperaran mejor la geometría objetivo.
Benchmarks de Imágenes (CIFAR-10 e Intel Scenes):
- En CIFAR-10, añadir datos no etiquetados mejoró significativamente la Distancia de Fréchet Inception (FID). Por ejemplo, con solo 1,000 muestras etiquetadas, añadir 10,000 muestras no etiquetadas redujo el FID promedio por clase en aproximadamente un 48%, igualando el rendimiento de un modelo entrenado únicamente con 5,000 muestras etiquetadas.
- El análisis visual y las proyecciones t-SNE indicaron que los datos no etiquetados redujeron la memorización de las muestras etiquetadas y mejoraron la cobertura en el espacio de características.
- Se observaron mejoras similares en el conjunto de datos Intel Scenes a través de varias categorías de escenas.
Datos Tabulares (Conjunto de datos de Epilepsia EEG de Bangalore): En un conjunto de datos EEG de 16 dimensiones, el aumento de las muestras no etiquetadas mejoró las distancias W1 por característica y por tramos, así como la adherencia a los límites y la alineación de la distribución marginal (KS Complement), demostrando la aplicabilidad del método a datos que no son de imagen.

Significado y Reivindicaciones

El artículo afirma que LACD proporciona una solución fundamentada y efectiva para la generación condicional semi-supervisada. Su principal importancia radica en:

Justificación Teórica: Es el primer trabajo que establece rigurosamente que las observaciones no etiquetadas del objeto generado $X$ pueden mejorar estrictamente la estimación de $P_{X|Y}$ en modelos de difusión, proporcionando tasas de convergencia que superan a las bases supervisadas.
Eficiencia Práctica: El método demuestra ganancias sustanciales en la eficiencia de muestreo, permitiendo una generación condicional de alta calidad incluso cuando los datos etiquetados son extremadamente escasos (ej. 1-10% del total de los datos).
Generalidad: El enfoque es aplicable a diversos tipos de datos (sintéticos, imágenes, tabulares) y familias de distribuciones, apoyándose en una arquitectura de parámetros compartidos que aprovecha naturalmente la información marginal contenida en los datos no etiquetados.

Los autores concluyen que, si bien el método muestra una fuerte promesa empírica y teórica, trabajos futuros podrían explorar los límites minimax, las adaptaciones de dimensionalidad intrínseca y la relajación del supuesto de valores perdidos completamente al azar (MCAR) para las etiquetas.