Resumen Técnico: Evaluación del Espacio de Representación de los Modelos de Difusión mediante Principios de Aprendizaje Auto-supervisado

1. Planteamiento del Problema

Los modelos de difusión se han consolidado como sistemas generativos de vanguardia y, más recientemente, como potentes aprendices de representaciones auto-supervisadas. Sin embargo, la conexión teórica y práctica entre sus capacidades generativas y sus propiedades de aprendizaje de representaciones sigue siendo poco explorada. A diferencia de los métodos tradicionales de aprendizaje auto-supervisado (SSL) que optimizan explícitamente la invariancia ante aumentos de datos, los modelos de difusión se entrenan mediante un objetivo de eliminación de ruido para recuperar señales limpias a partir de entradas corrompidas por ruido gaussiano.

Esta distinción plantea preguntas fundamentales: ¿Hasta qué punto las representaciones de difusión capturan implícitamente las propiedades geométricas de las "buenas" representaciones (como la invariancia y la expansión) buscadas en el SSL? Además, ¿cómo evolucionan estas propiedades a través de diferentes niveles de ruido y a lo largo de la dinámica de entrenamiento, particularmente en regímenes de datos limitados donde los modelos transitan de la generalización a la memorización? Las métricas de evaluación actuales, como la Distancia de Fréchet Inception (FID), suelen ser insuficientes para detectar la memorización temprana o para proporcionar señales intrínsecas y libres de etiquetas durante el entrenamiento.

2. Metodología

2.1 Descomposición de Invariancia-Residuo

Los autores proponen un marco basado en principios de SSL para analizar las características de la difusión. Para una imagen de entrenamiento $\mathbf{x}_0$ dada, consideran una perturbación aleatoria $a$ que abarca tanto los aumentos estándar que preservan la semántica como el ruido gaussiano aditivo inherente al proceso de difusión. Sea $\mathbf{h}(a(\mathbf{x}_0))$ la representación extraída de una capa fija del modelo de difusión.

Los autores descomponen esta representación en dos componentes:

1. Componente Invariante ($\mathbf{s}$): La media condicional de la representación a través de las perturbaciones, $\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$. Esto captura atributos semánticos estables que son resilientes a la corrupción.
2. Componente Residual ($\boldsymbol{\xi}$): La desviación de la media, $\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$. Esto captura variaciones específicas de la vista y sensibles al aumento.

Esta descomposición conduce a una descomposición de covarianza total: $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$, donde $\boldsymbol{\Sigma}_s$ representa la dispersión de las identidades invariantes y $\boldsymbol{\Sigma}_\xi$ representa la variación residual agregada.

2.2 La Relación de Contaminación Invariante (ICR)

Para cuantificar la "salud" del espacio de representación, los autores introducen la Relación de Contaminación Invariante (ICR). Formulan un problema de autovalores generalizado:
$$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$$
donde $\lambda_i$ representa la relación señal-ruido (SNR) a lo largo de la $i$-ésima dirección de Fisher $\mathbf{v}_i$. Un $\lambda_i$ alto indica una dirección dominada por una estructura invariante estable, mientras que un $\lambda_i$ bajo indica el dominio de la variación de ruido residual.

El ICR se define como:
$$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$$
donde $d$ es la dimensión de la característica.

• ICR Bajo: Indica que la señal invariante domina la variación residual (SNR alta), lo que sugiere una representación robusta.
• ICR Alto: Indica que la variación residual (contaminación) ocupa una parte significativa del espacio de representación.

Crucialmente, el ICR es libre de etiquetas y puede calcularse enteramente a partir de las características de entrenamiento sin evaluadores externos o conjuntos de prueba no utilizados.

3. Contribuciones Clave

1. Una Métrica Basada en la Representación: El artículo introduce el ICR, una métrica escalar única derivada de una descomposición de invariancia-residuo. Mide la medida en que la variación sensible al aumento y al ruido contamina la estructura estable del espacio de características.
2. Identificación de una Ventana Semántica: Los autores demuestran que los cronogramas de ruido de la difusión admiten una "ventana semántica" intermedia donde el ICR se minimiza. Este mínimo coincide con los niveles de ruido que producen la mayor precisión de clasificación lineal, proporcionando una regla simple, basada en SSL, para seleccionar escalas de ruido óptimas para tareas posteriores.
3. Seguimiento de la Generalización vs. Memorización: El artículo revela fases de aprendizaje distintas en el espacio de representación:
   • Régimen de Datos Abundantes: El ICR disminuye monótonamente a medida que el entrenamiento progresa, siguiendo de cerca las mejoras en la calidad generativa (FID).
   • Régimen de Datos Limitados: El ICR exhibe una trayectoria en forma de U. Disminuye inicialmente a medida que el modelo aprende a generalizar, alcanza un mínimo y luego aumenta a medida que el modelo comienza a memorizar muestras de entrenamiento específicas. Esto convierte al ICR en una señal de parada temprana sensible para la memorización, detectable antes de que las métricas de generación estándar o las pruebas de vecinos más cercanos indiquen sobreajuste.

4. Resultados Experimentales

El marco fue evaluado en CIFAR-10, CIFAR-100 e ImageNet utilizando varias arquitecturas de difusión (EDM, SiT).

• Análisis de Nivel de Ruido: En todos los conjuntos de datos, la curva de ICR tiene forma de U con respecto a los niveles de ruido. El mínimo del ICR se alinea precisamente con el pico en la precisión de clasificación lineal. Esto confirma que los niveles de ruido intermedios ofrecen el mejor equilibrio entre la captura de detalles finos y las estructuras semánticas estables.
• Entrenamiento con Datos Abundantes: En experimentos con conjuntos de entrenamiento completos (por ejemplo, 50k imágenes de CIFAR-10, 1.28M de ImageNet), tanto el ICR como el FID disminuyeron monótonamente durante las iteraciones de entrenamiento. Esto sugiere que, a medida que el modelo aprende la variedad de los datos, su representación interna se vuelve cada vez más invariante y "pura".
• Entrenamiento con Datos Limitados: En experimentos con datos limitados (por ejemplo, 4k imágenes de CIFAR-10, 10k de ImageNet), el ICR siguió una curva en forma de U. El mínimo de la curva de ICR ocurrió justo antes de que la relación de memorización comenzara a subir. Las visualizaciones de los vecinos más cercanos confirmaron que, durante el mínimo del ICR, los vecinos eran semánticamente significativos, mientras que en la fase de sobreajuste (ascenso del ICR), los vecinos se volvieron visualmente no relacionados.
• Dinámicas de Expansión de Características: El análisis de las trazas de $\boldsymbol{\Sigma}_s$ y $\boldsymbol{\Sigma}_\xi$ mostró que, en regímenes de datos abundantes, la expansión de características es impulsada por el crecimiento de la estructura invariante. En regímenes de datos limitados, una vez que la estructura invariante se satura, la expansión adicional es impulsada por la variación residual, lo que conduce al aumento del ICR.

5. Significado y Reivindicaciones

El artículo afirma que los modelos de difusión pueden ser monitoreados y evaluados eficazmente a través de la geometría de sus representaciones aprendidas utilizando principios de auto-supervisión. La importancia principal radica en proporcionar señales intrínsecas durante el tiempo de entrenamiento que no dependen de:

• Redes pre-entrenadas externas (como DINOv2 o Inception).
• Muestreo y generación costosa de imágenes de prueba.
• Etiquetas de verdad de campo (ground-truth).

Los autores argumentan que el ICR sirve como una herramienta de diagnóstico unificada que cierra la brecha entre el aprendizaje de representaciones y el modelado generativo. Ofrece un método práctico para identificar escalas de ruido óptimas para la extracción de características y para detectar el inicio de la memorización en escenarios de escasez de datos, abordando un vacío crítico en las metodologías de evaluación actuales donde las métricas estándar como FID pueden fallar al detectar el sobreajuste temprano. El trabajo sugiere que la transición de la generalización a la memorización es fundamentalmente un cambio en el espacio de representación de una estructura invariante hacia una variación residual.