Resumen Técnico: Modelos de Difusión Condicionados por Representación para la Generación Guiada de Datos de Entrenamiento

Enunciado del Problema

La disponibilidad de datos sigue siendo un cuello de botella crítico en el aprendizaje profundo, donde los conjuntos de datos a gran escala suelen ser costosos de recopilar, curar y anotar. Esto limita la escalabilidad del aprendizaje supervisado. Si bien los modelos generativos, particularmente los modelos de difusión, ofrecen una solución potencial para la generación de datos sintéticos, los enfoques existentes enfrentan desafíos significativos en los escenarios más exigentes:

1. Sin guía externa: Solo está disponible el conjunto de datos objetivo, lo que impide el uso de modelos preentrenados de texto a imagen que dependen de indicaciones textuales.
2. Entrenamiento exclusivamente sintético: El modelo aguas abajo se entrena únicamente con datos generados sin acceso a imágenes reales.
3. Sin anotaciones adicionales: No hay indicaciones textuales ni etiquetas extra disponibles para guiar la generación más allá de las etiquetas de clase.

En este escenario, el modelo generativo debe capturar la diversidad completa de la distribución de datos reales sin el beneficio de una guía semántica externa, una tarea donde la generación condicionada por clases convencional a menudo lucha con la calidad de las muestras y la cobertura de modos.

Metodología

Los autores proponen una tubería que utiliza Modelos de Difusión Condicionados por Representación (RCDM) para generar datos de entrenamiento sintéticos. La metodología consta de dos etapas principales:

1. Generación de Datos Sintéticos (RCDM)

El proceso de generación implica entrenar un Modelo de Difusión Latente (LDM) condicionado por representaciones visuales de alto nivel en lugar de etiquetas de clase o indicaciones textuales.

• Selección del Codificador: Las imágenes de entrada se proyectan en un espacio de representación de menor dimensión utilizando codificadores visuales preentrenados. El estudio evalúa tres codificadores específicos:
  • DINOv2 (ViT-B/14): Produce incrustaciones de tokens CLS de 768 dimensiones.
  • DINOv3 (ViT-B/16): Produce incrustaciones de tokens CLS de 768 dimensiones.
  • CLIP (ViT-B/32): Produce incrustaciones de 512 dimensiones (denominado unCLIP).
• Entrenamiento: El LDM se entrena en el conjunto de datos ImageNet-100 (130k imágenes, 100 clases, resolución 256×256) durante 125 épocas con un tamaño de lote de 16.
• Muestreo: Las imágenes se generan utilizando un Modelo Probabilístico de Difusión de Eliminación de Ruido (DDPM) con 100 pasos de inferencia. Para asegurar la diversidad más allá del tamaño del conjunto de datos original, se utilizan semillas aleatorias distintas para la inicialización del ruido latente, manteniendo la consistencia semántica a través de la condición de representación.

2. Evaluación

La calidad de los datos sintéticos se evalúa entrenando un clasificador ResNet-50 exclusivamente en los conjuntos de datos generados.

• Comparación con Línea Base: El rendimiento se compara contra un clasificador entrenado en el conjunto de datos real ImageNet-100 y una línea base de LDM condicionado por clases (Cond-LDM).
• Aumento: Las imágenes sintéticas también se utilizan para aumentar datos reales, comparándose contra técnicas de aumento clásicas (AutoAug, RandAug, MixUp, ME-ADA).
• Filtrado: Se prueba una estrategia de filtrado de muestras donde las imágenes generadas se mapean de nuevo al espacio de representación, y las muestras extremas (el 25% más cercano y el 25% más lejano de los centroides de clase) se eliminan para retener muestras "intermedias".

Contribuciones Clave

El artículo presenta las siguientes contribuciones:

• Evaluación de RCDM para Entrenamiento: Los autores evalúan el rendimiento de clasificación de modelos entrenados en conjuntos de datos sintéticos generados por RCDM, investigando el impacto del tamaño del conjunto de datos y la representación de condición específica (DINOv2, DINOv3, CLIP).
• Escalado de Datos Sintéticos: El estudio demuestra que al escalar el tamaño del conjunto de datos sintético, los RCDM pueden superar el rendimiento de los modelos entrenados únicamente con datos reales.
• Aumento y Filtrado: El artículo muestra que las imágenes generadas por RCDM son efectivas para el aumento de datos, superando a las técnicas clásicas, y que el espacio de representación de condición permite estrategias de filtrado de muestras simples y efectivas.

Resultados

Los experimentos se realizaron en ImageNet-100, un conjunto de datos desafiante debido a su diversidad y tamaño limitado.

1. Escalado de Conjuntos de Datos Sintéticos

• Rendimiento vs. Datos Reales: Cuando el tamaño del conjunto de datos sintético se escaló a cuatro veces el tamaño del conjunto de datos real, los clasificadores entrenados con datos generados por RCDM superaron a la línea base entrenada con datos reales.
  • Condicionado por DINOv2: Logró una precisión Top-1 del 79.26% (vs. 77.26% de la línea base real).
  • Condicionado por DINOv3: Logró una precisión Top-1 del 78.8%.
  • Condicionado por CLIP: Logró una precisión Top-1 del 76.3% a escala 4x, mostrando una tendencia competitiva.
• Comparación con Condicionamiento por Clase: La línea base condicionada por clase (Cond-LDM) logró un máximo de 68.5% de precisión Top-1, rindiendo significativamente menos que los enfoques RCDM. Esto resalta la necesidad de una condición semántica rica mediante codificadores visuales preentrenados para capturar la estructura subyacente de la distribución de datos.

2. Filtrado del Espacio de Representación

Filtrar los datos sintéticos eliminando las representaciones 25% más cercanas y 25% más lejanas a los centroides de clase resultó en ligeras mejoras sobre los datos sintéticos sin filtrar (por ejemplo, DINOv3 filtrado alcanzó 71.10% vs. 70.02% sin filtrar a escala 1x), aunque persistió una brecha con la línea base de datos reales.

3. Aumento de Datos

Cuando se utilizó para aumentar datos reales (aumentando el tamaño del conjunto de datos a 2x o 3x):

• RCDM + Datos Reales: Agregar datos sintéticos generados con representaciones DINOv2 (tamaño total 3x) logró una precisión Top-1 del 82.22%.
• Comparación: Esto superó a todos los métodos de aumento clásico probados, incluyendo MixUp (81.58%), AutoAug (81.28%) y ME-ADA (80.14%).
• Cond-LDM: El aumento con datos sintéticos condicionados por clase (80.68%) rindió peor que el aumento basado en RCDM.

Significado y Afirmaciones

Los autores afirman que los Modelos de Difusión Condicionados por Representación proporcionan un enfoque prometedor para aumentar, complementar o potencialmente reemplazar conjuntos de datos del mundo real en tareas de aprendizaje visual a gran escala.

• Superar Datos Reales: La capacidad de superar a un clasificador entrenado con imágenes reales al escalar un conjunto de datos puramente sintético se presenta como "evidencia notable" del potencial del aprendizaje profundo generativo en la síntesis de datos de entrenamiento.
• Superar Limitaciones: A diferencia de los modelos de texto a imagen que requieren indicaciones, los RCDM utilizan representaciones visuales auto-supervisadas para guiar la generación, reduciendo efectivamente la brecha de dominio entre datos reales y sintéticos.
• Futuras Direcciones: El artículo sugiere que el trabajo futuro podría centrarse en mejorar el muestreo a través del espacio de representación (por ejemplo, interpolación, minería de ejemplos difíciles), refinar los mecanismos de eliminación de valores atípicos y verificar el rendimiento en diferentes conjuntos de datos y escenarios de disponibilidad de datos.

El trabajo posiciona a los RCDM no solo como una herramienta de aumento de datos, sino como un motor viable para generar datos de entrenamiento de alto valor en escenarios donde los datos reales son escasos, restringidos (por ejemplo, preocupaciones de privacidad en imágenes médicas) o insuficientes para la escalabilidad.