Resumen Técnico: Curación de Imágenes Sintéticas Post-Generación mediante la División Homogénea-Heterogénea

1. Planteamiento del Problema

Los modelos generativos (GM) recientes ofrecen una solución escalable para la escasez de datos al producir imágenes sintéticas de alta calidad. Sin embargo, el simple hecho de aumentar el volumen de datos sintéticos no garantiza una mejora en el rendimiento de las tareas posteriores (downstream) debido a tres desafíos principales:

1. Ruido: Los conjuntos de datos sintéticos suelen contener muestras de baja fidelidad o mal etiquetadas.
2. Sesgo: Los generadores tienden a sobrerrepresentar los modos canónicos de una clase mientras subrepresentan la variación intra-clase, lo que provoca sesgos inherentes en los modelos posteriores.
3. Eficiencia: Escalar los datos para mitigar estos problemas incurre en una sobrecarga computacional significativa y tiempos de entrenamiento más largos.

Los enfoques existentes para mejorar la utilidad de los datos sintéticos suelen implicar intervenciones en el lado del generador, como el ajuste fino (fine-tuning) de los generadores o el uso de estrategias ligeras como la ingeniería de prompts o la guía en tiempo de inferencia. Estos métodos suelen ser específicos para cada generador, requieren una experiencia de dominio significativa o conllevan costos computacionales sustanciales de reentrenamiento.

Este artículo aborda una pregunta complementaria: Dado un conjunto fijo de imágenes generadas, ¿se puede mejorar la utilidad posterior mediante la selección de un subconjunto informativo? Los autores argumentan que la selección efectiva debe contrarrestar el sesgo estructural de los generadores modernos equilibrando la fidelidad semántica con la diversidad representacional.

2. Metodología

El marco propuesto es un flujo de trabajo de curación post-generación agnóstico al generador que no requiere el reentrenamiento del modelo generativo. Consta de dos etapas principales:

A. División Homogénea-Heterogénea (HO-HE) de Datos Reales

En lugar de tratar el conjunto de datos de referencia real como una distribución monolítica, el método particiona cada clase real en dos subconjuntos distintos basados en un grafo de 1-vecino más cercano (1-NN) dirigido en el espacio de características:

• Conjunto Homogéneo (HO): Contiene muestras "canónicas" que sirven como representantes locales para otras muestras de la clase. Formalmente, $I_{HO}$ es el conjunto de nodos con grado de entrada positivo en el grafo 1-NN. Estas muestras exhiben una alta similitud intra-clase y representan la semántica central.
• Conjunto Heterogéneo (HE): Contiene muestras con grado de entrada cero en el grafo 1-NN. Estas representan variaciones no redundantes e instancias menos típicas que no son necesarias como vecinos cercanos para otros ejemplos.

Idea Clave: Los generadores tienden a producir en exceso muestras que se asemejan al conjunto HO, mientras que descuidan el conjunto HE. Además, los discriminadores suelen tener más dificultades con las muestras HE, lo que indica que contienen variaciones más difíciles y diversas.

B. Puntuación de Fidelidad-Diversidad Condicionada por Partición

Una vez dividido el conjunto de datos reales, las imágenes sintéticas se puntúan y seleccionan basándose en un mecanismo de doble criterio que hace referencia a las particiones HO y HE por separado:

1. Puntuación de Fidelidad ($S^p_{fid}$): Mide la alineación semántica entre una muestra sintética y la partición real $p$ (donde $p \in \{HO, HE\}$) utilizando la similitud de coseno entre los vectores de características.
2. Puntuación de Diversidad ($S^p_{div}$): Fomenta la desviación de los patrones canónicos.
   • Para la partición HO, el ancla de referencia es el centroide de la clase.
   • Para la partición HE, el ancla es el vecino más cercano en el conjunto HO.
   • La puntuación de diversidad se calcula como la similitud de coseno negativa entre el vector desde la instancia real hacia su ancla y el vector desde la instancia real hacia la muestra sintética. Esto recompensa las muestras sintéticas que divergen de la dirección canónica dominante.

Puntuación Total: La puntuación de selección final es una suma ponderada:
$$S^p = \alpha \cdot S^p_{div} + (1 - \alpha) \cdot S^p_{fid}$$
Donde $\alpha$ es un hiperparámetro que controla el compromiso entre diversidad y fidelidad. El método selecciona las top-$k$ muestras de cada partición para formar el conjunto final curado.

3. Contribuciones Clave

1. Partición HO-HE: Una partición de cobertura de vecinos más cercanos de los datos reales con una garantía de minimalidad (Proposición 1), que proporciona una definición explícita de muestras canónicas frente a no redundantes sin requerir supuestos de ejes globales (a diferencia de k-means).
2. Estrategia de Selección Principiada: Un marco post-generación que cuantifica y equilibra conjuntamente la fidelidad y la diversidad. Es agnóstico al generador, requiriendo solo un conjunto de datos sintéticos y evitando el costoso reentrenamiento o ajuste fino de los generadores.
3. Validación Exhaustiva: Experimentos extensos en benchmarks de clasificación y segmentación (CIFAR-10, ImageNet, SVHN, Tiny-ImageNet) y múltiples arquitecturas (ResNet, ViT, EfficientNet) y generadores (EDM, EDM2, StyleGAN).

4. Resultados Experimentales

El método fue evaluado bajo dos configuraciones: selección general de un conjunto fijo y selección tipo "plug-in" después de intervenciones en el lado del generador.

• Rendimiento In-Domain: El método superó consistentemente a las líneas base de vanguardia (incluyendo Random Selection, CLIP-Align, RealScore y SBSim).
  • En SVHN, el método igualó a las líneas base de datos reales con ~100k muestras sintéticas, mientras que las líneas base requerían >200k.
  • En CIFAR-10, alcanzó una precisión del 95% con 300k muestras, mientras que las líneas base requerían ~500k.
  • En ImageNet-1K, logró la mejor precisión Top-1 en ambas configuraciones de entrenamiento desde cero (from-scratch) y ajuste fino (fine-tuning) utilizando ViT-B/16 y ResNet-50.
• Robustez Out-of-Distribution (OOD): Los modelos entrenados con datos curados mostraron una robustez superior en varios benchmarks OOD (por ejemplo, ImageNet-C, ImageNet-Sketch, CIFAR-10-Warehouse) en comparación con modelos entrenados con datos sintéticos no curados o seleccionados aleatoriamente.
• Eficacia del Plug-in: Cuando se aplicó como un paso de post-procesamiento después de intervenciones del generador específicas para la tarea (por ejemplo, intervención en tiempo de inferencia o JoDiffusion ajustado), el método de curación proporcionó ganancias adicionales.
  • Para la clasificación en ImageNet-100, logró una precisión comparable o mejor con un 40–50% menos de muestras sintéticas en comparación con la línea base de solo intervención.
  • Para la segmentación en VOCaug, mejoró el mIoU sobre la línea base del generador ajustado.
• Análisis de Compromiso (Trade-off): El $\alpha$ óptimo (peso de diversidad) cambia según la calidad del generador y el volumen de datos. A medida que la fidelidad del generador aumenta (por ejemplo, EDM2) y los presupuestos de entrenamiento crecen, la estrategia óptima se desplaza hacia priorizar la diversidad ($\alpha \to 1$), ya que las muestras canónicas de alta fidelidad ofrecen rendimientos decrecientes.

5. Significado y Reivindicaciones

El artículo postula que la selección post-generación no es un sustituto de mejores generadores, sino un mecanismo complementario para mejorar la utilidad de los datos sintéticos.

• Abordar el Sesgo del Generador: El estudio destaca que los generadores modernos tienen un sesgo estructural hacia los modos canónicos (HO). La división HO-HE propuesta aborda esto explícitamente al asegurar que el conjunto de datos curado incluya variaciones no redundantes (HE) que los generadores naturalmente producen en menor medida.
• Eficiencia: El método ofrece una alternativa práctica y escalable a las intervenciones en el tiempo de generación. La sobrecarga computacional del proceso de curación (extracción de características y puntuación) es insignificante comparada con los ahorros en el tiempo de entrenamiento posterior y el volumen de datos requerido para alcanzar un rendimiento equivalente.
• Generalizabilidad: El marco es efectivo a través de diferentes modelos generativos, extractores de características (SigLIP, DINOv3, ViT) y tareas posteriores (clasificación, segmentación), lo que sugiere que equilibrar la fidelidad y la diversidad es un principio fundamental para aprovechar los datos sintéticos de manera efectiva.