Resumen Técnico: Replanteando la Destilación de Conjuntos de Datos para Clasificación

Planteamiento del Problema

La Destilación de Conjuntos de Datos (DD, por sus siglas en inglés) tiene como objetivo sintetizar conjuntos de entrenamiento compactos y sintéticos que preserven el rendimiento de generalización de los modelos entrenados con conjuntos de datos originales a gran escala. A pesar de su promesa en el aprendizaje automático centrado en los datos, el campo enfrenta dos desafíos críticos:

1. Protocolos de Evaluación Inconsistentes: Los métodos de DD se evalúan a menudo utilizando pipelines variables (por ejemplo, el Error Empírico Minimizado estándar frente a la supervisión de etiquetas suaves de un solo o múltiples profesores). Esto dificulta aislar si las mejoras en el rendimiento se deben a la calidad de los datos destilados o a elecciones específicas de diseño de la evaluación.
2. Superioridad no Sustentada sobre los Coresets: Muchos métodos de DD afirman superar la Selección de Coresets (CS) —que selecciona subconjuntos de datos reales— basándose en la suposición de que restringir los datos condensados a muestras reales limita la expresividad. Sin embargo, estas afirmaciones carecen de una comparación sistemática contra bases de referencia (baselines) de CS fuertes, particularmente en conjuntos de datos a gran escala y bajo protocolos estandarizados.

Además, muchos enfoques de DD dependen de modelos generativos preentrenados entrenados con el conjunto de datos completo, lo que limita su escalabilidad y aplicabilidad en dominios donde tales modelos no están disponibles.

Metodología

Los autores llevan a cabo un estudio de benchmarking sistemático y a gran escala para desentrañar la efectividad intrínseca de la DD de los artefactos de evaluación y para comparar rigurosamente la DD contra la CS.

Diseño Experimental

• Conjuntos de Datos: Los experimentos se realizan en ImageNet-1K (1,000 clases), ImageNet-100 (100 clases) e ImageNette (10 clases).
• Métodos Comparados:
  • Métodos de DD (7 SOTA): El estudio cubre tres categorías:
    • Basados en Entrenamiento Generativo: VLCP, D3HR, Minimax (requieren el ajuste fino de modelos generativos).
    • Sin Entrenamiento Generativo: DiT-Distillation, MGD, ManifoldGD (utilizan modelos generativos preentrenados con muestreo guiado).
    • No Generativos/Desacoplados: FADRM+ (optimiza las muestras mediante el emparejamiento de residuos de datos).
  • Métodos de CS (3 Estrategias):
    • Muestreo Aleatorio: Un baseline simple por clase.
    • AUM (Margen Acumulado): Califica las muestras basándose en la dinámica de entrenamiento (margen) de un modelo entrenado con el conjunto de datos completo.
    • CS Guiado por Conceptos: Utiliza cuellos de botella de conceptos basados en LLM para estimar la importancia de la muestra sin el entrenamiento de todo el conjunto de datos.
• Protocolos de Evaluación: Para probar la sensibilidad a la supervisión, se utilizan tres protocolos:
  1. Etiqueta Dura (Hard Label): Modelos entrenados directamente con conjuntos condensados con etiquetas originales (sin profesor).
  2. Etiqueta Suave de un Solo Profesor (RDED): Utiliza un profesor preentrenado para generar etiquetas suaves para la destilación de conocimiento.
  3. Etiqueta Suave de Múltiples Profesores (EDC): Utiliza múltiples profesores y supervisión híbrida (etiquetas suaves + duras).
• Métricas: Más allá de la precisión, el estudio evalúa la Representatividad (cobertura de la distribución original), la Diversidad (redundancia dentro del conjunto condensado) y el Costo de Construcción (tiempo y recursos computacionales).

Contribuciones Clave

1. Benchmarking Sistemático: El artículo proporciona la primera comparación exhaustiva de siete métodos SOTA de DD contra tres estrategias de CS bajo conjuntos de datos y protocolos de evaluación uniformes.
2. Análisis de Sensibilidad del Protocolo: Demuestra que el rendimiento de la DD está altamente entrelazado con el pipeline de evaluación, y que ningún método de DD supera consistentemente a otros en todos los protocolos y conjuntos de datos.
3. Reevaluación de DD vs. CS: El estudio desafía la narrativa de que la DD supera inherentemente a la CS, mostrando que los métodos de CS a menudo igualan o exceden el rendimiento de la DD, particularmente en conjuntos de datos a gran escala.
4. Evaluación de Calidad Multidimensional: Los autores introducen un marco de evaluación más amplio que incluye representatividad, diversidad y costo de construcción, revelando que los métodos de CS suelen proporcionar una mejor cobertura de la distribución y eficiencia.

Resultados

Rendimiento de Precisión

• Conjuntos de Datos a Gran Escala (ImageNet-1K/100): Bajo el protocolo de Etiqueta Dura, los métodos de CS (específicamente AUM y Conceptos) igualan consistentemente o superan significativamente a los métodos SOTA de DD. Por ejemplo, en ImageNet-1K con 10 IPC (Imágenes Por Clase), AUM supera al mejor método de DD por un 3.3% (ResNet-18) y un 4.8% (ResNet-50).
• Protocolos de Etiquetas Suaves: Incluso cuando se utilizan etiquetas suaves de un solo o múltiples profesores (donde la DD típicamente gana una ventaja), los métodos de CS siguen siendo altamente competitivos, igualando o superando a menudo el rendimiento de la DD.
• Conjuntos de Datos de Pequeña Escala (ImageNette): Los métodos de DD funcionan bien en ImageNette, superando a veces a la CS. Sin embargo, los autores señalan que el "mejor" método de DD varía según el protocolo, lo que resalta la inestabilidad de los rankings de DD en comparación con la robustez de la CS.
• Baselines Aleatorios: Varios métodos de DD no logran superar a los subconjuntos aleatorios simples de datos reales, particularmente bajo la evaluación de etiqueta dura.

Eficiencia y Calidad

• Costo de Construcción: Los métodos de CS exhiben una complejidad de tiempo constante en relación con el IPC (Imágenes Por Clase), mientras que los métodos de DD (especialmente los generativos) escalan de forma lineal con el IPC. Los métodos de DD basados en entrenamiento incurren en costos sustanciales debido al entrenamiento/ajuste fino del modelo generativo.
• Representatividad y Diversidad: Los métodos de CS (particularmente AUM) logran un compromiso superior, ocupando la región de alta representatividad y alta diversidad del espacio métrico. Los métodos de DD tienden a concentrarse en modos visuales más estrechos, lo que resulta en una menor diversidad y mayor redundancia.
• Calidad Visual: El análisis cualitativo muestra que los subconjuntos de CS (AUM) capturan diversas poses, puntos de vista y fondos. En contraste, los conjuntos de DD suelen presentar vistas canónicas repetidas, artefactos y texturas antinaturales.

Significado y Reivindicaciones

El artículo argumenta que el éxito actual de la Destilación de Conjuntos de Datos requiere una reevaluación. Los autores afirman que:

1. La CS es un Baseline Necesario: La investigación futura en DD debe incluir bases de referencia de CS fuertes (como AUM) para evitar malinterpretar las ganancias específicas de la evaluación como una eficiencia de datos intrínseca.
2. La Evaluación Estandarizada es Crítica: El campo debe adoptar protocolos estandarizados, incluyendo la evaluación de etiqueta dura, para evaluar justamente la utilidad real de los datos destilados.
3. Eficiencia Práctica: Para el aprendizaje centrado en datos a gran escala, la Selección de Coresets sigue siendo una alternativa más eficiente computacionalmente, escalable y robusta a la DD actual, ofreciendo una precisión comparable o superior con costos de construcción significativamente menores y una mejor cobertura de la distribución.

Los autores concluyen que, si bien la DD muestra promesa en conjuntos de datos pequeños y separables, sus ventajas prácticas disminuyen en benchmarks a gran escala donde la CS proporciona una solución más eficiente y confiable.