💻 computer science

Rectified Decoupled Dataset Distillation: A Closer Look for Fair and Comprehensive Evaluation

Este artículo presenta Rectified Decoupled Dataset Distillation (RD $^3$ ), un marco que analiza y estandariza sistemáticamente los protocolos de postevaluación inconsistentes en los métodos desacoplados existentes para revelar que las variaciones de rendimiento reportadas a menudo surgen de discrepancias procedimentales en lugar de la calidad intrínseca del método, estableciendo así un punto de referencia justo y reproducible para investigaciones futuras.

Autores originales: Xinhao Zhong, Shuoyang Sun, Xulin Gu, Chenyang Zhu, Bin Chen, Yaowei Wang

Publicado 2026-02-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinhao Zhong, Shuoyang Sun, Xulin Gu, Chenyang Zhu, Bin Chen, Yaowei Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un estudiante cómo reconocer animales. Normalmente, le darías una biblioteca masiva de fotos (el "conjunto de datos real") para que estudie. Pero, ¿qué pasaría si pudieras reducir toda esa biblioteca a solo unas pocas fichas de estudio perfectas y diminutas (el "conjunto de datos sintético") que aún así le enseñen todo lo que necesita saber? Este es el objetivo de la Destilación de Conjuntos de Datos (Dataset Distillation).

Sin embargo, el artículo argumenta que la forma en que los investigadores están probando estas "fichas de estudio" actualmente es como juzgar una carrera donde todos parten de líneas diferentes, corren en superficies distintas y usan zapatos diferentes. No es una carrera justa y los resultados son engañosos.

Aquí tienes un desglose de los hallazgos del artículo utilizando analogías sencillas:

1. El Problema: La "Carrera Injusta"

Durante mucho tiempo, los investigadores han estado creando estos conjuntos de datos sintéticos diminutos y afirmando: "¡Mi método es el mejor!". Muestran mejoras enormes en las puntuaciones (como pasar de un 20% a un 45% de precisión).

Pero los autores de este artículo se dieron cuenta de algo sospechoso: las puntuaciones no se debían realmente a la calidad de las fichas de estudio. Se debían a cómo los investigadores configuraron el examen final.

Algunos investigadores le dieron a sus modelos estudiantes tiempo de estudio adicional.
Algunos usaron un tipo de profesor diferente para calificar las respuestas.
Algunos usaron "ruedas de entrenamiento" especiales (aumento de datos) que otros no usaron.

Era como comparar a un corredor que tuvo un viento a favor, una pista lisa y un entrenador personal contra un corredor que tuvo que correr cuesta arriba bajo la lluvia. El primer corredor parecía increíble, pero no era porque fuera más rápido; era porque las condiciones estaban amañadas.

2. La Solución: RD3 (La "Pista Estandarizada")

Para solucionar esto, los autores crearon RD3 (Rectified Decoupled Dataset Distillation). Piensa en esto como construir una pista perfectamente plana y estandarizada donde cada corredor debe usar los mismos zapatos y correr la misma distancia.

Tomaron todos los métodos populares (basados en optimización, basados en selección y basados en generación) y los obligaron a competir bajo un único y estricento conjunto de reglas:

Mismo tiempo de entrenamiento.
Mismo tipo de modelo profesor para generar "etiquetas suaves" (pistas/hints).
Mismo aumento de datos (sin trucos especiales).

3. Los Resultados Impactantes: La Brecha se Reduce

Cuando corrieron esta carrera justa, los resultados cambiaron drásticamente.

La Gran Mentira: Anteriormente, la brecha entre los "mejores" y los "peores" métodos parecía enorme (una diferencia de más del 27%).
La Realidad: Bajo las reglas justas, esa brecha se redujo a menos del 7%.

La Analogía: Imagina a un grupo de chefs afirmando que su sopa es vastamente superior. Cuando la prueban todos usando exactamente la misma sal, agua y temperatura, te das cuenta de que casi todos saben casi lo mismo. La "superioridad" era solo porque un chef usó una estufa elegante y otro usó una olla diferente.

4. ¿Qué es lo que Realmente Importa? (Eficiencia y Generalización)

Dado que las puntuaciones de precisión ahora son tan cercanas, el artículo dice que deberíamos dejar de obsesionarnos con puntos porcentuales minúsculos y mirar otras cosas:

Tiempo (Eficiencia): Algunos métodos tardan 100 horas en crear sus fichas de estudio, mientras que otros tardan 1 hora. Si las fichas son casi igualmente buenas, el que tarda 1 hora es el claro ganador.
Generalización: ¿Pueden las fichas enseñar a un estudiante que usa una arquitectura cerebral diferente? Algunos métodos funcionan muy bien con estudiantes simples, pero fallan con los complejos.

5. El "Truco de Magia" que no fue Magia

El artículo descubrió dos "armas secretas" que muchos investigadores estaban usando accidentalmente para aumentar sus puntuaciones, lo que hacía que sus métodos parecieran mejores de lo que eran:

Mejores Puntos de Partida: Algunos métodos comenzaron con "ruido aleatorio" mientras que otros comenzaron con "imágenes reales aleatorias". Comenzar con imágenes reales dio una enorme ventaja injusta.
Calificación Híbrida: Algunos métodos usaron un comité de profesores para calificar las respuestas, mientras que otros usaron solo uno. Usar un comité hizo que las puntuaciones parecieran más altas, pero eso no era parte del método central.

6. La Mayor Sorpresa: La Aleatoriedad es Poderosa

El hallazgo más sorprendente es que: si simplemente tomas fotos aleatorias de la biblioteca original y se las das al estudiante con "etiquetas suaves" (pistas de un profesor), esto a menudo supera a los métodos complejos y sofisticados.

En temas simples (como "Gato" vs. "Perro"): Un montón de fotos aleatorias funciona sorprendentemente bien porque la variedad es suficiente para enseñar al estudiante.
En temas difíciles (como "100 razas de perros diferentes"): Los métodos sofisticados que seleccionan cuidadosamente partes específicas de las imágenes siguen ganando porque las fotos aleatorias son demasiado confusas.

Resumen

El artículo es un "baño de realidad" para el campo de la Destilación de Conjuntos de Datos. Dice:

Dejen de comparar manzanas con naranjas. Necesitamos una forma estándar de probar estos métodos.
Muchos "avances" fueron solo mejores configuraciones. Una vez que corregimos las configuraciones, los métodos son mucho más similares de lo que pensábamos.
No ignoren lo básico. A veces, una selección simple de imágenes es tan buena como un algoritmo complejo, especialmente si utilizas la forma correcta de calificar al estudiante.

Los autores esperan que, al limpiar las reglas, la investigación futura se centre en crear conjuntos de datos sintéticos verdaderamente mejores en lugar de solo ajustar las condiciones del examen para obtener una puntuación más alta.

Resumen Técnico: Rectified Decoupled Dataset Distillation (RD3)

Planteamiento del Problema

La destilación de conjuntos de datos (Dataset Distillation, DD) tiene como objetivo generar conjuntos de datos sintéticos compactos que permitan a los modelos entrenados con ellos igualar el rendimiento de los modelos entrenados con conjuntos de datos reales completos, reduciendo así los costes de almacenamiento y computación. Aunque los primeros métodos de optimización bi-nivel (por ejemplo, MTT) mostraron potencial en conjuntos de datos de pequeña escala, sufren de una carga computacional prohibitiva al escalar a conjuntos de datos grandes como ImageNet-1K.

Para abordar la escalabilidad, los métodos recientes de destilación de conjuntos de datos desacoplados (por ejemplo, SRe2L, CDA, RDED) separan el preentrenamiento del modelo profesor de la generación de datos sintéticos. Estos métodos suelen emplear técnicas de post-evaluación, como el aumento de datos aleatorio y etiquetas suaves por época, para mejorar el rendimiento. Sin embargo, el campo se enfrenta a un desafío crítico: la inconsistencia en los protocolos de post-evaluación. Los estudios existentes utilizan configuraciones variables de tamaño de lote (batch size), programadores de tasa de aprendizaje (learning rate schedulers), aumentos de datos y tipos de etiquetas (duras vs. suaves). Esta inconsistencia crea ganancias de rendimiento confundidas, lo que dificulta determinar si las mejoras reportadas provienen de avances metodológicos genuinos en la síntesis de datos o simplemente de hiperparámetros de evaluación favorables. Como ilustra el artículo, las brechas de rendimiento reportadas entre métodos pueden superar el 27%, mientras que bajo configuraciones unificadas, esta brecha se reduce a menos del 7%.

Metodología: Rectified Decoupled Dataset Distillation (RD3)

Los autores proponen RD3, un marco de referencia (baseline) unificado y exhaustivo diseñado para garantizar comparaciones justas y reproducibles entre los métodos de destilación de conjuntos de datos desacoplados. La metodología implica:

Protocolo de Evaluación Estandarizado: Los autores establecen un conjunto consistente de configuraciones de post-evaluación para eliminar las variables de confusión. Las estandarizaciones clave incluyen:
- Épocas de Entrenamiento: Fijas en 400 épocas para alinear las iteraciones de convergencia entre métodos.
- Tamaño de Lote (Batch Size): Establecido uniformemente en 50 para la evaluación de ResNet-18 (y 100 para tareas de generalización) para equilibrar el rendimiento y la eficiencia.
- Programador de Tasa de Aprendizaje: Implementación de un programador de tasa de aprendizaje suavizado con un factor de suavizado universal ( $\zeta$ ) adaptado a la arquitectura de evaluación.
- Aumento de Datos: Adopción de una estrategia de aumento unificada (incluyendo CutMix, Random Ressized Cropping y patch exchange) en todos los métodos.
- Etiquetas Suaves (Soft Labels): Uso exclusivo de un único ResNet-18 preentrenado para generar etiquetas suaves mediante divergencia KL, garantizando la equidad al evitar etiquetas híbridas basadas en ensambles, a menos que se prueben explícitamente como una variable.
Reevaluación Sistemática: El marco reevalúa métodos representativos a través de tres paradigmas:
- Basados en Optimización: SRe2L, CDA, G-VBSM, DWA, EDC.
- Basados en Generación: Minimax, D4M.
- Basados en Selección: RDED.
  Estos se prueban en seis conjuntos de datos (CIFAR-10/100, TinyImageNet, ImageNette, ImageWoof, ImageNet-1K) con variaciones en Imágenes Por Clase (IPC) y a través de múltiples arquitecturas de red (series ResNet, EfficientNet, MobileNet, Swin-T, ViT-B).
Ablación de Factores Sutiles: El estudio investiga factores que a menudo se pasan por alto en comparaciones previas, incluyendo:
- Inicialización: El impacto de diferentes estrategias de inicialización (por ejemplo, ruido gaussiano vs. muestreo aleatorio) en los métodos basados en optimización.
- Etiquetas Suaves Híbridas: El efecto de utilizar múltiples modelos profesores para generar etiquetas suaves.
- Funciones de Pérdida: Comparación de la divergencia KL frente a la alineación MSE + Ground Truth.
- Baselines: Pruebas de muestreo de imágenes aleatorias como base bajo paradigmas de etiquetas suaves.

Resultados Clave

1. Las Inconsistencias de Evaluación Impulsan las Brechas Reportadas

Bajo el marco unificado de RD3, las diferencias de rendimiento entre métodos se reducen significativamente.

ImageNet-1K (IPC=10): La brecha de rendimiento reportada anteriormente entre métodos era de ~27.3%. Tras la rectificación, la brecha cae al 6.7%.
Ranking de Métodos: Ningún método supera consistentemente a todos los demás en todos los conjuntos de datos y configuraciones de IPC. Por ejemplo, EDC (basado en optimización) domina en CIFAR y configuraciones de bajo IPC, mientras que D4M (basado en generación) destaca en configuraciones de alto IPC debido a la diversidad de imágenes. RDED (basado en selección) muestra una degradación a medida que el IPC aumenta.

2. La Eficiencia y la Generalización son Métricas Críticas

Eficiencia: Aunque las diferencias de precisión son marginales, los costes computacionales varían en órdenes de magnitud (hasta 100x). Los métodos basados en optimización requieren el entrenamiento del clasificador, lo que hace que sus costes de despliegue sean significativamente más altos de lo reportado en los tiempos de generación.
Generalización: Los conjuntos de datos sintéticos muestran capacidades de generalización variables. Los métodos con mayor diversidad de imágenes (ej. D4M) se transfieren mejor a arquitecturas basadas en Transformers (ViT, Swin), mientras que los métodos con menor diversidad tienen dificultades con estos modelos.

3. Impacto de las Variables "Ocultas"

Inicialización: La elección de la inicialización afecta significativamente a los métodos basados en optimización. Por ejemplo, DWA y EDC se degradan con ruido gaussiano, mientras que G-VBSM mejora con el muestreo aleatorio.
Etiquetas Suaves Híbridas: Aplicar etiquetas suaves híbridas (de múltiples profesores) a métodos que no fueron diseñados originalmente para ello produce ganancias sustanciales de rendimiento (ej. SRe2L duplica su rendimiento en IPC=1).
Funciones de Pérdida: Cambiar de la divergencia KL a la alineación MSE + GT generalmente mejora el rendimiento, lo que sugiere que la selección de la función de pérdida es una variable crítica y, a menudo, no controlada.

4. El Baseline de Muestreo Aleatorio

Un hallazgo sorprendente es que el muestreo de imágenes aleatorias, cuando se evalúa con etiquetas suaves, supera a todos los métodos de destilación desacoplados existentes en conjuntos de datos de grano grueso (CIFAR-10/100, ImageNette, ImageNet-1K). Esto sugiere que, para estos conjuntos de datos, la diversidad de las muestras aleatorias combinada con la alineación de etiquetas suaves es más efectiva que los complejos mecanismos de destilación. Por el contrario, en conjuntos de datos de grano fino (TinyImageNet, ImageWoof), los métodos de destilación siguen siendo superiores al muestreo aleatorio.

Significado y Reivindicaciones

El artículo sostiene que el campo de la destilación de conjuntos de datos se ha visto obstaculizado por protocolos de evaluación inconsistentes que confunden la innovación algorítmica con el ajuste de hiperparámetros y mejoras auxiliares.

Benchmarking Justo: RD3 proporciona la primera evaluación exhaustiva de los métodos desacoplados representativos bajo condiciones totalmente estandarizadas, ofreciendo una base para una comparación justa.
Reevaluación del Progreso: Los autores argumentan que muchas de las ganancias de rendimiento reportadas no se deben a mejoras intrínsecas en la calidad de los datos sintéticos, sino a configuraciones de evaluación inconsistentes (ej. tamaño de lote, programadores, aumentos).
Nuevos Baselines: El trabajo identifica el muestreo aleatorio con etiquetas suaves como un baseline poderoso y previamente pasado por alto que la investigación futura debe superar, particularmente para tareas de grano grueso.
Evaluación Holística: El artículo aboga por ir más allá de la precisión de prueba para incluir la eficiencia computacional y la generalización a través de diversas arquitecturas como criterios de evaluación primarios.

En conclusión, los autores postulan que el progreso futuro en la destilación de conjuntos de datos requiere una adherencia rigurosa a protocolos estandarizados para distinguir los verdaderos avances metodológicos de los artefactos del diseño de la evaluación.