💻 computer science

Towards Consistent and Efficient Dataset Distillation via Diffusion-Driven Selection

Este artículo propone un nuevo marco de destilación de conjuntos de datos que aprovecha modelos de difusión preentrenados para seleccionar parches de imágenes distintivos basados en la pérdida de ruido predicha y el agrupamiento intra-clase, permitiendo un proceso simplificado de un solo paso que supera a los métodos de generación existentes en conjuntos de datos a gran escala.

Autores originales: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Publicado 2026-06-26

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Xinhao Zhong, Shuoyang Sun, Zhaoyang Xu, Xulin Gu, Bin Chen, Min Zhang, Yaowei Wang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un chef intentando enseñarle a un nuevo aprendiz a cocinar un banquete masivo y complejo (como un conjunto de datos completo de ImageNet con miles de platos). Normalmente, tendrías que mostrarle al aprendiz cada uno de los platos, cada ingrediente y cada paso. Esto lleva una eternidad, requiere una cocina enorme (memoria) y consume mucho gas (potencia de cómputo).

La Destilación de Conjuntos de Datos es la idea de crear una "hoja de trucos" o un "menú reducido" que sea tan perfecto, que el aprendiz pueda aprender todo el banquete simplemente estudiando estos pocos ejemplos.

El problema con las "hojas de trucos" anteriores

En el pasado, los científicos intentaron hacer estos menús reducidos de dos maneras:

Optimización Píxel por Píxel: Intentar retocar matemáticamente cada uno de los píxeles de unas pocas imágenes para que sean perfectas. Esto es como intentar esculpir una obra maestra de arcilla a mano; es increíblemente lento y solo funciona para platos pequeños y simples (como CIFAR-10). Cuando intentas aplicarlo a un banquete enorme (ImageNet), la cocina explota por la complejidad.
Generación por IA: Usar una IA poderosa (un Modelo de Difusión) para inventar nuevas imágenes desde cero que parezcan los platos reales. El problema aquí es que la IA fue entrenada con un menú diferente (el internet) al que le estás enseñando. Podría inventar un "Golden Retriever" que parezca una nube esponjosa o un "Tiburón" que parezca un pez con alas. Esto crea un desplazamiento de distribución (distribution shift): la comida falsa no sabe exactamente igual que la real.

La nueva solución: "Selección Impulsada por Difusión"

Los autores de este artículo proponen una nueva y astuta forma de crear la hoja de trucos. En lugar de pedirle a la IA que cree nueva comida, le piden a la IA que actúe como un crítico para encontrar las mejores partes de la comida real que ya está en la cocina.

Así es como funciona su método, usando una analogía simple:

Paso 1: La "Prueba de Sabor a Ciegas" (Etapa I)

Imagina que tienes una foto real de un Golden Retriever. Quieres saber: "¿Qué parte de esta foto es la más parecida a un Golden Retriever?".

Tomas una IA preentrenada (Stable Diffusion) y le pides que adivine el ruido (la estática) necesario para convertir una pantalla en blanco en un "Golden Retriever".
Luego, le pides que adivine el ruido necesario para convertir una pantalla en blanco en simplemente "un perro" (sin la raza específica).
La Magia: Al comparar estas dos suposiciones, la IA resalta los píxeles específicos que hacen que el perro parezca un Golden Retriever específicamente. Es como si la IA señalara con un puntero láser las orejas caídas y el pelaje dorado del perro, diciendo: "¡Esta es la parte importante!".
Recortan estos parches "señalados por el láser" de las imágenes reales. No están creando imágenes nuevas; solo están cortando los mejores trozos de las imágenes reales.

Paso 2: La "Fiesta de Agrupación" (Etapa II)

Ahora tienes miles de estos "mejores trozos". Algunos son orejas, otros son colas, otros son narices.

Si solo los lanzas en una bolsa, es un caos.
Por lo tanto, los autores utilizan una técnica de agrupamiento (clustering) (como clasificar calcetines por color y patrón) para agrupar parches similares.
Eligen el "calcetín" más representativo de cada grupo para asegurar que el menú reducido final tenga una buena variedad (diversidad) pero que aún capture la esencia de cada clase.

Por qué esto es un cambio radical

El artículo afirma tres victorias principales:

No más "Comida Falsa": Debido a que están cortando piezas de imágenes reales en lugar de generar imágenes falsas, la distribución de los datos coincide perfectamente con la original. No hay "alucinaciones" ni artefactos extraños.
Proceso de un solo paso: Los métodos antiguos a menudo tenían que volver a ejecutar todo el proceso cada vez que querías cambiar el número de imágenes o los tipos de clases. Este nuevo método es como un botón de "un solo clic". Lo ejecutas una vez y obtienes un conjunto de datos que funciona para muchos escenarios diferentes.
Velocidad y Escala: Funciona en conjuntos de datos masivos (como ImageNet-1K) y modelos complejos (como ResNet-101) donde los métodos anteriores fallaron o tardaron demasiado tiempo.

El Resultado

En sus experimentos, este método de "cortar y pegar", guiado por la capacidad de la IA para reconocer características, superó consistentemente a los métodos de vanguardia. Produjo conjuntos de datos más pequeños que entrenaron modelos tan bien como (o mejor que) los originales masivos, sin el pesado costo computacional de intentar optimizar píxeles o generar nuevas imágenes desde cero.

En resumen: En lugar de pedirle a una IA que pinte un nuevo cuadro de un perro, este método le pide a la IA que señale las partes más parecidas a un perro de una foto real, las recorte y las organice en una guía de estudio perfecta y compacta.

Resumen Técnico: Hacia una Destilación de Conjuntos de Datos Consistente y Eficiente mediante la Selección Impulsada por Difusión

Planteamiento del Problema

La destilación de conjuntos de datos busca sintetizar un conjunto de datos compacto que permita entrenar modelos profundos para lograr un rendimiento comparable al del conjunto de datos original completo, reduciendo así los costos de memoria y computación. Sin embargo, los métodos de optimización existentes (por ejemplo, el emparejamiento de gradientes o gradient matching) enfrentan un espacio de optimización a nivel de píxel sumamente vasto, lo que limita su viabilidad a conjuntos de datos de pequeña escala como CIFAR-10/100. Los enfoques recientes que aprovechan modelos de difusión preentrenados para generar imágenes sintéticas directamente sufren de limitaciones significativas:

Desplazamientos de Distribución: Los métodos que ajustan finamente (fine-tuning) los modelos de difusión (ya sea el modelo mismo o los prototipos de imagen en el espacio latente) suelen tener dificultades con el desajuste de la distribución entre los datos de preentrenamiento (por ejemplo, LAION, ImageNet-1K) y el conjunto de datos objetivo, lo que conduce a salidas irrelevantes para la clase o ruidosas.
Ineficiencia y Rigidez: Los métodos basados en difusión actuales a menudo requieren el ajuste fino del modelo para conjuntos de datos específicos o múltiples pasos de destilación al manejar diversas combinaciones de clases o relaciones de compresión (configuraciones IPC), lo que dificulta la escalabilidad práctica.

Metodología

Los autores proponen DDDS (Selección de Conjuntos de Datos Impulsada por Difusión), un marco que se aleja de los enfoques generativos al utilizar modelos de difusión preentrenados para la selección de parches en lugar de la generación de imágenes. El método opera en un proceso de un solo paso sin necesidad de ajustar el modelo de difusión ni de entrenar un clasificador de proximidad (proxy classifier).

Etapa I: Selección de Características Óptimas Relevantes de la Clase

En lugar de generar nuevas imágenes, el método identifica las regiones más informativas dentro de las imágenes reales originales.

Predicción de Ruido Diferencial: Para cada imagen de entrada $z$ y una etiqueta de clase objetivo $c$ , el modelo Stable Diffusion (SD) preentrenado predice mapas de ruido bajo dos condiciones: con el prompt de texto de la clase $c$ (por ejemplo, "Una imagen de un golden retriever") y sin la etiqueta (guía libre de clasificador, $\phi$ ).
Puntuación de Representatividad: La diferencia entre estas dos predicciones de ruido, $M(z|c) = \mathbb{E}_{\epsilon, t}[N_t(z, \epsilon, c) - N_t(z, \epsilon, \phi)]$ , cuantifica la información relevante de la clase. Una mayor pérdida diferencial indica que la región es crucial para distinguir la clase.
Extracción de Parches: El mapa de ruido se escala hacia arriba a la resolución original de la imagen. La imagen se divide en parches, y se calcula una puntuación $R(p|c)$ para cada parche sumando los valores de ruido diferencial. Los parches con las puntuaciones más altas se seleccionan como candidatos.

Etapa II: Agregación de Elementos Visuales

Para mitigar la aleatoriedad y asegurar la diversidad entre los parches seleccionados, se aplica una estrategia de selección basada en agrupamiento (clustering).

Extracción de Características: Los parches seleccionados se procesan para extraer representaciones DIFT (Característica de Difusión). Esto implica añadir ruido en un paso de tiempo específico al latente del parche y pasarlo a través de la U-Net con condicionamiento de texto para obtener activaciones de capas intermedias.
Agrupamiento y Clasificación: Se realiza un agrupamiento K-means sobre las características DIFT. La selección sigue una regla de doble clasificación:
1. Intra-grupo: Los parches se clasifican por su distancia al centroide del grupo (favoreciendo muestras centrales y representativas).
2. Inter-grupo: Los grupos se clasifican por la mediana de la puntuación de representatividad ( $R(p|c)$ ) de sus miembros.
Selección Final: Los grupos con mayor clasificación (por ejemplo, los 10 mejores) se priorizan para asegurar tanto la representatividad como la diversidad. Si el número de Imágenes Por Clase (IPC) es bajo, se concatenan múltiples parches para formar una única imagen sintética.

Principales Contribuciones

Paradigma Ortogonal: El artículo introduce un marco de destilación de conjuntos de datos que aprovecha los modelos de difusión preentrenados para la localización (selección) en lugar de la generación. Este enfoque aborda directamente las discrepancias distributivas entre el prior de difusión y el conjunto de datos objetivo.
Proceso Eficiente de un Solo Paso: El método elimina la necesidad de ajuste fino del modelo, entrenamiento de modelos de proximidad o destilación repetitiva a través de diferentes configuraciones (combinaciones de clases o IPCs). Logra un proceso de destilación de un solo paso, totalmente irrestricto.
Rendimiento de Vanguardia: Experimentos extensos demuestran que el método propuesto supera consistentemente a los métodos existentes sin entrenamiento (training-free) y de optimización en diversos conjuntos de datos (CIFAR, subconjuntos de ImageNet, ImageNet-1K) y arquitecturas de modelos (ResNet, ViT, EfficientNet).

Resultados Experimentales

Conjuntos de Datos de Alta Resolución: En ImageNet-1K y sus subconjuntos (ImageNette, ImageWoof, ImageNet-100), DDDS logra mejoras significativas sobre los modelos base como SRe2L, RDED, Minimax y D4M. Por ejemplo, en ImageNette con IPC=100, alcanza un 92.0% de precisión frente al 91.0% del siguiente mejor método (MGD3).
Conjuntos de Datos de Baja Resolución: En CIFAR-10/100 y TinyImageNet, el método iguala o supera el rendimiento de los métodos de emparejamiento de información (por ejemplo, DSA, IDM) y otros enfoques basados en difusión.
Generalización de Arquitectura Cruzada: Los conjuntos de datos destilados funcionan de manera robusta a través de diversas arquitecturas profesor-estudiante, incluyendo CNNs y Vision Transformers (ViTs).
Eficiencia: El proceso de un solo paso resulta en un costo de tiempo constante independientemente del número de combinaciones de clases o configuraciones de IPC, ofreciendo una aceleración sustancial (por ejemplo, una aceleración de 4x al usar un subconjunto de 300 imágenes reales para la extracción de parches) en comparación con los métodos que requieren destilación repetida.

Significado y Reivindicaciones

Los autores afirman que este trabajo proporciona una nueva perspectiva sobre el aprovechamiento de los modelos de difusión para la destilación de conjuntos de datos. Al cambiar de la generación a la selección, el método restaura efectivamente la distribución de los datos originales sin los sesgos introducidos por los priors generativos. El marco se destaca como una solución a los desafíos de escalabilidad y consistencia en la destilación de conjuntos de datos a gran escala, ofreciendo una alternativa práctica, sin entrenamiento y altamente eficiente a las técnicas actuales de vanguardia. El código fuente se pone a disposición para facilitar la investigación posterior.