Understanding Dataset Distillation via Spectral Filtering

Resumen Técnico: Comprensión de la Destilación de Conjuntos de Datos mediante Filtrado Espectral

1. El Problema

El crecimiento exponencial de los datos plantea desafíos significativos para la eficiencia y escalabilidad del entrenamiento de redes neuronales profundas. La Destilación de Conjuntos de Datos (Dataset Distillation - DD) surge como solución, buscando comprimir grandes conjuntos de datos reales en conjuntos sintéticos compactos sin sacrificar el rendimiento del modelo.

Sin embargo, existen múltiples métodos de DD (como emparejamiento de gradientes, trayectorias o estadísticas) con objetivos de optimización dispares. La literatura carece de una comprensión unificada sobre las conexiones subyacentes entre estos métodos. Las preguntas clave que el artículo aborda son:

• ¿Están relacionados los diferentes métodos de DD?
• ¿Existe un marco unificado que pueda explicar sus objetivos?
• ¿Por qué algunos métodos capturan mejor la textura (alta frecuencia) y otros el color global (baja frecuencia)?

2. Metodología Propuesta

El artículo introduce dos contribuciones metodológicas principales: un marco teórico unificador (UniDD) y un nuevo algoritmo de destilación (CFM).

A. UniDD: Un Marco de Filtrado Espectral
Los autores proponen UniDD, un marco que unifica diversos objetivos de DD interpretándolos como funciones de filtrado espectral aplicadas a las matrices de correlación de características.

• Matrices Clave:
  • FFC (Feature-Feature Correlation): Matriz de correlación entre canales de características ($X^\top X$).
  • FLC (Feature-Label Correlation): Matriz de correlación entre características y etiquetas ($X^\top Y$).
• El Mecanismo: UniDD demuestra que cada método de DD intenta igualar las matrices FFC y FLC entre los datos reales y sintéticos, pero difieren en la función de filtrado $f(\cdot)$ aplicada a los autovalores de la matriz FFC.
  • Filtros de Paso Bajo (Low-Pass): Métodos como DM (Distribution Matching) y DC (Dataset Condensation) actúan como filtros de paso bajo. Capturan componentes de baja frecuencia (colores, formas generales), resultando en imágenes sintéticas borrosas pero con buena consistencia intraclase.
  • Filtros de Paso Alto (High-Pass): Métodos como MTT (Trajectory Matching) y FrePo actúan como filtros de paso alto. Enfatizan componentes de alta frecuencia (texturas finas, detalles), mejorando la diversidad de los datos sintéticos.
• Limitación Identificada: Los métodos existentes utilizan funciones de filtrado fijas durante todo el proceso, lo que les impide capturar simultáneamente tanto la información de baja como de alta frecuencia de manera óptima.

B. CFM: Emparejamiento de Frecuencia Curricular (Curriculum Frequency Matching)
Para superar la limitación de los filtros fijos, los autores proponen CFM, un método que ajusta dinámicamente el parámetro del filtro durante la destilación.

• Función de Filtro: Utiliza una función paramétrica $f(\lambda) = (\lambda + \beta)^{-1}$, donde $\beta$ controla la proporción de información de alta frecuencia.
• Estrategia Curricular: En lugar de mantener $\beta$ constante, CFM utiliza un programador (scheduler) que reduce gradualmente $\beta$ a lo largo de los lotes (batches) de entrenamiento:
  $$\beta_b = \beta^* \cdot \frac{1 + \cos(\pi b / B)}{2}$$
  • Fase Inicial ($\beta$ alto): Se prioriza la consistencia y la información de baja frecuencia (estabilidad).
  • Fase Final ($\beta$ bajo): Se prioriza la diversidad y la información de alta frecuencia (texturas finas).
• Función de Pérdida: Combina una pérdida de emparejamiento de filtros ($L_{filter}$) y una pérdida de emparejamiento de señales ($L_{signal}$) con la pérdida de clasificación estándar.

3. Contribuciones Clave

1. Unificación Teórica (UniDD): Se demuestra teóricamente que los métodos de DD existentes pueden unificarse bajo un marco de filtrado espectral, donde las diferencias radican en cómo manipulan los autovalores de la matriz de correlación de características para extraer frecuencias específicas de la matriz de correlación característica-etiqueta.
2. Clasificación y Análisis: Se categorizan los métodos en Emparejamiento de Baja Frecuencia (LFM) y Alta Frecuencia (HFM), explicando sus roles: LFM para consistencia global y HFM para diversidad de texturas.
3. Nueva Metodología (CFM): Se introduce un algoritmo con filtros dinámicos que aprenden progresivamente desde información de baja frecuencia (consistencia) hasta alta frecuencia (diversidad), superando la rigidez de los métodos anteriores.

4. Resultados Experimentales

Los autores evaluaron CFM en conjuntos de datos a pequeña escala (CIFAR-10/100) y a gran escala (Tiny-ImageNet, ImageNet-1K).

• Rendimiento en CIFAR-10/100: CFM superó consistentemente a los métodos avanzados (DM, DC, MTT, FrePo, SRe2L, etc.) con márgenes significativos. Por ejemplo, en CIFAR-100 con 10 imágenes por clase (IPC) y ResNet-18, CFM alcanzó un 64.6% frente al 59.5% de SRe2L y 47.6% de FrePo.
• Rendimiento en Escala Masiva (ImageNet-1K):
  • En ImageNet-1K (IPC=50), CFM logró un 57.32% con ResNet-18, superando a SRe2L (46.8%) y G-VBSM (51.8%).
  • En ResNet-101, CFM alcanzó un 63.5%, superando a todos los baselines.
• Generalización Cross-Arquitectura: CFM demostró una capacidad superior de generalización al entrenar con un modelo destilador (ResNet-18) y evaluar con arquitecturas diversas (ResNet-50/101, DenseNet, ConvNeXt), obteniendo los mejores resultados en todas las configuraciones.
• Eficiencia: Aunque CFM tiene un ligero sobrecosto de tiempo comparado con SRe2L, es más eficiente en memoria que G-VBSM y requiere menos capas de red para calcular las pérdidas adicionales.
• Visualización: Las imágenes sintéticas generadas por CFM muestran una semántica clara y texturas definidas, evitando el "borrado" típico de los métodos de paso bajo y la falta de estructura de los métodos de paso alto puros.

5. Significado e Impacto

Este trabajo es fundamental porque:

• Desvela la Esencia de la DD: Cambia la perspectiva de la destilación de datos de un problema de optimización heurística a un problema de emparejamiento de frecuencias. Esto ofrece una explicación teórica sólida sobre por qué ciertos métodos fallan o tienen éxito.
• Guía el Diseño de Futuros Algoritmos: Al identificar que los métodos actuales son limitados por filtros fijos, sugiere que la adaptabilidad dinámica (como en CFM) es la vía para mejorar la destilación.
• Validación Práctica: Demuestra que es posible lograr un equilibrio óptimo entre consistencia (baja frecuencia) y diversidad (alta frecuencia) mediante un enfoque curricular, logrando nuevos estados del arte (SOTA) en benchmarks estándar y a gran escala.

En conclusión, el paper establece que la destilación de conjuntos de datos es, en esencia, un problema de filtrado espectral, y propone CFM como una solución robusta que aprovecha dinámicamente todo el espectro de frecuencias para generar conjuntos de datos sintéticos de alta calidad.