Resumen Técnico: Destilación de Trayectorias Robusta

Declaración del Problema

La destilación de conjuntos de datos (Dataset Distillation, DD) tiene como objetivo condensar conjuntos de datos a gran escala en subconjuntos sintéticos compactos y ricos en información para permitir un entrenamiento y reutilización de modelos eficientes. Sin embargo, los marcos de DD existentes asumen implícitamente una supervisión limpia. En escenarios del mundo real caracterizados por etiquetas ruidosas (debido a errores de crowdsourcing, sesgo humano o ambigüedad semántica), los métodos estándar de DD corren el riesgo de condensar asociaciones corruptas junto con señales útiles, lo que conduce a una degradación de la robustez y la generalización.

Las técnicas actuales de aprendizaje con etiquetas ruidosas (por ejemplo, selección de muestras, ponderación de pérdida, corrección de etiquetas) suelen sufrir tres limitaciones cuando se aplican a DD:

1. Acoplamiento Estrecho: Acoplan estrechamente la estimación del ruido con la optimización del modelo, creando un bucle de retroalimentación autorreferencial que amplifica el sesgo de confirmación.
2. Dependencia de Anclajes Limpios: Muchos requieren subconjuntos de validación limpios o un refinamiento iterativo pesado, lo que limita la escalabilidad.
3. Restricciones de Capacidad: Los conjuntos de datos destilados, típicamente parametrizados como tensores de imagen de tamaño fijo, restringen la capacidad de representación, causando una compresión de información prematura antes de que el ruido y las señales limpias puedan ser desentrañados.

El desafío central es mejorar tanto la calidad (fidelidad de los datos sintéticos) como la capacidad (cantidad de supervisión de alta calidad absorbida) de los datos destilados bajo supervisión ruidosa sin requerir el reetiquetado o subconjuntos limpios.

Metodología

Los autores proponen la Destilación de Trayectoria Robusta, un marco que suprime conjuntamente el ruido y preserva el conocimiento transferible a través de dos módulos complementarios integrados en un pipeline de DD de coincidencia de trayectoria. El marco opera mediante un esquema de optimización bilevel donde un modelo estudiante entrenado en el conjunto de datos sintético $S$ se optimiza para coincidir con la dinámica de aprendizaje de un modelo profesor entrenado en el conjunto de datos real ruidoso $D_{real}$.

1. Reponderación de Guía Selectiva (Selective Guidance Reweighting - SGR)

SGR refina la trayectoria del profesor asignando pesos específicos a las muestras basados en estimaciones de fiabilidad, asegurando que el profesor proporcione señales de guía más limpias. Emplea un estimador híbrido que combina:

• Consistencia Dinámica ($W_{knn}$): Basada en K-Vecinos Más Cercanos (KNN) en el espacio de características. Mide el acuerdo entre la etiqueta observada de una muestra y las etiquetas predichas de sus vecinos utilizando la divergencia de Jensen-Shannon.
• Prior Estático ($W_{ssft}$): Derivado del "Segundo Tiempo de Olvido" (Second-Split Forgetting Time - SSFT). Cuantifica la dificultad de la muestra registrando el primer epoch en que una muestra es clasificada correctamente ($t_{learn}$) y el primer epoch en que es posteriormente clasificada incorrectamente ($t_{forget}$). Las muestras aprendidas tarde y olvidadas temprano reciben pesos menores.

Estos puntajes se fusionan mediante una interpolación convexa dependiente del tiempo ($W_t$) que transiciona de los priors estáticos a la consistencia dinámica a medida que avanza el entrenamiento. Esta reponderación progresiva prioriza la supervisión limpia a lo largo de la trayectoria del profesor.

2. Objetivos Auxiliares Inspirados en el Profesor (Teacher-Inspired Auxiliary Targets - TIAT)

Mientras que SGR mejora la calidad de la señal del profesor, TIAT aborda la absorción de estas señales por parte del estudiante. Inyecta una regularización auxiliar para asegurar que el conjunto de datos destilado permanezca alineado con la supervisión limpia en el espacio de representación.

• Agregación de Confianza Probabilística: El marco agrega pesos de fiabilidad a través de múltiples trayectorias del profesor para estimar la confianza general de una muestra.
• Selección Consciente de la Incertidumbre: Se selecciona un subconjunto fiable de muestras ($D_{sub}$) basado en una alta fiabilidad estática y una baja varianza en los puntajes de confianza a través de las trayectorias.
• Pérdida Auxiliar: El modelo profesor es ajustado (fine-tuned) en $D_{sub}$ para producir un checkpoint "más limpio" ($\theta^{ft}$). Se computa una pérdida auxiliar para alinear la trayectoria del estudiante con este checkpoint refinado, además de la pérdida estándar de coincidencia de trayectoria.

El objetivo total combina la pérdida de alineación de trayectoria estándar ($\mathcal{L}_{match}$) y la pérdida auxiliar ($\mathcal{L}_{aux}$), equilibradas por un coeficiente $\beta$.

Contribuciones Clave

1. Reponderación Híbrida Progresiva: La introducción de un mecanismo que integra la reponderación de muestras dinámica (basada en KNN) y estática (basada en el tiempo de olvido). Esto fusiona señales complementarias de la trayectoria del profesor para suprimir robustamente el ruido de etiquetas sin reetiquetado.
2. Regularización de Guía Auxiliar: Un módulo novedoso (TIAT) que impone la consistencia con trayectorias limpias durante la destilación. Al utilizar la selección consciente de la incertidumbre y objetivos auxiliares derivados de la dinámica intermedia del profesor, amplifica la influencia de las señales limpias y mitiga la amplificación de errores.
3. Diseño Ligero y de Preservación de Etiquetas: El marco no requiere ni reetiquetado ni esquemas de reentrenamiento costosos, lo que lo hace práctico para conjuntos de datos ruidosos a gran escala del mundo real.
4. Validación Empírica: Experimentos extensos demuestran mejoras consistentes sobre los baselines de estado del arte en DD (por ejemplo, DATM, DANCE) bajo regímenes de ruido simétrico, asimétrico y conjuntos de datos ruidosos del mundo real (CIFAR-N).

Resultados Experimentales

El método fue evaluado en CIFAR-10, CIFAR-100, CIFAR-N y Tiny-ImageNet bajo regímenes de ruido simétrico (20%, 40%) y asimétrico.

• Ganancias de Rendimiento: El método propuesto supera consistentemente a los baselines fuertes. Por ejemplo, en CIFAR-10 con 40% de ruido simétrico y 1000 IPC, alcanzó un 81.4% de precisión comparado con el 76.7% de DATM. Bajo 40% de ruido asimétrico, alcanzó un 75.0% (frente al 71.4% de DATM).
• Ruido del Mundo Real: En CIFAR-N (ruido anotado por humanos), el método mostró una resiliencia superior, particularmente a medida que aumentaba la tasa de ruido (por ejemplo, el caso "Worst" con ~40% de ruido), manteniendo un margen de mejora de más del 3% sobre el mejor baseline en IPCs altos.
• Estudios de Ablación:
  • Agregar SGR al baseline proporcionó ganancias estables en todos los tipos de ruido, con mejoras significativas en escenarios de ruido severo (por ejemplo, +4.7% a 10 IPC con 40% de ruido).
  • Agregar TIAT impulsó aún más el rendimiento, particularmente en regímenes de alto ruido, confirmando el beneficio de la supervisión auxiliar filtrada por incertidumbre.
  • Muestreo Diverso: Entrenar múltiples trayectorias de profesor con coeficientes de equilibrio estático-dinámico ($\alpha_{max}$) variables resultó más robusto que las estrategias de muestreo fijas.
• Eficiencia: El método introduce un uso adicional de memoria GPU pico insignificante. La sobrecarga computacional es moderada (aprox. ~1.5x de tiempo de ejecución en CIFAR-10 con 500 IPC), debido principalmente a la estimación de fiabilidad y la construcción de objetivos auxiliares.

Significado

Este trabajo posiciona esta investigación como una solución al problema poco explorado de la destilación de conjuntos de datos bajo supervisión ruidosa. Al desacoplar la estimación del ruido del bucle de optimización mediante la reponderación basada en trayectorias y la regularización auxiliar, el marco ofrece un enfoque robusto y "plug-and-play" para generar conjuntos de datos sintéticos de alta calidad a partir de datos imperfectos. Los autores afirman que esto allana el camino para futuras investigaciones en la destilación de conjuntos de datos resilientes al ruido, permitiendo el reentrenamiento eficiente de modelos y el intercambio de datos incluso cuando la supervisión limpia no está disponible.