Resumen Técnico: Distill on a Diet: Efficient Knowledge Distillation via Learnable Data Pruning

Planteamiento del Problema

La Destilación de Conocimiento (KD, por sus siglas en inglés) es una técnica estándar para comprimir modelos maestros grandes en modelos estudiantes compactos para una inferencia eficiente. Sin embargo, el proceso de entrenamiento en sí mismo sigue siendo computacionalmente costoso, ya que los estudiantes son típicamente destilados sobre todo el conjunto de datos bajo la guía de un maestro grande. Si bien el recorte de datos (seleccionar un subconjunto de muestras de entrenamiento) ofrece una vía prometedora para reducir este costo, los métodos existentes enfrentan dos obstáculos críticos en el contexto de la KD:

1. Compromiso entre Eficiencia y Efectividad en la Estimación de Puntuaciones: Las métricas de alta fidelidad como EL2N, Forgetting o AUM dependen de la dinámica de entrenamiento (por ejemplo, predicciones por época) que no están disponibles cuando solo se proporciona un maestro preentrenado. Calcular estas puntuaciones requiere un reentrenamiento costoso del maestro, lo que anula las ganancias de eficiencia del recorte. Por el contrario, las métricas más simples como la pérdida de Entropía Cruzada (CE) son computacionalmente baratas pero poco fiables, ya que las redes sobreparametrizadas pueden sobreajustarse a muestras difíciles o mal etiquetadas, resultando en valores de pérdida bajos que no reflejan la verdadera dificultad de la muestra.
2. Muestreo Rígido y Subóptimo: Las estrategias de recorte existentes suelen depender de heurísticas fijas (por ejemplo, selección top-k, muestreo estratificado con cortes fijos o ventanas deslizantes). Estas reglas rígidas no logran adaptarse a las distribuciones de datos específicas y a la dinámica maestro-estudiante de diferentes configuraciones de KD, lo que conduce a subconjuntos subóptimos.

Metodología: IF-Beta

Los autores proponen IF-Beta, un marco que unifica las Funciones de Influencia (IF) con una política de muestreo probabilístico aprendible para abordar los desafíos anteriores.

1. Función de Influencia como Estimador Post-Hoc

Para evitar el reentrenamiento, el artículo aprovecha las Funciones de Influencia para estimar la importancia de las muestras directamente desde un maestro preentrenado.

• Mínimos de Validación Planos (FVM): Para estabilizar la estimación de IF en redes profundas, los autores ajustan finamente el maestro preentrenado en el conjunto de validación utilizando Minimización Consciente de la Agudeza (SAM). Esto impone una planitud local en el paisaje de la pérdida, mejorando significativamente la fiabilidad de las estimaciones de influencia en comparación con los métodos de IF estándar.
• Cálculo de Puntuación: La influencia de una muestra de entrenamiento $z_{tr}$ en el conjunto de validación se aproxima utilizando el gradiente de la pérdida con respecto a los parámetros del maestro ajustado finamente y la inversa de la Hessiana (aproximada mediante una matriz de Información de Fisher diagonal para mayor eficiencia). Esto produce una puntuación donde valores más bajos indican muestras más difíciles/informativas.

2. Política Beta Aprendible

En lugar de una selección heurística fija, IF-Beta introduce una Política Beta parametrizada por una distribución Beta.

• Muestreo Adaptativo: Dada la normalización de las puntuaciones de influencia mapeadas al intervalo $[0, 1]$, la probabilidad de selección para cada muestra se modela mediante una distribución Beta $Beta(\alpha(\phi), \beta(\phi))$. Los parámetros $\alpha$ y $\beta$ son controlados por parámetros aprendibles $\phi$, lo que permite que la política adapte su forma (por ejemplo, centrándose en muestras difíciles, fáciles o una ventana específica) a la tarea de KD específica.
• Optimización de Doble Nivel (Bilevel): La optimización de los parámetros de la política $\phi$ se formula como un problema de doble nivel:
  • Bucle Interno: Entrena un modelo estudiante (específicamente, un clasificador lineal sobre características de un maestro congelado) en el subconjunto muestreado por la política actual, minimizando la pérdida de KD.
  • Bucle Externo: Actualiza $\phi$ para maximizar el rendimiento de validación del estudiante entrenado en el subconjunto muestreado.
• Proxy Eficiente: Para hacer que la optimización de doble nivel sea tratable, el bucle interno no reentrena una red neuronal completa. En su lugar, optimiza un clasificador lineal ligero acoplado a las características del maestro congelado. Esta formulación de "estudiante-proxy" captura la dinámica de la KD con un costo computacional insignificante.

Contribuciones Clave

1. IF para KD: El artículo demuestra que las Funciones de Influencia, cuando se estabilizan mediante Mínimos de Validación Planos, sirven como un estimador de puntuación post-hoc efectivo y eficiente para la KD, eliminando la necesidad del costoso reentrenamiento del maestro requerido por las métricas basadas en trayectoria.
2. Política Beta Aprendible: Los autores introducen una distribución Beta parametrizada para el recorte de datos, lo que supera la rigidez de las reglas heurísticas fijas (como top-k o ventanas fijas) al aprender una distribución de muestreo adaptativa mediante optimización de doble nivel.
3. Optimización de Doble Nivel Eficiente: Al formular el bucle interno como un clasificador lineal sobre características congeladas, el marco logra una optimización eficiente de la política de recorte sin el costo prohibitivo del reentrenamiento completo del estudiante durante la fase de búsqueda.

Resultados Experimentales

Experimentos extensos en CIFAR-10, CIFAR-100 e ImageNet con diversas arquitecturas maestro-estudiante (ResNet, WideResNet, ViT) muestran:

• Desempeño Superior: IF-Beta supera consistentemente a los modelos de referencia (incluyendo métodos sin reentrenamiento como Medium-Difficulty y métodos basados en reentrenamiento como DUAL) a través de una amplia gama de ratios de recorte.
• Superando la Destilación con Datos Completos: Sorprendentemente, IF-Beta permite que los estudiantes entrenados con significativamente menos datos y cómputo superen el rendimiento de los estudiantes destilados con el conjunto de datos completo. Por ejemplo, en CIFAR-10, retener solo el 70% de los datos logró un 95.69% de precisión frente al 95.50% de la destilación con datos completos.
• Eficiencia Computacional: Incluso al contabilizar el costo del proceso de recorte, IF-Beta alcanza el rendimiento de la destilación con datos completos en mucho menos tiempo (por ejemplo, 0.806x el costo en CIFAR-10).
• Generalización: El método se generaliza a entornos de aprendizaje supervisado estándar no relacionados con KD y a varios objetivos de KD (Relational, FitNets, Attention Transfer), demostrando que la calidad del subconjunto de datos es un factor crítico independiente del algoritmo de destilación específico.

Significado y Reivindicaciones

El artículo argumenta que la calidad de los datos de entrenamiento es a menudo más crítica que los detalles específicos del algoritmo de destilación. Al identificar y seleccionar las muestras más informativas de manera eficiente, IF-Beta posiciona la curaduría de datos como un factor de control (lever) principal y práctico para mejorar la eficiencia y efectividad de los procesos de entrenamiento modernos. El trabajo sugiere que "destilar a dieta" —usar un subconjunto cuidadosamente recortado en lugar del conjunto de datos completo— puede producir una mejor generalización y menores costos computacionales, desafiando la suposición de que más datos siempre equivalen a una mejor destilación.