Resumen Técnico: Destilación Anti-Atajos mediante la Transferencia de Conocimiento Negativo Temporal

1. Planteamiento del Problema

La Destilación de Conocimiento (KD) funciona tradicionalmente como una fuerza atractiva unilateral, entrenando a un estudiante compacto para imitar las representaciones o los logits de un profesor de alta capacidad ya convergido. Si bien métodos recientes han expandido los tipos de conocimiento transferido (por ejemplo, características intermedias, mapas de atención, geometría relacional), todos comparten una limitación geométrica crítica: son silenciosos sobre qué direcciones representacionales debe evitar el estudiante.

Las redes de los profesores también experimentan una trayectoria de optimización temporal. Al principio del entrenamiento, las redes tienden a explotar "atajos" o pistas (por ejemplo, texturas locales, estadísticas de color, correlaciones de fondo) antes de consolidarse en características semánticas robustas basadas en la forma. Un proceso de KD estándar solo observa el estado final y convergente del profesor, perdiendo el "conocimiento negativo" codificado en la trayectoria del profesor; específicamente, las direcciones que fueron enfatizadas al principio pero atenuadas tras la convergencia. En consecuencia, un estudiante entrenado bajo una KD estándar puede recuperar estas correlaciones espurias, lo que reduce su robustez ante la corrupción de datos y cambios en la distribución.

2. Metodología: Destilación Anti-Atajos (ASD)

Los autores proponen la Destilación Anti-Atajos (ASD), un marco de empuje-atracción (push–pull) que convierte la trayectoria de entrenamiento del profesor en una supervisión explícita. ASD utiliza dos puntos de control (checkpoints) congelados del profesor:

1. $T_{final}$: El profesor convergente, que sirve como un ancla semántica positiva.
2. $T_{early}$: Un punto de control de una etapa temprana, que sirve como una referencia negativa temporal que expone las pistas sesgadas por atajos.

El método define el desplazamiento temporal para una entrada $x$ como:
$$\Delta h(x) = h_{early}(x) - h_{final}(x)$$
Este vector representa los componentes de la representación enfatizados por el estado temprano pero suprimidos por la convergencia. ASD acopla dos pérdidas complementarias para aprovechar esta señal:

A. Pérdida de Contraste Temporal ($L_{TC}$)

Esta pérdida opera a nivel de muestra utilizando un objetivo InfoNCE. Para una entrada dada, la característica del estudiante es atraída hacia la característica de $T_{final}$ (positivo) y explícitamente alejada de la característica de $T_{early}$ (negativo temporal).

• Mecanismo: El denominador de la pérdida InfoNCE incluye la característica del mismo ejemplo de $T_{early}$ como un negativo, junto con características del mismo lote (in-batch) y del banco de memoria (memory-bank) provenientes de $T_{final}$.
• Objetivo: Asegurar que la representación del estudiante sea más cercana al estado robusto y convergente que al estado temprano propenso a atajos para la misma entrada.

B. Pérdida de Supresión de Atajos ($L_{SS}$)

Esta pérdida opera a nivel de subespacio para restringir la geometría del espacio de características del estudiante.

• Mecanismo: El método calcula la matriz de segundo momento no centrada de los desplazamientos temporales sobre un mini-lote: $\hat{C}_{sc} = \frac{1}{|B|} \sum \Delta h(x_i)\Delta h(x_i)^\top$. Los autovectores de rango superior ($U_K$) de esta matriz abarcan el "subespacio de atajos".
• Objetivo: $L_{SS}$ penaliza la proyección de la característica normalizada del estudiante sobre este subespacio si excede un margen $\epsilon$.
• Objetivo: Evitar que el estudiante se alinee con las direcciones dominantes de dependencia de atajos, incluso si la pérdida contrastiva a nivel de muestra se cumple.

C. Objetivo de Entrenamiento

El objetivo total combina la entropía cruzada, la destilación de logits estándar de $T_{final}$ y los dos términos auxiliares de ASD, con los términos auxiliares calentándose (warm-up) linealmente durante el entrenamiento:
$$L_{ASD} = L_{CE} + \alpha_{kd} L_{KD} + \beta(t) \alpha_{tc} L_{TC} + \gamma(t) \alpha_{ss} L_{SS}$$
Un proyector entrenable gestiona las discrepancias de dimensión entre pares heterogéneos de profesor-estudiante y se descarta durante la inferencia.

3. Análisis Teórico

El artículo proporciona una justificación teórica de por qué $\Delta h$ identifica el subespacio de atajos:

• Descomposición de dos subespacios: Asumiendo que las características del profesor se descomponen en un subespacio robusto ($R$) y un subespacio de atajos ($S$), los autores demuestran que si el cambio en la varianza de las características entre los estados temprano y final está dominado por el componente de atajo, el autoespacio superior de $E[\Delta h \Delta h^\top]$ coincide con el subespacio de atajos $S$.
• Interpretación Geométrica: $L_{SS}$ impone un margen angular, asegurando que la característica del estudiante esté separada del subespacio de atajos por al menos $\arccos(\epsilon)$.
• Perspectiva de la Teoría de la Información: Se demuestra que $L_{TC}$ establece un límite inferior para la información mutua entre el estudiante y $T_{final}$, añadiendo al mismo tiempo una penalización explícita por la similitud con $T_{early}$ sin degradar dicho límite.

4. Resultados Experimentales

ASD fue evaluado en 13 pares profesor-estudiante en CIFAR-100, ImageNet-100 y TinyImageNet, así como en segmentación semántica (ADE20K).

• Precisión en Datos Limpios (Clean Accuracy): ASD logró la mayor precisión top-1 en 10 de los 13 pares y superó a la KD estándar en 12 de los as 13 pares. Mostró una fuerza particular en pares de arquitecturas cruzadas (por ejemplo, WRN-40-2 $\to$ ShuffleNet-V2), donde mejoró la KD en +1.33 puntos porcentuales.
• Robustez: En CIFAR-100-C (robustez ante corrupción), ASD logró el error medio de corrupción (mCE) más bajo en el par de arquitecturas cruzadas más desafiante (86.1 mCE).
• Segmentación: En ADE20K, ASD mejoró la media de Intersección sobre Unión (mIoU) respecto a KD y otros métodos de destilación de vanguardia tanto para estudiantes ResNet-18 como MobileNetV2.
• Diagnósticos Mecanicistas:
  • Anti-alineación: Los estudiantes de ASD estaban sistemáticamente anti-alineados con la dirección del atajo ($\cos(h_S, \Delta h) = -0.36$), mientras que los estudiantes de KD mostraron una alineación cercana a cero ($0.00$).
  • Proyección del Subespacio Robusto: Los estudiantes de ASD proyectaron significativamente más en el subespacio robusto (0.45) en comparación con los estudiantes de KD (0.12).
  • Cambio de Textura: ASD demostró una degradación de precisión reducida bajo entradas con cambio de textura en comparación con KD.

5. Significado y Reivindicaciones

El artículo afirma que ASD cambia fundamentalmente el paradigma de la destilación de conocimiento de un proceso puramente atractivo a uno de empuje-atracción (push–pull). Al tratar la propia trayectoria de optimización del profesor como una fuente de "conocimiento negativo", ASD identifica y suprime explícitamente las direcciones de atajos sin requerir datos etiquetados u objetivos externos conscientes del sesgo.

Las contribuciones clave destacadas por los autores incluyen:

1. Marco de KD con Signo: El primer método que trata un punto de control temprano del profesor como una referencia negativa temporal en lugar de un objetivo positivo.
2. Indicador de Atajos sin Etiquetas: La identificación de $\Delta h = h_{early} - h_{final}$ como una señal robusta y libre de etiquetas para suprimir correlaciones espurias.
3. Justificación Geométrica: Una prueba teórica que vincula el autoespacio superior de la matriz de desplazamiento con el subespacio de atajos bajo condiciones específicas.
4. Superioridad Empírica: Demostrar que la supresión de atajos mejora simultáneamente tanto la precisión limpia como la robustez, desafiando la noción de que la robustez debe intercambiarse por la precisión.

Los autores señalan limitaciones, específicamente que ASD puede tener dificultades cuando la capacidad del estudiante está tan severamente comprimida (por ejemplo, ResNet-32$\times$4 $\to$ ResNet-8$\times$4) que las pistas de bajo nivel se vuelven andamiajes discriminativos necesarios en lugar de atajos prescindibles. También reconocen el costo computacional marginal de almacenar un punto de control adicional y calcular las descomposiciones de autovalores por lote.