Resumen Técnico: LEAP - Eficiencia de Salto de Capas mediante la Progresión Adaptativa para la Destilación de Vision Transformers

Declaración del Problema

Los Modelos Fundacionales de Visión (VFMs) basados en Vision Transformers (ViT), como DINOv2, han alcanzado un rendimiento de vanguardia, pero poseen conteos de parámetros masivos (por ejemplo, ViT-Giant con 2B de parámetros) que los hacen impracticables para el despliegue en dispositivos periféricos (edge). La Destilación de Conocimiento (KD) es la solución estándar para comprimir estos modelos "maestros" en modelos "estudiantes" compactos. Sin embargo, la KD basada en características enfrenta una brecha maestro-estudiante fundamental: la capacidad representacional limitada del estudiante y su espacio de características de menor rango luchan por imitar los complejos mapas de características de alta dimensión de un maestro profundo (por ejemplo, un ViT-G de 40 capas) en un solo paso.

Las estrategias existentes para cerrar esta brecha, como el emparejamiento de capas intermedias (por ejemplo, PKD) o los cabezales de proyección (por ejemplo, ViTKD), a menudo dependen de programas de mapeo estáticos. Estos enfoques obligan al estudiante a alinearse con características complejas de capas profundas desde el inicio del entrenamiento o requieren una selección manual arbitraria de capas. Este enfoque de "todo a la vez" no tiene en cuenta la capacidad evolutiva del estudiante, lo que conduce a un entrenamiento inestable y una convergencia lenta, particularmente cuando existe una disparidad significativa de tamaño entre el maestro y el estudiante.

Metodología: LEAP

Los autores proponen LEAP (Layer-skipping Efficiency via Adaptive Progression), un currículo de entrenamiento diseñado para mitigar la brecha maestro-estudiante mediante la introducción de una progresión de "fácil a difícil".

Percepción Clave: Similitud Desplazada

A través de un análisis de similitud por capas utilizando Alineación de Kernel Centrado (CKA), los autores observaron un desplazamiento temporal durante el entrenamiento base:

• En las primeras épocas de entrenamiento, el mapa de características final del estudiante exhibe una mayor similitud con las capas intermedias superficiales del maestro.
• A medida que el entrenamiento progresa, el pico de similitud se desplaza gradualmente hacia las capas más profundas del maestro.
  Esto sugiere que las capas superficiales son objetivos "más fáciles" para el estudiante inicialmente, mientras que las capas profundas representan abstracciones semánticas más complejas que requieren una representación fundacional para ser aprendidas.

El Currículo Adaptativo

En lugar de un objetivo fijo, LEAP trata los mapas de características intermedios del maestro como una secuencia de objetivos progresivamente difíciles. El currículo avanza basándose en un umbral de similitud CKA en línea ($\tau$):

1. Inicialización: El estudiante comienza imitando el primer bloque ViT del maestro.
2. Progresión Adaptativa: El sistema monitorea la similitud CKA entre el mapa de características terminal del estudiante y el bloque objetivo actual del maestro ($T_m$).
3. Transición: El currículo avanza al siguiente bloque del maestro ($T_{m+1}$) solo cuando la puntuación de similitud alcanza el umbral predefinido $\tau$ (o se alcanza un límite de paciencia).
4. Eficiencia: Este mecanismo permite el parada temprana de la inferencia del maestro durante las etapas iniciales, ya que las capas más profundas del maestro no se computan hasta que el estudiante está listo para aprenderlas.

La función de pérdida minimiza el Error Cuadrático Medio (MSE) entre las características finales del estudiante y el objetivo actual del maestro, alineadas mediante un proyector lineal de una sola capa.

Contribuciones Clave

1. Currículo LEAP: Un novedoso currículo de salto de capas para la destilación de ViT basada en características que elimina la necesidad de asignación manual de capas o selección de características intermedias. Selecciona dinámicamente el objetivo "más fácil" en cada etapa basándose en métricas de similitud.
2. Robustez y Análisis: Un análisis exhaustivo de la robustez del currículo a través de diferentes capacidades de estudiante (ViT-Small, ViT-Tiny) y escalas de datos (ImageNet-100, ImageNet-1K). Los autores verifican que los modelos destilados retienen la versatilidad en tareas de nivel de imagen, nivel de instancia y nivel de píxel.
3. Ganancias de Eficiencia: La progresión adaptativa permite ahorros significativos en el costo computacional de entrenamiento (FLOPs) y tiempo de ejecución mediante la postergación de la inferencia de las capas profundas del maestro.

Resultados Experimentales

ImageNet-100 (Ablación y Ajuste)

• Precisión: El ViT-S destilado con LEAP logró una precisión de linear probing del 90.1%, una mejora de +12.24% sobre el baseline. El ViT-Tiny mejoró del 75.90% al 81.76%.
• Eficiencia: El currículo redujo los FLOPs de entrenamiento en un 25.1% (ViT-S) y un 28.8% (ViT-Tiny), y redujo el tiempo de entrenamiento en un 21% y 22.5% respectivamente, mediante la parada temprana de la inferencia del maestro.
• Robustez: Las mejoras en la precisión limpia se tradujeron en robustez fuera de la distribución en mini-ImageNet-C.

Tareas de Aval (ImageNet-100)

• Recuperación de Instancias: En los conjuntos de datos Oxford y Paris, el ViT-S destilado con LEAP mostró ganancias sustanciales en la media de Precisión Media (mAP), mejorando un 7.75% en Paris y un 3.84% en Oxford en comparación con los baselines.
• Segmentación Semántica: En ADE20K, LEAP mejoró el mIoU significativamente en todos los protocolos (Segmentación Lineal, EOMT, Multi-Escala). Para ViT-S, el mIoU aumentó del 12.15% al 20.53% en Segmentación Lineal y del 24.49% al 38.10% en EOMT.

ImageNet-1K (Escalabilidad)

• Recuperación: LEAP mantuvo un fuerte rendimiento, logrando una mejora de mAP del 7.75% en el conjunto de datos Paris y del 3.84% en Oxford.
• Clasificación y Segmentación: En clasificación a gran escala (linear probing) y segmentación, LEAP logró resultados competitivos, reduciendo la brecha con los baselines. Los autores atribuyen la falta de ganancias masivas en la clasificación global al "techo de capacidad arquitectónica" de los modelos estudiantes compactos en este conjunto de datos.
• Eficiencia: Aunque los ahorros fueron más modestos en esta escala (reducción de FLOPs del 11.51% para ViT-Tiny), el método preservó la integridad de las características, como lo demuestra la ganancia en recuperación.

Estudios de Ablación

• Progresivo vs. Estático: LEAP superó a todas las estrategias de supervisión estática de una sola capa, confirmando que el beneficio proviene de la progresión estructurada y no de una única capa "óptima".
• vs. Alineación Densa: Cuando se comparó con una alineación densa de uno a uno (usando 12 proyectores), LEAP (usando solo 1 proyector) logró un rendimiento casi idéntico (83.36% vs. 83.38% en linear probing), demostrando una alta eficiencia estructural.

Significado y Reivindicaciones

El artículo afirma que LEAP proporciona un camino de aprendizaje estructurado que acelera la convergencia y mejora la alineación final de las características al respetar la capacidad evolutiva del estudiante. Al tratar el espacio de representación del maestro como un currículo en lugar de un objetivo estático, LEAP:

1. Acelera la Convergencia: Los estudiantes establecen una base estable antes de abordar abstracciones de alto nivel.
2. Reduce el Costo Computacional: La parada temprana de la inferencia del maestro reduce significativamente los FLOPs y el tiempo de entrenamiento.
3. Mejora la Versatilidad: Los modelos destilados retienen la capacidad de adaptarse a diversas tareas de aval (segmentación, recuperación, clasificación) sin necesidad de un ajuste fino de la tarea específica durante el proceso de destilación.

Los autores reconocen las limitaciones, específicamente el requisito de un maestro de caja blanca con características intermedias accesibles y el potencial de un ajuste de hiperparámetros subóptimo (umbral CKA) en grandes conjuntos de datos. Se sugiere trabajo futuro para la destilación entre arquitecturas cruzadas (por ejemplo, Transformer a CNN) y escenarios multimodales.