SLAD : Shared LoRA Adapters for Task Specific Distillation

Resumen Técnico: SLAD – Adaptadores LoRA Compartidos para Destilación Específica de Tareas

Planteamiento del Problema
En entornos con recursos limitados (por ejemplo, sistemas embebidos), el despliegue de grandes modelos fundacionales a menudo es impráctico debido a las altas demandas computacionales y de memoria. Aunque la destilación de conocimiento (KD) ofrece una solución transfiriendo conocimiento de un gran "maestro" a un "estudiante" más pequeño, surge un desafío específico en la destilación específica de tareas. Trabajos recientes (Marrie et al., 2024) demostraron que, aunque el ajuste fino completo de un modelo maestro mejora su propio rendimiento aguas abajo, paradójicamente degrada la transferencia de conocimiento al estudiante en comparación con simplemente realizar una sonda lineal sobre el maestro.

Los autores hipotetizan que esta degradación se debe a un desalineamiento en las representaciones de características entre el maestro y el estudiante. El ajuste fino completo altera el espacio de características intrínseco del maestro (un fenómeno análogo al olvido catastrófico en el aprendizaje continuo), creando una discrepancia que obstaculiza una destilación eficiente. Por el contrario, la sonda lineal preserva la alineación pero no captura suficientes matices específicos de la tarea, resultando en un maestro subóptimo. El desafío central es entrenar un maestro más expresivo (mediante ajuste fino) mientras se mantiene la alineación de características necesaria para una destilación efectiva.

Metodología
El artículo propone SLAD (Adaptadores LoRA Compartidos), un método que integra la Adaptación de Bajo Rango (LoRA) con una estrategia de compartición de parámetros para resolver la compensación entre la expresividad del maestro y la alineación de características.

1. Análisis de Línea Base (Destilación en Dos Pasos): Los autores analizan primero la pipeline estándar de dos pasos donde un maestro se adapta (mediante sonda o ajuste fino) y luego se destila en un estudiante. Utilizan la Alineación del Kernel Centrado (CKA) para medir la similitud de características. Los resultados muestran que el ajuste fino completo provoca una caída significativa en el CKA (9.4% en CUB), mientras que la sonda lineal mantiene una alta alineación pero carece de expresividad.
2. Adaptación LoRA: Para mitigar la perturbación de características, los autores proponen primero el uso de adaptadores LoRA para la adaptación del maestro. LoRA congela los pesos preentrenados y entrena matrices de bajo rango ($A$ y $B$) en paralelo a los pesos originales. Esto reduce el grado de libertad en la modificación de características, preservando una mejor alineación (caída del CKA del 5.1%) que el ajuste fino completo, mientras ofrece más expresividad que la sonda.
3. SLAD (Entrenamiento Conjunto con Compartición de Pesos): La innovación central es la estrategia de LoRA Compartido. En lugar de entrenar al maestro y al estudiante secuencialmente, SLAD los entrena conjuntamente en un solo paso.
   • Compartición de Pesos: Los pesos del adaptador LoRA se comparten entre los codificadores del maestro y del estudiante. Dado que los modelos maestro y estudiante a menudo difieren en dimensionalidad (por ejemplo, ViT-L vs. ViT-S), el método comparte un subconjunto de los pesos LoRA del maestro que coinciden con las dimensiones del estudiante.
   • Mapeo: Una función de mapeo alinea los bloques del estudiante con los bloques del maestro. Los autores evalúan mapeos "Primero", "Último" y "Par" (uniformemente espaciados), encontrando que el mapeo "Par" generalmente funciona mejor.
   • Función de Pérdida: La optimización conjunta minimiza una pérdida combinada:
     $$L_{SLAD} = \alpha_s L_{task}(f_s) + \alpha_t L_{task}(f_t) + \alpha_{KL} T^2 D_{KL}(f_s, f_t)$$
     Esto asegura que ambos modelos se optimicen para la tarea, mientras que la divergencia KL impone la transferencia de conocimiento, y los pesos compartidos imponen la alineación de características.

Contribuciones Clave

• Análisis del Desalineamiento de Características: El artículo identifica y cuantifica que el fracaso de los maestros con ajuste fino completo en la destilación se debe principalmente al desalineamiento de las representaciones de características entre el maestro y el estudiante.
• LoRA para Destilación: Los autores demuestran que el uso de adaptadores LoRA para la adaptación del maestro mejora la compensación entre capturar información específica de la tarea y preservar la alineación de características, en comparación tanto con el ajuste fino completo como con la sonda lineal.
• Marco SLAD: La propuesta de un marco de entrenamiento conjunto donde los adaptadores LoRA se comparten entre el maestro y el estudiante. Esto impone la alineación de características explícitamente mediante la compartición de parámetros en lugar de solo a través de pérdidas de destilación.
• Eficiencia: SLAD logra estos resultados en un solo paso de entrenamiento, haciéndolo aproximadamente 2 veces más rápido que la pipeline estándar de ajuste fino y destilación en dos pasos.

Resultados
Se realizaron experimentos extensivos en clasificación de granularidad fina (CUB, FGVC-Aircraft, DTD) y segmentación semántica (Cityscapes) utilizando backbones DINOv2 (ViT-L, ViT-B, ViT-S).

• Rendimiento: SLAD logra un rendimiento de vanguardia en el marco de destilación específica de tareas.
  • Produce una mejora promedio de precisión del 2.16% sobre los métodos existentes de vanguardia en los benchmarks de clasificación.
  • En la configuración de ViT-L a ViT-S, SLAD mejora la precisión en un 2.71% en promedio en comparación con las líneas base basadas en sonda.
  • En Cityscapes, SLAD supera a las líneas base de sonda reimplantadas en la Intersección sobre Unión media (mIoU).
• Rendimiento del Maestro: Contrario a la suposición de que el maestro es meramente una fuente de conocimiento, el entrenamiento conjunto en SLAD en realidad mejora el propio rendimiento del maestro. El maestro entrenado con SLAD supera a un maestro entrenado solo con LoRA (ganancias de hasta 0.8% en precisión), sugiriendo un efecto de aprendizaje colaborativo similar al Aprendizaje Mutuo Profundo.
• Eficiencia de Entrenamiento: En el conjunto de datos Aircraft, SLAD redujo el tiempo de entrenamiento de ~8.3 horas (pipeline estándar) a 5.6 horas, a pesar del costo computacional de los pasos hacia adelante/através de dos modelos, debido a la eliminación de la fase de entrenamiento secuencial.

Significado y Afirmaciones
El artículo afirma que SLAD ofrece un enfoque superior para la destilación específica de tareas al abordar la causa raíz de la degradación del rendimiento: el desalineamiento de características. Al aprovechar la adaptación de bajo rango y la compartición de parámetros, el método equilibra con éxito la necesidad de un maestro altamente expresivo con el requisito de representaciones de características consistentes.

Los autores posicionan a SLAD como una solución práctica para el despliegue de modelos fundacionales en entornos con recursos limitados, ofreciendo mejoras simultáneas en precisión y velocidad de entrenamiento. El trabajo sugiere que el "mejor" maestro no es necesariamente el que tiene la mayor precisión independiente (lograda mediante ajuste fino completo), sino aquel cuyo espacio de características permanece más alineado con el estudiante, un estado logrado aquí mediante adaptadores LoRA compartidos. El artículo concluye que este enfoque establece un nuevo referente para la destilación específica de tareas en tareas de clasificación y segmentación.