LinguDistill: Recovering Linguistic Ability in Vision- Language Models via Selective Cross-Modal Distillation

Resumen Técnico: LINGUDISTILL

1. El Problema: Degradación de la Capacidad Lingüística en VLMs

La adaptación de Modelos de Lenguaje Preentrenados (LMs) para convertirlos en Modelos de Lenguaje-Vision (VLMs) a menudo resulta en una degradación significativa de las capacidades lingüísticas nativas del modelo.

• Causa: Este fenómeno se atribuye a un "cambio de representación" y a la "interferencia cruzada de modalidades" durante el ajuste fino multimodal. El modelo olvida sus priores lingüísticos originales (un caso de "olvido catastrófico") incluso cuando se evalúa en entradas puramente textuales.
• Limitaciones de las soluciones actuales:
  • El ajuste fino adicional en tareas lingüísticas es insuficiente para recuperar completamente la capacidad perdida.
  • Los enfoques previos (como BLIP-style o métodos de subespacio) suelen requerir la adición de módulos intermedios (adapters, capas de alineación) o la manipulación de pesos. Esto aumenta la complejidad arquitectónica, añade parámetros durante la inferencia y limita la flexibilidad.

2. Metodología: LINGUDISTILL

Los autores proponen LINGUDISTILL, un método de destilación de conocimiento cruzado (cross-modal knowledge distillation) que es libre de adaptadores (adapter-free) y no añade parámetros al modelo final.

Componentes Clave:

1. Arquitectura de Estudiante y Maestro:
   • Estudiante: El VLM (modelo multimodal) que se está entrenando.
   • Maestro: El LM preentrenado original (frozen), que posee una fuerte capacidad lingüística pero no ha visto imágenes.
2. Compartición de KV-Cache (Key-Value Cache) por Capas:
   • Desafío: El maestro (LM) solo procesa texto, mientras que el estudiante procesa texto e imágenes. Sus contextos no están alineados.
   • Solución: Se introduce un mecanismo de compartición de KV-cache durante el entrenamiento. El estudiante procesa la secuencia multimodal completa (imagen + texto) y genera las claves y valores ($K, V$). El maestro (LM) reutiliza directamente estos $K$ y $V$ del estudiante para sus propias consultas ($Q$).
   • Resultado: Esto permite que el LM "maestro" atienda al contexto multimodal del estudiante sin modificar su arquitectura ni sus pesos, generando señales de supervisión conscientes de la visión.
3. Objetivo de Destilación Selectiva:
   • En lugar de aplicar la destilación uniformemente a todos los datos, LINGUDISTILL utiliza un pesado dependiente de la fuente de datos ($\alpha$).
   • Datos intensivos en lenguaje: Se aplica una fuerte señal de destilación suave (soft distillation) del maestro para recuperar la capacidad lingüística.
   • Datos intensivos en visión (OCR, documentos): Se suprime la señal del maestro ($\alpha \approx 0$) y se depende principalmente de la supervisión dura (hard labels) del estudiante. Esto evita que el maestro, ciego a la visión, "desoriente" al estudiante en tareas que requieren una alineación visual precisa.

3. Contribuciones Principales

• Método sin adaptadores: Recupera la capacidad lingüística utilizando el LM original como maestro, sin añadir módulos ni parámetros adicionales al modelo VLM final.
• Arquitectura de Compartición KV: Permite que un LM congelado procese contextos multimodales mediante el reuso de la memoria del estudiante, resolviendo la brecha de alineación de modalidades.
• Destilación Selectiva: Demuestra que recuperar el lenguaje no requiere sacrificar la visión; al filtrar la señal del maestro solo en datos lingüísticos, se preserva la capacidad de anclaje visual (visual grounding).

4. Resultados Experimentales

Los experimentos se realizaron utilizando el modelo nanoVLM-460M y el LM SmolLM-360M como maestro, entrenados en el conjunto de datos The Cauldron.

• Recuperación de Lenguaje: LINGUDISTILL recupera aproximadamente un 10% del rendimiento perdido en benchmarks de lenguaje y conocimiento (ej. ScienceQA, ARC, HellaSwag, COCO Captioning) en comparación con el ajuste fino estándar.
  • Ejemplo: En ScienceQA, mejora un 14.6% sobre la versión ajustada finamente sin destilación.
• Preservación de Visión: A diferencia de la destilación uniforme (que daña severamente tareas de OCR y documentos), la versión selectiva mantiene un rendimiento comparable en tareas visuales.
  • Comparación: Mientras la destilación uniforme cae un 40.5% en OCRBench, la versión selectiva de LINGUDISTILL solo cae un 21.1% (y mucho menos en comparación con el ajuste fino puro en algunos casos).
• Eficiencia: Al eliminar el maestro después del entrenamiento, el modelo final es un VLM estándar sin sobrecarga de inferencia.

5. Significado e Impacto

• Solución Práctica: Ofrece una vía eficiente y escalable para mitigar el olvido catastrófico en modelos multimodales sin complicar la arquitectura.
• Comprensión del Fenómeno: Confirma que la degradación lingüística es reversible mediante la recuperación de priores lingüísticos, pero solo si se evita la interferencia de la supervisión del maestro en tareas puramente visuales.
• Implicaciones Futuras: Sugiere que la alineación de modalidades no requiere necesariamente módulos pesados de fusión, sino que puede lograrse mediante estrategias de optimización y distilación inteligentes que respeten las fortalezas específicas de cada modalidad.

En conclusión, LINGUDISTILL demuestra que es posible tener lo mejor de ambos mundos: un VLM con capacidades visuales sólidas y una competencia lingüística recuperada, todo ello sin aumentar el costo computacional en la fase de inferencia.