How to Teach Large Multimodal Models New Skills

Resumen Técnico: Cómo Enseñar Nuevas Habilidades a los Modelos Multimodales Grandes (LMMs)

1. El Problema: Olvido Catastrófico en Adaptación Secuencial

Los Modelos Multimodales Grandes (LMMs), como LLaVA y Qwen2.5-VL, son capaces de realizar una amplia gama de tareas visuales y lingüísticas. Sin embargo, cuando se adaptan a nuevas habilidades específicas mediante fine-tuning (ajuste fino) secuencial, sufren de olvido catastrófico: pierden capacidades generales adquiridas previamente al aprender una nueva tarea.

La pregunta central de la investigación es: ¿Cómo podemos enseñar nuevas habilidades a los LMMs sin borrar sus capacidades previas?
El enfoque tradicional de ajustar todo el modelo o usar métodos complejos de aprendizaje continuo (como replay de datos o arquitecturas expandidas) suele ser costoso, ineficiente o insuficiente. Los autores buscan una solución simple y robusta que evite el olvido sin necesidad de almacenar datos anteriores ni añadir parámetros auxiliares.

2. Metodología y Enfoque Experimental

Los autores desarrollaron un protocolo de evaluación controlado para estudiar la dinámica de aprendizaje y olvido:

• Configuración: Se utilizaron tres familias de modelos (LLaVA-OneVision, LLaVA-NeXT y Qwen2.5-VL).
• Tareas Objetivo: Se definieron 5 habilidades secuenciales diversas:
  1. Clasificación de aves (CUB200).
  2. Conteo de objetos (PixmoCount).
  3. VQA médica (PathVQA).
  4. Lectura de texto en imágenes (TextVQA).
  5. Lectura de relojes analógicos (TimeClock).
• Evaluación de Retención: Se monitoreó el rendimiento en 8 benchmarks de propósito general (mantenidos fuera del entrenamiento) para medir el olvido en habilidades generales.
• Análisis Mecanístico: En lugar de tratar el olvido como una pérdida de memoria, los autores hipotetizaron que es un sesgo en la distribución de salida (output distribution shift). Específicamente, al entrenar en tareas que requieren respuestas numéricas (como el conteo), el modelo podría volverse excesivamente propenso a generar tokens numéricos incluso en tareas de descripción general.

3. Contribuciones Clave y Descubrimientos

A. Descubrimiento de la Recuperación del Olvido
Un hallazgo sorprendente fue que el rendimiento perdido en tareas de retención tras ajustar un modelo en una tarea específica (ej. conteo) puede recuperarse parcialmente al ajustar el modelo en una tarea posterior diferente (ej. VQA médica), sin necesidad de replay de datos. Esto sugiere que el "olvido" no es una pérdida permanente de conocimiento, sino un desplazamiento temporal en la distribución de probabilidad de los tokens de salida.

B. Identificación de Componentes Críticos para el Ajuste
El estudio desglosó el modelo en sus componentes principales para ver cuáles actualizar:

1. Codificador de Visión y Proyector: Actualizarlos aporta poco aprendizaje en tareas nuevas y causa un olvido significativo.
2. Modelo de Lenguaje (LLM) Completo: Ofrece el mayor aprendizaje pero el mayor olvido (cambio drástico en la distribución de salida).
3. Soluciones Propuestas (Recetas de Ajuste Selectivo):
   • SA Proj. (Proyecciones de Autoatención): Actualizar solo las capas de proyección de la atención (Q, K, V, O) dentro del LLM.
     • Resultado: Aprendizaje sólido (+24.9%) con olvido mínimo (-0.6% en tareas de retención).
   • MLP Gate & Up: Actualizar solo las capas de "Gate" y "Up" de las redes feed-forward (MLP), congelando la capa "Down" (que proyecta de vuelta al residuo).
     • Resultado: Aprendizaje casi máximo (+30.5%) con olvido muy bajo (-2.1%).

C. Explicación Mecanística (Sesgo de Tokens Numéricos)
Los autores demostraron mediante una sonda de "sesgo de conteo" que:

• Al ajustar las capas MLP completas, el modelo aumenta drásticamente la probabilidad de generar tokens numéricos en tareas de descripción general (olvido).
• Al ajustar solo SA Proj. o MLP Gate & Up, este sesgo se mantiene cerca de la línea base.
• Conclusión: El olvido es principalmente un desplazamiento en la distribución de salida. Limitar la actualización de las capas que "escriben" información nueva en el flujo residual (como la proyección Down del MLP) previene este sesgo.

4. Resultados Cuantitativos

Comparado con el ajuste completo del LLM (Full-LLM tuning), las recetas selectivas superan significativamente el equilibrio entre aprendizaje y estabilidad:

• Comparación con Baselines: Las recetas propuestas igualan o superan a métodos avanzados de aprendizaje continuo como Learning without Forgetting (LwF), LoRA, Mixture-of-Experts (MoE) y WiSE-FT, pero son más simples (sin parámetros extra, sin replay y sin ajuste por etapa).
• Eficiencia: El método SA Proj. es el más rápido en entrenamiento (1.46 muestras/seg), superando a LoRA y MoE.

5. Significado e Impacto

Este trabajo cambia la comprensión de cómo se produce el olvido en los LMMs:

1. Cambio de Paradigma: El olvido no es necesariamente una destrucción de representaciones internas, sino un sesgo en la distribución de salida inducido por la adaptación a tareas específicas.
2. Simplicidad y Eficacia: No se necesitan arquitecturas complejas ni almacenamiento de datos históricos. Simplemente, elegir qué capas actualizar (SA Proj. o MLP Gate&Up) es suficiente para lograr un aprendizaje continuo robusto.
3. Generalización: Los resultados se mantienen consistentes a través de diferentes arquitecturas (Qwen, LLaMA-based) y tareas, validando que el control de la distribución de salida es la clave para enseñar nuevas habilidades sin olvidar las antiguas.

En resumen, el artículo proporciona una guía práctica y teóricamente fundamentada para la adaptación continua de modelos multimodales: limitar la actualización a componentes que no alteren drásticamente la distribución de salida del modelo (como las proyecciones de atención o las capas de activación del MLP) permite adquirir nuevas habilidades manteniendo la competencia general.