Selective LoRA for Visual Tokens and Attention Heads

Planteamiento del Problema

La Adaptación de Bajo Rango Estándar (LoRA) es un método ampliamente utilizado para el ajuste fino eficiente en parámetros (PEFT) de modelos grandes. Sin embargo, cuando se aplica a Modelos Visuales-Lingüísticos (VLM), el LoRA estándar impone un prior estructural débil: aplica la misma actualización de bajo rango a todas las posiciones de los tokens (texto del sistema, texto del usuario, tokens visuales y tokens de salida) y a todas las cabezas de atención.

Los autores argumentan que este enfoque de "todos los tokens, todas las cabezas" es ineficiente y potencialmente perjudicial para los VLMs debido a:

1. Heterogeneidad: Las entradas de los VLMs mezclan modalidades distintas. Trabajos anteriores sugieren que solo cabezas de atención específicas son cruciales para tareas visuales (anclaje, apuntado), mientras que otras manejan el lenguaje.
2. Perturbación Innecesaria: Adaptar todos los tokens, incluido el texto puro, puede perturbar innecesariamente las fuertes capacidades de razonamiento lingüístico heredadas del núcleo de lenguaje congelado, incluso cuando se utilizan datos multimodales.
3. Ineficiencia: Aplicar actualizaciones al texto de la instrucción y a los tokens de respuesta (que no contienen información visual) desperdicia recursos computacionales (FLOPs) y parámetros durante el entrenamiento.

Metodología: Image-LoRA

Los autores proponen Image-LoRA, una receta PEFT orientada a la visión que trata a LoRA como una actualización residual a nivel de token ($Y = XW + X\Delta W$) y restringe esta actualización basándose en tres formas de selectividad:

1. Selectividad de Token (Solo Visual)
En lugar de aplicar el adaptador a toda la secuencia, Image-LoRA inyecta la actualización residual solo en el rango de tokens visuales ($I_v$).

• Para entradas de texto puro ($I_v = \emptyset$), el adaptador está inactivo y el modelo sigue exactamente la red base congelada.
• Esto preserva las capacidades de razonamiento solo de texto del modelo y reduce los FLOPs de entrenamiento al omitir el cálculo para los tokens de instrucción y respuesta.

2. Selectividad de Cabeza (Subconjunto de Cabezas de Atención)
Image-LoRA actualiza solo un subconjunto compacto de cabezas de atención en lugar de todas las cabezas. La selección se determina mediante una estimación de influencia de un solo paso:

• Se adjunta una sonda ligera de rango 1 (solo tokens visuales) a cada cabeza.
• El sistema ejecuta un solo paso hacia adelante-hacia atrás en un conjunto de sondas para calcular la sensibilidad de la pérdida ante la actualización de cada cabeza (puntuación de influencia).
• Las cabezas se clasifican según esta puntuación. Para asegurar la diversidad, se aplica una selección "cosine farthest-first" (la más lejana primero en coseno) sobre características de diversidad derivadas de los gradientes.
• Un presupuesto global ($K_{sel}$) se distribuye entre las capas basándose en un parámetro de temperatura ($\tau$) que controla qué tan estrictamente el presupuesto sigue la importancia agregada de cada capa.

3. Selectividad de Proyección (Solo Valor)
Dentro de las cabezas seleccionadas, la adaptación se restringe únicamente a la proyección de Valor (V).

• Fundamento: Desde la perspectiva de un token de texto, las claves visuales determinan dónde atender, mientras que los valores visuales determinan qué contenido se recupera. Actualizar los valores visuales cambia la evidencia visual consumida por el modelo de lenguaje sin modificar directamente las representaciones de tokens no visuales en el sitio de inyección.
• Estudios de ablación muestran que este diseño "solo V" supera a la adaptación de las proyecciones Q, K u O, o combinaciones de las mismas, particularmente en regímenes ricos en imágenes.

Mecanismos Adicionales:

• Compartición de Parámetros: La matriz $A$ en la descomposición de LoRA ($\Delta W = AB$) se comparte entre todas las cabezas seleccionadas dentro de una capa, mientras que $B$ permanece específica por cabeza. Esto reduce significativamente los parámetros entrenables.
• Normalización del Tamaño de Selección: Dado que el número de cabezas seleccionadas varía por capa, se aplica un factor de normalización $\nu(N_{chosen}) = 1/\sqrt{N_{chosen}}$ al factor de escala. Esto estabiliza la magnitud de las actualizaciones por capa, evitando que el incremento acumulado crezca con el número de cabezas elegidas.

Contribuciones Clave

• Marco Image-LoRA: Un método PEFT novedoso que restringe la adaptación a tokens visuales, un subconjunto seleccionado de cabezas de atención y la ruta de valor.
• Eficiencia: El método reduce significativamente los parámetros entrenables y los FLOPs exclusivos del adaptador en comparación con el LoRA estándar.
• Preservación del Razonamiento en Texto: Al excluir los tokens de texto de la adaptación, el método asegura que las capacidades de razonamiento solo de texto (por ejemplo, en GSM8K) se preserven después del ajuste fino en tareas visuales.
• Cuello de Botella de Información: Los autores postulan que las restricciones estructurales más estrictas actúan como un cuello de botella de información beneficioso, obligando al modelo a depender de la evidencia visual en lugar de pistas textuales superficiales.

Resultados Experimentales

Los autores evaluaron Image-LoRA en Qwen2.5-VL (7B y 72B), LLaVA-NeXT-7B e InternVL3-8B a través de varias pruebas:

• Localización Visual (ScreenSpot-Pro, RefCOCO):
  • Image-LoRA iguala o se acerca estrechamente a la precisión del LoRA estándar (que adapta las proyecciones Q y V en todos los tokens/cabezas).
  • En regímenes con muchos tokens de imagen (por ejemplo, relación texto:imagen de 1:5), Image-LoRA muestra compensaciones favorables, logrando una precisión comparable con sustancialmente menos parámetros y FLOPs.
  • Para Qwen2.5-VL-7B en ScreenSpot-Pro, Image-LoRA utiliza aproximadamente 1/4 de los parámetros y significativamente menos FLOPs que el LoRA estándar.
• Generalización (TextVQA, VideoQA):
  • El método se generaliza a preguntas y respuestas sobre imágenes ricas en texto y video, manteniendo un rendimiento comparable al LoRA estándar.
• Preservación Solo de Texto (GSM8K):
  • Después del ajuste fino en tareas visuales, los modelos Image-LoRA mantienen su rendimiento original en GSM8K (razonamiento matemático), mientras que los modelos LoRA estándar mostraron una ligera degradación.
• Cuello de Botella de Información (ViLP):
  • En la prueba ViLP (diseñada para probar la dependencia de priores lingüísticos frente a la evidencia visual), Image-LoRA superó al LoRA estándar en un 7.67%, lo que sugiere que el método reduce con éxito el "atajo" mediante priores lingüísticos.

Significado y Afirmaciones

El artículo afirma que Image-LoRA ofrece una estrategia de adaptación más dirigida y eficiente para los VLMs. Al reconocer la naturaleza heterogénea de las entradas de los VLMs, el método:

1. Mejora la Eficiencia: Reduce drásticamente el costo computacional del ajuste fino (FLOPs exclusivos del adaptador) y el número de parámetros entrenables sin sacrificar el rendimiento en tareas visuales.
2. Protege las Capacidades Lingüísticas: Evita la degradación de las habilidades de razonamiento solo de texto que a menudo se observa al adaptar todos los tokens.
3. Mejora el Anclaje Visual: El cuello de botella de información más estricto ayuda al modelo a depender más de la evidencia visual, mejorando el rendimiento en tareas donde los priores lingüísticos podrían ser engañosos.

Los autores señalan limitaciones, incluida la necesidad de optimizaciones eficientes a nivel de kernel para manejar el enrutamiento dinámico de los tokens visuales durante la inferencia y la dependencia actual de una heurística específica de selección de cabezas que podría explorarse más a fondo.