Boosting Visual Instruction Tuning with Self-Supervised Guidance

Título: Boosting Visual Instruction Tuning with Self-Supervised Guidance (V-GIFT)

1. El Problema: El Sesgo Lingüístico en MLLMs

Los Modelos de Lenguaje Multimodal Grandes (MLLMs), como la familia LLaVA, han demostrado un rendimiento excepcional en tareas de visión-lenguaje generales. Sin embargo, a menudo fallan en problemas centrados en la visión que requieren un razonamiento visual fino (p. ej., conteo de objetos, posicionamiento espacial, relaciones geométricas).

• La causa raíz: La investigación sugiere que el problema no es la debilidad de los codificadores visuales (que ya capturan características ricas), sino la subutilización de la información visual durante la fase de ajuste de instrucciones (instruction tuning).
• El mecanismo del fallo: Durante el entrenamiento estándar, los modelos se optimizan en tripletes (imagen, instrucción, respuesta) expresados en lenguaje natural. Muchos de estos ejemplos pueden resolverse parcialmente o totalmente utilizando priors lingüísticos (sesgos del lenguaje) sin necesidad de observar la imagen. Esto lleva al modelo a aprender estrategias de "atajo" basadas en el texto, ignorando la evidencia visual cuando es necesaria.
• Limitación actual: Escalar los modelos o aumentar los datos no resuelve este desequilibrio; el modelo sigue dependiendo del lenguaje en lugar de la visión.

2. Metodología: V-GIFT (Visually Grounded Instruction Fine-Tuning)

Los autores proponen V-GIFT, un enfoque simple y ligero que corrige este desequilibrio de supervisión integrando tareas auto-supervisadas (SSL) directamente en el flujo de ajuste de instrucciones.

Principios Clave:

1. Sin cambios arquitectónicos: No se modifican los codificadores visuales, los módulos de proyección ni el decodificador LLM.
2. Sin pérdidas auxiliares: Se mantiene la función de pérdida estándar de entropía cruzada autoregresiva.
3. Sin anotación humana: Las tareas se generan automáticamente a partir de transformaciones de imagen o correspondencias de características.

Reformulación de Tareas SSL:
El núcleo de V-GIFT es reformular tareas clásicas de aprendizaje auto-supervisado como instrucciones de lenguaje natural que obligan al modelo a usar la visión. Se utilizan tres tipos de tareas:

• Predicción de Rotación: Se presenta una imagen rotada ($0^\circ, 90^\circ, 180^\circ, 270^\circ$) y el modelo debe identificar el ángulo. La respuesta correcta no puede inferirse del lenguaje; requiere reconocer la orientación de los objetos.
• Colorización Puntual (Matching de Color): Se convierte una imagen a escala de grises, se seleccionan puntos específicos y se pide al modelo que empareje cada punto con su color original (entre varias opciones). Esto exige discriminación visual fina y anclaje espacial.
• Correspondencia de Puntos: Dada una pareja de imágenes del mismo objeto, el modelo debe identificar qué punto en la segunda imagen corresponde a un punto de consulta en la primera. Requiere coincidencia de características entre vistas y razonamiento espacial.

Integración en el Entrenamiento:

• Se crea un conjunto de datos mixto $\mathcal{D} = \mathcal{D}_{inst} \cup \mathcal{D}_{ssl}$.
• Se introduce una pequeña fracción de estas tareas SSL (ratio $\rho$) dentro del conjunto de datos de ajuste de instrucciones estándar.
• Resultados óptimos: Un ratio bajo de 3% a 10% de datos SSL es suficiente para obtener mejoras consistentes sin aumentar significativamente el costo computacional.

3. Contribuciones Clave

1. Marco de Reformulación: Propone convertir tareas pretextos de SSL clásicas en datos de seguimiento de instrucciones visuales, mitigando los atajos lingüísticos en MLLMs.
2. Integración Transparente: El método es compatible con cualquier arquitectura MLLM (como LLaVA o LLaVA-OneVision) sin necesidad de modificar la arquitectura, añadir etapas de pre/post-entrenamiento costosas o ajustar hiperparámetros complejos.
3. Evidencia Empírica: Demuestra que ajustar la distribución de supervisión durante el ajuste de instrucciones es más efectivo que añadir pérdidas auxiliares complejas, logrando mejoras generalizables en múltiples modelos y benchmarks.

4. Resultados Experimentales

Los experimentos se realizaron en modelos como LLaVA-1.5 (con backbones Vicuna y Qwen) y LLaVA-OneVision-1.5.

• Benchmarks Centrados en Visión: V-GIFT mostró mejoras consistentes en:
  • CVB-2D: Conteo y razonamiento 2D.
  • POPE: Evaluación de alucinaciones y precisión.
  • MMStar: Razonamiento multimodal complejo.
  • BLINK: Razonamiento visual rápido.
  • Ejemplo: En LLaVA-1.5-Qwen, el promedio general mejoró de 57.8 a 58.7, con ganancias notables en BLINK (+1.7) y CVB-2D (+1.1).
• Generalización: Las mejoras se mantuvieron incluso con fine-tuning eficiente de parámetros (LoRA) y en modelos más potentes y recientes.
• Análisis de Control:
  • No es solo cómputo: Se demostró que aumentar el número de iteraciones de entrenamiento con datos estándar no produce mejoras. El beneficio proviene específicamente de la naturaleza "forzada visualmente" de las tareas SSL.
  • Momento de la inyección: Las mejoras solo ocurren cuando las tareas SSL se mezclan durante el ajuste de instrucciones. Inyectarlas antes o después (etapas separadas) no funciona o causa olvido catastrófico.
  • Fuente de datos: Incluso usar una sola imagen para generar múltiples vistas SSL produce mejoras, indicando que la clave es la naturaleza de la tarea y no la escala del dataset.

5. Significado e Impacto

El trabajo de V-GIFT ofrece un cambio de paradigma en cómo se entrena a los MLLMs:

• Cambio de Enfoque: En lugar de buscar arquitecturas más complejas o pérdidas auxiliares, se demuestra que la distribución de los datos de entrenamiento es el factor crítico.
• Razonamiento Visual Real: Al obligar al modelo a resolver tareas donde el lenguaje no ofrece respuestas (como el color de un píxel en una imagen en escala de grises), se fomenta una verdadera alineación entre la percepción visual y el razonamiento lingüístico.
• Eficiencia: Es una solución de "bajo costo" que no requiere recursos adicionales masivos ni anotación manual, haciéndola accesible y escalable para la comunidad de investigación.
• Análisis Cualitativo: Los mapas de atención muestran que los modelos entrenados con V-GIFT se centran más precisamente en los objetos relevantes de la imagen, reduciendo las alucinaciones y mejorando la grounding (anclaje) visual.

En conclusión, V-GIFT demuestra que introducir un pequeño porcentaje de tareas auto-supervisadas visualmente fundamentadas en el flujo de ajuste de instrucciones es un "palanca" poderosa y simple para desbloquear el verdadero potencial de razonamiento visual de los modelos multimodales.