INST-IT: Boosting Instance Understanding via Explicit Visual Prompt Instruction Tuning

1. El Problema

A pesar de los avances significativos en los Modelos Multimodales Grandes (LMMs) gracias al ajuste fino de instrucciones (instruction tuning), estos modelos aún presentan deficiencias críticas en la comprensión a nivel de instancia.

• Limitación actual: Los LMMs existentes suelen entender imágenes y videos de manera holística (nivel global), pero fallan al identificar, rastrear y razonar sobre elementos específicos (instancias) que el usuario interesa.
• Brecha de datos: Los conjuntos de datos y benchmarks actuales carecen de anotaciones finas y explícitas a nivel de instancia, especialmente en el dominio de video, donde se requiere capturar tanto la información espacial como la dinámica temporal.
• Desafío: Sin una guía visual explícita, los modelos tienden a alucinar o perder el rastro de objetos específicos dentro de escenas complejas o secuencias temporales.

2. Metodología

Los autores proponen Inst-IT, un marco integral que aborda el problema mediante tres componentes principales: un pipeline de anotación automatizado, un nuevo conjunto de datos y un benchmark de evaluación, junto con una receta de entrenamiento específica.

A. Pipeline de Anotación Centrado en Instancias

Para generar datos de alta calidad, diseñaron un pipeline automatizado que utiliza GPT-4o potenciado por prompts visuales explícitos:

• Set-of-Marks (SoM): Se superponen IDs numéricos sobre cada instancia en las imágenes y videos. Esto guía al modelo de lenguaje para que se centre en objetos específicos en lugar de la escena general.
• Anotación Multi-nivel: El pipeline genera anotaciones jerárquicas:
  1. Nivel de Frame: Descripciones de instancias individuales, descripción global de la imagen y diferencias temporales respecto al frame anterior.
  2. Nivel de Video: Resumen cohesivo de todo el video capturando la dinámica espacio-temporal.
  3. Pares Pregunta-Respuesta (QA): Generación de preguntas abiertas enfocadas en relaciones, interacciones y cambios de estado de las instancias.

B. Inst-IT Dataset

Construyeron el primer conjunto de datos de ajuste fino de instrucciones basado en instancias que cubre tanto imágenes como videos:

• Origen de datos: Combinaron 5 conjuntos de segmentación de instancias en video (ej. BRUST, OVIS, YoutubeVIS) y 2 de seguimiento de objetos, más el dataset SA-1B para imágenes.
• Escala: Incluye 51k imágenes y 21k videos, con un total de 207k descripciones a nivel de frame, 135k descripciones de cambios temporales y 335k pares QA abiertos.
• Calidad: Se emplearon filtros de diversidad y verificación manual para asegurar una alta calidad (puntuación promedio de 4.49/5).

C. Inst-IT Bench

Desarrollaron un benchmark específico para diagnosticar la comprensión a nivel de instancia:

• Contenido: 1,000 pares QA para imágenes y 1,000 para videos.
• Formatos: Soporta evaluación de preguntas abiertas (Open-Ended) y de opción múltiple (Multiple-Choice), incluyendo "negativos difíciles" para probar la robustez del modelo.
• Enfoque: Las preguntas requieren identificar instancias específicas, sus atributos y sus cambios temporales, evitando ambigüedades.

D. Receta de Entrenamiento (Instruction Tuning)

Proponen un paradigma de ajuste fino continuo:

• Arquitectura: Basado en LLaVA-NeXT.
• Estrategia: Mezclan el nuevo Inst-IT Dataset con datos generales de ajuste fino (LLaVA-NeXT-DATA).
• Técnica clave: Congelan las primeras 12 capas del codificador visual durante el entrenamiento con datos visuales con prompts (SoM) para evitar desplazamientos de distribución (distribution shifts) y preservar características de bajo nivel.
• Formato: Conversaciones multi-turno que integran descripciones de instancias, diferencias temporales y respuestas a preguntas.

3. Contribuciones Clave

1. Inst-IT Dataset: El primer conjunto de datos de ajuste fino de instrucciones a gran escala centrado en instancias para imágenes y videos, con anotaciones explícitas y prompts visuales (SoM).
2. Inst-IT Bench: Un benchmark riguroso y verificado por humanos diseñado específicamente para evaluar la capacidad de comprensión a nivel de instancia en LMMs multimodales.
3. Receta de Entrenamiento Efectiva: Un método de instruction tuning continuo que demuestra que mejorar la comprensión de instancias no solo resuelve tareas específicas, sino que también fortalece la comprensión general del modelo.

4. Resultados Experimentales

Los experimentos demuestran que los modelos mejorados con Inst-IT superan significativamente a los modelos base y al estado del arte (SOTA):

• En Inst-IT Bench: Los modelos logran mejoras de casi un 20% en la puntuación promedio en comparación con modelos base como LLaVA-NeXT.
• En Benchmarks de Instancias Externos:
  • Mejora de 10.8% en RefCOCOg (comprensión de expresiones de referencia).
  • Rendimiento superior o comparable a ViP-LLaVA en ViP-Bench, incluso en evaluación zero-shot.
• En Benchmarks Generales (Imágenes y Video):
  • Imágenes: Mejoras de 4.4% en AI2D y 13.5% en ChartQA.
  • Video: Mejoras de 7.8% en Egoschema y 11.8% en NExT-QA.
• Generalización: La mejora en la comprensión de instancias se traduce en una mejor capacidad general de razonamiento espacial y temporal, sin sacrificar el rendimiento en tareas globales.

5. Significado e Impacto

El trabajo de Inst-IT es fundamental porque:

• Cierra la brecha de granularidad: Demuestra que la comprensión de instancias es un componente esencial para que los LMMs sean verdaderos asistentes multimodales capaces de interactuar con el mundo real, donde los usuarios se enfocan en objetos específicos y no solo en escenas generales.
• Valida los Prompts Visuales: Confirma que el uso de prompts visuales explícitos (como los IDs numéricos) es una estrategia eficaz para guiar a los modelos de lenguaje hacia una atención más precisa y reducir alucinaciones.
• Escalabilidad: Proporciona una metodología reproducible para generar datos de alta calidad a nivel de instancia, sentando las bases para futuros modelos multimodales más robustos y precisos en aplicaciones como robótica, asistencia médica y análisis de video avanzado.