Resumen Técnico: Ajuste Composicional Visual (COMPACT)

Declaración del Problema

El Ajuste de Instrucciones Visuales (VIT) para Modelos de Lenguaje Grandes Multimodales (MLLM) ha dependido tradicionalmente de la escalada del tamaño del conjunto de datos para mejorar el rendimiento, a menudo pasando por alto la informatividad de las muestras individuales de entrenamiento. Aunque trabajos recientes han demostrado que subconjuntos más pequeños y curados pueden lograr un rendimiento casi completo, los métodos existentes de selección de datos tratan en gran medida la complejidad como un subproducto de la escala en lugar de una métrica controlable.

Los conjuntos de datos VIT actuales, como LLaVA-665K, contienen predominantemente preguntas que requieren solo una o dos capacidades visuales fundamentales (por ejemplo, "¿De qué color es el coche?"). Estas muestras a menudo subutilizan la rica información visual disponible en las imágenes al no combinar múltiples capacidades (por ejemplo, reconocimiento de objetos, relaciones espaciales y atribución de color) en tareas de razonamiento únicas y complejas. En consecuencia, los modelos pueden tener dificultades con tareas de razonamiento visual complejo que requieren la integración de estas habilidades atómicas.

Metodología: COMPACT

Los autores proponen COMPACT (Ajuste Composicional Visual de lo Atómico a lo Complejo), una receta de datos diseñada para escalar la complejidad de las muestras de entrenamiento combinando múltiples capacidades visuales atómicas dentro de un solo ejemplo. La metodología implica una tubería de cuatro pasos:

1. Definición de Capacidad Atómica: Los autores definen una taxonomía de 10 "capacidades visuales atómicas" esenciales para el razonamiento visual, categorizadas en:

   • Atribución: Color, Forma.
   • Reconocimiento: Reconocimiento de Objetos, Reconocimiento de Acciones, Reconocimiento de Texto, Conteo, Reconocimiento Espacial.
   • Relación: Relación Espacial, Interacción de Objetos, Comprensión de Escenas.
     Introducen una métrica de valor $k$, definida como el número de capacidades atómicas requeridas para responder una pregunta específica.

2. Muestreo de Capacidades: Comenzando con una muestra aleatoria de imágenes (por ejemplo, de LLaVA-665K), el sistema muestrea uniformemente $k_{gen} \in \{1, 2, 3\}$ capacidades del conjunto predefinido. El muestreo prioriza capacidades que aún no han sido seleccionadas para una imagen específica para garantizar la diversidad.

3. Generación de Conversación: Utilizando Gemini-2.0-Flash, el sistema genera pares de preguntas y respuestas conversacionales que integran naturalmente todas las capacidades muestreadas. La generación está restringida para asegurar:

   • Las preguntas requieren información visual de la imagen (no pueden responderse solo con texto).
   • Las respuestas son concisas.
   • Las capacidades se integran de manera natural (no meramente unidas con "y").
   • Las preguntas hacen referencia a objetos realmente presentes en la imagen.

4. Verificación de Calidad y Ensamblaje del Conjunto de Datos: Las preguntas generadas se someten a verificación para filtrar respuestas poco informativas, salidas de baja confianza, casi duplicados y casos donde las capacidades no se integraron con éxito. El conjunto de datos final se ensambla mezclando los datos de ajuste composicional generados sintéticamente con un pequeño subconjunto (5%) de los datos originales de LLaVA-665K. Esta mezcla asegura que el modelo mantenga las capacidades de seguimiento de instrucciones mientras enfoca los datos composicionales en el razonamiento visual.

Contribuciones Clave

1. Curación de Datos Consciente de la Complejidad: El artículo demuestra que aumentar la complejidad (valor $k$) de las muestras de entrenamiento permite un uso más efectivo del contenido informativo dentro de un conjunto de datos, abordando las limitaciones de la escalada convencional agnóstica a la complejidad.
2. Métrica de Complejidad Cuantificable: Los autores definen el valor $k$ para cuantificar la complejidad de las tareas visión-lenguaje y analizan la distribución óptima de complejidad para la máxima eficiencia.
3. Receta de Datos Eficiente: COMPACT proporciona una receta escalable de generación de datos sintéticos que reduce significativamente el presupuesto de datos requerido para un VIT efectivo.

Resultados Experimentales

Los autores evaluaron COMPACT en el modelo LLaVA-v1.5-7B utilizando ocho benchmarks multimodales (incluyendo MM-Vet, MMStar, InfoVQA y SeedBench2Plus).

• Eficiencia de Datos: El entrenamiento en un conjunto de datos que comprende solo el 10% del volumen de LLaVA-665K (específicamente 32K muestras composicionales + 5% de LLaVA-665K para formato) logró el 100.2% del rendimiento completo de LLaVA-665K en los benchmarks.
• Superioridad en Tareas Complejas: COMPACT superó al entrenamiento a escala completa de LLaVA-665K en benchmarks particularmente complejos:
  • MM-Vet: +8.6% de mejora (31.7 vs. 29.2).
  • MMStar: +2.9% de mejora (36.1 vs. 35.1).
  • InfoVQA: +13.8% de mejora.
• Comparación con Líneas Base: COMPACT superó significativamente a subconjuntos aleatorios y otros métodos de reducción de datos (por ejemplo, ICONS, EL2N, Perplejidad), los cuales lograron solo un rendimiento relativo de ~95-97% con volúmenes de datos similares.
• Análisis de Distribución de Complejidad: El conjunto de datos LLaVA-665K tiene un valor $k$ medio de ~1.95, con el 77% de las preguntas requiriendo $k \le 2$. En contraste, el conjunto de datos COMPACT tiene un valor $k$ medio de ~2.89. Los estudios de ablación confirmaron que al menos la mitad de la ganancia de rendimiento es atribuible a esta distribución de mayor complejidad.

Significado y Afirmaciones

El artículo afirma que el ajuste composicional visual ofrece una vía escalable y eficiente para mejorar los MLLM en tareas visión-lenguaje. Al apuntar explícitamente a valores $k$ más altos durante la generación de muestras, COMPACT permite que los modelos aprendan de más características visuales en cada imagen, lo que conduce a un rendimiento superior en tareas de razonamiento complejo con una fracción del presupuesto de datos.

Los autores reconocen limitaciones, señalando una dependencia de modelos de código cerrado (Gemini) para la generación de datos, lo que introduce posibles sesgos y barreras de costos para la reproducibilidad. Además, el enfoque se centra en capacidades centradas en la visión y puede no ser óptimo para tareas intensivas en conocimiento que requieren conocimiento externo del mundo. Se sugiere trabajo futuro para explorar la intersección de la complejidad de imagen y texto y la aplicación de estos principios a diferentes algoritmos de aprendizaje.