Resumen Técnico: SITUATE - Conjunto de Datos de Conteo de Objetos Sintéticos para el Entrenamiento de VLM

Planteamiento del Problema

Los Modelos de Lenguaje-Visión (VLM) han alcanzado un éxito significativo en la descripción de imágenes y la respuesta a preguntas visuales, pero continúan luchando con el razonamiento cuantitativo preciso, específicamente en el conteo de objetos y la comprensión de relaciones espaciales. Los modelos actuales suelen fallar al traducir el reconocimiento visual en números precisos, particularmente cuando los conteos superan los cinco o cuando los objetos están ocluidos. Los conjuntos de datos existentes presentan una dicotomía: los benchmarks 2D simples como CountBench permiten que los modelos aprendan patrones visuales en lugar de un conteo real (por ejemplo, reconocer un patrón específico para el número nueve), mientras que los conjuntos de datos del mundo real como TallyQA y Pixmo count sufren de ambigüedad, oclusión intensa y falta de control sobre la composición espacial. Además, los modelos entrenados en estos conjuntos de datos suelen exhibir sesgos, fallando al generalizar cuando los conteos de objetos se desvían de las distribuciones de entrenamiento o cuando se consulta un atributo específico (como el color). Actualmente no existe un enfoque unificado que aborde simultáneamente el conteo y la comprensión espacial en un entorno controlado pero desafiante.

Metodología

Construcción del Conjunto de Datos (SITUATE)

Los autores presentan SITUATE, un nuevo conjunto de datos sintético diseñado para cerrar la brecha entre los gráficos 2D artificiales y las fotos no controladas del mundo real.

• Pipeline de Generación: El conjunto de datos fue generado utilizando Blender y BlenderProc, aprovechando una API de Python para la generación procedimental.
• Composición de la Escena: Las escenas consisten en una mesa en una habitación con fondos y texturas de suelo variados. Los objetos (cubos, esferas, conos, cilindros) se colocan sobre, debajo de, delante de, o a la izquierda/derecha de la mesa.
• Complejidad Controlada: Para asegurar una comprensión visual clara manteniendo el desafío, la extensión horizontal de la mesa se divide en contenedores (bins) para evitar el solapamiento de objetos y la oclusión excesiva.
• Control de Calidad: Un proceso de validación asegura un contraste suficiente entre los objetos y los fondos utilizando la métrica de diferencia de color $\Delta E$ en el espacio de color Lab. Las imágenes con $\Delta E < 12.5$ son renderizadas nuevamente.
• Escala de Datos: El conjunto de datos contiene 23,252 tripletos de imagen-pregunta-respuesta (derivados de 6,875 imágenes únicas renderizadas desde 5 perspectivas de cámara). Se centra en conteos de objetos que van de 0 a 15, con un énfasis específico en el rango de 5 a 15.
• Tipos de Preguntas: Se generan seis tipos de preguntas por imagen: color, forma, ubicación, objeto, compuesto y adversarial (preguntando por objetos inexistentes).
• Verdad de Campo (Ground Truth): Se proporcionan tres formatos de verdad de campo: numérico, corto y verboso (razonamiento paso a paso).

Configuración Experimental

Para evaluar la eficacia del conjunto de datos, los autores ajustaron finamente (fine-tuned) el modelo Qwen 2.5 VL 7B utilizando LoRA (Low-Rank Adaptation) con el framework UnSloth.

• Variantes de Entrenamiento: Se crearon cuatro variantes:
  1. Verbosa: Entrenada con SITUATE con verdades de campo verbosas.
  2. No verbosa: Entrenada con SITUATE con verdades de campo cortas.
  3. Pixmo: Entrenada con un subconjunto del dataset Pixmo count (emparejado para la distribución de la verdad de campo).
  4. Mixta: Una combinación de SITUATE (verbosa) y Pixmo.
• Parámetros de Entrenamiento: Los modelos fueron entrenados durante una época en 23,252 elementos con un tamaño de lote de 4, usando el optimizador AdamW 8-bit, una tasa de aprendizaje de 1e-4 y un calentamiento (warmup) de 300 pasos.
• Evaluación: Los modelos fueron probados en los datos de prueba de SITUATE, Pixmo count, CountBench y un subconjunto filtrado de TallyQA (enfocado en conteos de 5 a 15).

Resultados Clave

Rendimiento en SITUATE

• Línea Base (Baseline): El modelo Qwen 2.5 VL 7B sin entrenar logró un 36.3% de precisión en el conjunto de prueba de SITUATE.
• Impacto del Ajuste Fino (Fine-tuning):
  • SITUATE Verbosa: Mejoró la precisión al 50.3%.
  • Mixta (SITUATE + Pixmo): Logró la mayor precisión con un 52.7%.
  • No verbosa y solo Pixmo: Ambas variantes resultaron en una menor precisión en SITUATE (29.5% y 27.3%, respectivamente) comparado con la línea base, lo que sugiere que el entrenamiento únicamente con datos del mundo real o datos sintéticos no verbosos no se transfiere bien a las restricciones espaciales específicas de SITUATE.

Generalización y Rendimiento entre Datasets

• Pixmo Count: La variante Mixta alcanzó un 60.0% de precisión, una mejora significativa sobre la línea base (51.8%) y las variantes de solo SITUATE. Esto indica que el entrenamiento en SITUATE ayuda a generalizar hacia datos del mundo real.
• CountBench: La línea base funcionó bien (81.9%). La variante Mixta mantuvo este rendimiento (81.9%), mientras que la variante Pixmo lo mejoró ligeramente a 85.1%.
• TallyQA: Todos los modelos tuvieron dificultades debido a la ambigüedad y oclusión inherente de este dataset. La variante Mixta alcanzó un 27.5%, una ligera mejora sobre la línea base (25.5%).
• Comparación con otros Modelos:
  • Molmo 7B-D: Funcionó excepcionalmente bien en Pixmo (87.1%) y CountBench (92.7%), pero fue superado por el Qwen 3 VL 32B en SITUATE (79.2% vs. 47.4% para Molmo).
  • Qwen 3 VL 32B: Mostró las mejores capacidades de generalización en todos los benchmarks, particularmente en SITUATE, aunque no fue ajustado finamente con los datasets específicos utilizados en este estudio.

Observaciones Cualitativas

• Verboso vs. No Verboso: El estilo de entrenamiento verboso mejoró el rendimiento para conteos de 5 en adelante, pero provocó alucinaciones para números pequeños (por ejemplo, inventar objetos para sumar hasta alcanzar un objetivo).
• La Anomalía del "Seis": La línea base mostró una caída distintiva en la precisión para el número seis (19%) comparado con el cinco (39%) y el siete (35%). El dataset Mixto mitigó esto con éxito, elevando la precisión para el seis al 61%.
• Preguntas Adversariales: El modelo no verboso se sobreajustó a las preguntas adversariales, afirmando frecuentemente que había cero objetos presentes, mientras que la línea base las manejó correctamente.

Significancia y Reivindicaciones

El artículo afirma que SITUATE llena un vacío crítico en el entrenamiento de VLM al proporcionar un entorno controlado que impone el razonamiento espacial y el conteo preciso sin la ambigüedad de las fotos del mundo real.

• Generalización: El hallazgo principal es que el ajuste fino en SITUATE (específicamente la variante Mixta) mejora la capacidad de un modelo para generalizar a datos del mundo real fuera de la distribución (Pixmo count), mientras que el ajuste fino solo en Pixmo no mejora el rendimiento en SITUATE.
• Mecanismo de Aprendizaje: El estudio sugiere que los VLM pueden aprender a contar más eficazmente cuando se entrenan con datos que separan explícitamente la colocación de objetos y sus atributos, en lugar de depender de los sesgos estadísticos encontrados en los datos del mundo real.
• Utilidad Futura: Los autores postulan que SITUATE sirve como un benchmark valioso para evaluar las capacidades de conteo "reales" de los VLM, distinguiendo entre el reconocimiento de patrones y el razonamiento cuantitativo real.

Limitaciones

Los autores reconocen varias limitaciones:

• Naturaleza Sintética: El conjunto de datos está limitado a cuatro clases de objetos geométricos y un único diseño de escena (mesa en una habitación), aunque los ángulos de cámara y texturas varían.
• Alcance del Modelo: Los experimentos se limitaron al ajuste fino de un solo modelo (Qwen 2.5 VL 7B) durante una sola época; no se probaron explícitamente los resultados en otras arquitecturas o esquemas de entrenamiento más largos.
• Línea Base Humana: No se estableció una línea base humana, aunque los autores estiman que la precisión humana sería del 90–95% dado el carácter controlado de las imágenes.
• Alcance de los Objetos: Los objetos actuales son abstractos; el trabajo futuro apunta a introducir texturas fotorrealistas y relaciones de objetos más complejas (por ejemplo, tazas, pelotas).