A Study of Commonsense Reasoning over Visual Object Properties

Resumen Técnico: Un Estudio sobre el Razonamiento de Sentido Común sobre las Propiedades de Objetos Visuales

Planteamiento del Problema
Los benchmarks actuales de Visual Question Answering (VQA) suelen confundir la percepción de objetos con el razonamiento de alto nivel, lo que dificulta aislar si los modelos de lenguaje-visión (VLMs) fallan debido a una mala fundamentación visual o a una falta de capacidades de razonamiento de sentido común. Los estudios existentes suelen mezclar subtareas (detección, inferencia, razonamiento contrafáctico) y carecen de representatividad respecto a los niveles de razonamiento y las categorías de imágenes (por ejemplo, dependiendo excesivamente de formas sintéticas o simples). En consecuencia, no está claro qué tan bien los VLMs reconocen y razonan sobre los objetos representados a través de diversos niveles de realismo y complejidad.

Metodología
Los autores presentan OPTICS, un marco de evaluación sistemático diseñado para desacoplar la percepción del razonamiento. El marco se construye sobre tres ejes ortogonales:

1. Dimensiones de las Propiedades de los Objetos: Cuatro dimensiones derivadas de la representación del conocimiento de sentido común:
   • Física: Cualidades observables (material, estado, relaciones parte-todo).
   • Taxonómica: Pertenencia a categorías semánticas (p. ej., "mamífero", "mueble").
   • Funcional: Utilidades, asequibilidad (affordances) y dependencias operativas.
   • Relacional: Agrupaciones espaciales y contextuales entre objetos.
2. Complejidad del Razonamiento: Tres niveles crecientes de abstracción:
   • Reconocimiento Directo: Identificación de características mediante la observación y la taxonomía básica.
   • Inferencia de Propiedades: Razonamiento de múltiples pasos para determinar propiedades funcionales o relacionales.
   • Razonamiento Contrafáctico: Razonamiento sobre cambios hipotéticos en la escena (p. ej., "Si X fuera eliminado...").
3. Tipos de Imagen: Tres categorías para probar la generalización a través de dominios visuales:
   • Fotográfica: Escenas del mundo real, ruidosas y complejas.
   • Animada: Estilizada, de bajo ruido y simplificada.
   • Generada por IA: Sintética, potencialmente con objetos o físicas implausibles.

El marco se instanció en dos benchmarks utilizando un pipeline semiautomático que involucra LLMs multimodales y refinamiento humano:

• OPTICS-CNT: 360 imágenes emparejadas con 1,080 preguntas de conteo (conteo exacto).
• OPTICS-CMP: 2,122 preguntas de comparación derivadas de OPTICS-CNT, que piden a los modelos determinar qué imagen de dos tiene un conteo mayor basándose en condiciones específicas.

Contribuciones Clave

1. Un Marco de Evaluación Sistemático: El primer marco que controla conjuntamente las dimensiones de las propiedades de los objetos, los niveles de complejidad del razonamiento y los tipos de imagen, permitiendo un diagnóstico detallado de las capacidades de los VLMs.
2. Dos Nuevos Benchmarks: El lanzamiento de OPTICS-CNT y OPTICS-CMP, que presentan datos de alta calidad y refinados por humanos que cubren diversos dominios y tipos de razonamiento.
3. Análisis Empírico Exhaustivo: Una evaluación zero-shot de 12 VLMs de vanguardia (incluyendo modelos de código abierto ajustados por instrucciones, variantes de ajuste fino y modelos de código cerrado) frente a líneas base humanas.

Resultados

• Brecha de Rendimiento: Los VLMs exhiben limitaciones significativas en comparación con los humanos. El modelo con mejor desempeño (Qwen2.5-VL-32B) logró solo un 39.91% de precisión en OPTICS-CNT y un 68.33% en OPTICS-CMP, mientras que el promedio humano fue de 73.89% y 83.89%, respectivamente. Incluso el nuevo modelo de razonamiento GPT-o3 alcanzó solo un 52.41% en tareas de conteo, permaneciendo aproximadamente un 20% por debajo del rendimiento humano.
• Cuello de Botella de Percepción vs. Razonamiento: Contrario a la hipótesis de que la complejidad del razonamiento aumenta linealmente con la dificultad, los mejores VLMs tuvieron un mejor desempeño en el razonamiento contrafáctico que en el reconocimiento directo de propiedades físicas. Esto sugiere que el principal cuello de botella para los modelos actuales es la precisión perceptiva de bajo nivel más que la lógica de razonamiento de alto nivel.
• Disparidad de Tipo de Imagen: Los modelos funcionan significativamente mejor en imágenes animadas y generadas por IA que en imágenes fotográficas. Los humanos también encuentran las imágenes fotográficas más difíciles, pero la brecha de rendimiento entre los datos sintéticos y los del mundo real es mucho más amplia para los modelos.
• Análisis de Errores:
  • VLMs: Propensos a "errores antinaturales" (alucinaciones, p. ej., contar un vaso como metal) y fallos perceptivos. Exhiben un sesgo hacia el subconteo.
  • Humanos: Los errores se deben principalmente a la ambigüedad semántica (incertidumbre en los criterios de la pregunta) más que a la percepción o a errores antinaturales.
• Calibración de la Incertidumbre: Los puntajes de incertidumbre de los modelos (p. ej., perplejidad) no siempre son predictores fiables de la corrección; los modelos más grandes (Qwen-32B) a menudo mantienen una alta confianza incluso cuando son incorrectos.

Significancia y Reivindicaciones
El artículo afirma que OPTICS proporciona nuevos conocimientos al revelar que el cuello de botella del "razonamiento" en los VLMs actuales es en realidad un cuello de botella de "percepción", particularmente respecto a las propiedades físicas y funcionales en imágenes realistas y ruidosas. El estudio destaca que, si bien los nuevos modelos de razonamiento mejoran el desempeño, todavía luchan con el razonamiento contrafáctico y con conteos más altos en entornos fotográficos. Los autores posicionan a OPTICS como una herramienta para apoyar el desarrollo de guías de anotación generalizadas, métodos de benchmarking escalables y VLMs de razonamiento avanzado que puedan cerrar mejor la brecha entre los datos de entrenamiento sintéticos y la comprensión visual del mundo real. Los autores señalan modestamente que escalar estos benchmarks sigue siendo un desafío debido a las limitaciones de la IA generativa actual en la generación autónoma de preguntas, lo que requiere un esfuerzo humano continuo y enfoques novedosos como las pruebas metamórficas.