Resumen Técnico: Evolución de la Precisión y los Errores Visual-Cognitivos en una Década de Modelos de IA de Visión y Lenguaje

1. Planteamiento del Problema

Si bien los Modelos de Visión-Lenguaje (VLM) han demostrado un progreso notable en el razonamiento visual durante la última década, las evaluaciones existentes dependen en gran medida de conjuntos de datos de escenas simples (p. ej., MS-COCO) que carecen de interacciones y comportamientos humanos complejos. En consecuencia, los benchmarks actuales pueden no capturar adecuadamente los desafíos del razonamiento visual cotidiano que involucra dinámicas sociales. Además, la investigación previa se ha centrado principalmente en métricas de rendimiento agregado (p. ej., BLEU, CIDER) en lugar de diseccionar los tipos específicos de errores visual-cognitivos que cometen los modelos o cómo han evolucionado estos perfiles de error. Existe la necesidad de comprender si los modelos realmente han alcanzado capacidades de razonamiento de nivel humano en escenarios complejos e identificar qué tipos específicos de errores persisten a pesar de los avances arquitectónicos.

2. Metodología

2.1 Conjuntos de Datos

El estudio utiliza dos conjuntos de datos distintos:

• Conjunto de Datos de Comportamiento Social Complejo (CSB): Un conjunto de datos novedoso que comprende 100 imágenes que representan interacciones sociales intrincadas y comportamientos humanos complejos, procedentes principalmente de escenas de películas.
• Conjunto de Datos MS-COCO: Un conjunto de control de 100 imágenes seleccionadas aleatoriamente del estándar MS-COCO, que presenta escenas más simples (p. ej., objetos, actividades sencillas) sin dinámicas sociales complejas.

2.2 Modelos Evaluados

Los autores evaluaron nueve modelos de visión-lenguaje que abarcan el periodo de 2017 a 2025:

• Pre-MLLMs (4 modelos): Up-Down Captioner (UDC), Meshed Memory Transformer (M2M), OSCAR y OFA. Estos suelen utilizar backbones ResNet-101 con codificadores/decodificadores LSTM o Transformer.
• Modelos de Lenguaje de Gran Escala Multimodales (MLLMs) (5 modelos): GPT-4, Gemini, GPT-4o1, GPT-5.1 y Gemini3. Estos utilizan arquitecturas Transformer entrenadas en vastos pares de imagen-texto con aprendizaje por refuerzo a partir de la retroalimentación humana.

2.3 Benchmarking Humano

• Generación del Estándar de Oro: Para cada imagen, se recolectaron 20 descripciones humanas a través de Amazon Mechanical Turk. Un grupo separado de 50 trabajadores clasificó estas descripciones; la descripción mejor clasificada sirvió como el "estándar de oro".
• Línea Base de Rendimiento Humano: Se conservaron las cuatro mejores y las cuatro peores descripciones humanas para establecer límites de rendimiento para la comparación con los modelos.

2.4 Métricas de Evaluación

• Similitud Semántica: El estudio emplea el Índice de Similitud de Gemini (Gemini-SI) y el Índice de Similitud de GPT (GPT-SI), que calculan la similitud de coseno de los embeddings de texto generados por modelos de lenguaje de gran escala. La validación mostró que estas métricas se correlacionan más fuertemente con las calificaciones humanas que BERTScore.
• Taxonomía de Errores: Se definieron y analizaron cinco tipos específicos de errores visual-cognitivos:
  1. Detección de Objetos: Fallo al detectar objetos relevantes presentes en la escena.
  2. Reconocimiento de Objetos: Clasificación errónea de los objetos detectados.
  3. Alucinación: Describir objetos que no están presentes en la imagen o clasificar erróneamente objetos irrelevantes como relevantes.
  4. Comprensión de la Escena: Reconocer correctamente un objeto pero omitirlo de la descripción.
  5. Dependencia Espacial: Una métrica novedosa que mide el grado en que los modelos y los humanos dependen de las mismas regiones de la imagen para la generación de la descripción. Esto se evaluó utilizando un paradigma de enmascaramiento por oclusión (enmascarando 1/3 de la imagen) para determinar si la pérdida de regiones específicas degradaba la descripción de manera similar para humanos y modelos.

2.5 Análisis Estadístico

Debido al tamaño limitado de la muestra (200 imágenes), los autores utilizaron bootstrapping (10,000 remuestreos) para estimar la variabilidad y la generalización. Los niveles de significancia se corrigieron para la Tasa de Falso Descubrimiento (FDR) utilizando el método de Benjamini-Hochberg.

3. Resultados Clave

3.1 Evolución del Rendimiento

• Escenas Complejas vs. Simples: Los Pre-MLLMs tuvieron un rendimiento significativamente peor en el conjunto de datos CSB en comparación con MS-COCO, cayendo a menudo por debajo del rendimiento de las descripciones humanas peor clasificadas. En contraste, los MLLMs lograron una precisión en el conjunto de datos CSB comparable a las descripciones humanas mejor clasificadas, eliminando efectivamente la brecha de rendimiento entre escenas simples (MS-COCO) y complejas (CSB).
• Verificación de Sesgo en Datos de Entrenamiento: Para descartar la posibilidad de que los MLLMs simplemente memorizaran las escenas de películas utilizadas en CSB, los autores probaron los modelos en un conjunto de datos interno de imágenes no vistas. Los MLLMs mantuvieron un alto rendimiento similar al de los humanos, mientras que los pre-MLLMs (específicamente OFA) permanecieron significativamente más bajos, confirmando que la mejora se debe a la capacidad del modelo y no a la memorización de datos.

3.2 Análisis de Errores

• Reducción de Errores: Los MLLMs han eliminado casi por completo los errores de detección, reconocimiento y alucinación en ambos conjuntos de datos. Los Pre-MLLMs exhibieron tasas significativamente más altas de estos errores en el conjunto de datos CSB en comparación con MS-COCO.
• Dependencia Espacial Persistente: El único tipo de error que sigue siendo significativo para los MLLMs es el Error de Dependencia Espacial (SDE). Aunque los MLLMs han reducido el SDE en comparación con modelos anteriores, ocasionalmente siguen dependiendo de regiones de la imagen distintas a las de los humanos para generar descripciones.
• Impacto en la Precisión: Los errores de detección, reconocimiento y alucinación tuvieron el mayor impacto negativo en las puntuaciones de similitud semántica (reduciendo el Gemini-SI a 0.38–0.41). Los errores de comprensión de la escena tuvieron un impacto moderado, mientras que los errores de dependencia espacial tuvieron el menor impacto en las puntuaciones de similitud general (0.56).

4. Contribuciones

• Conjunto de Datos CSB: Introducción de un benchmark diseñado específicamente para evaluar el razonamiento visual en interacciones sociales complejas, abordando las limitaciones de conjuntos de datos estándar como MS-COCO.
• Taxonomía de Errores: Una clasificación exhaustiva de errores visual-cognitivos (detección, reconocimiento, alucinación, comprensión de la escena y dependencia espacial) aplicada a través de una década de evolución de modelos.
• Innovación Metodológica: Desarrollo de un paradigma de enmascaramiento para cuantificar los errores de dependencia espacial, permitiendo la comparación de dónde enfocan su atención los modelos y los humanos sin requerir acceso a los pesos internos del modelo (agnóstico al modelo).
• Análisis Longitudinal: Una evaluación única de nueve modelos que abarcan de 2017 a 2025, documentando la transición de los pre-MLLMs específicos de tareas hacia los MLLMs de propósito general.

5. Significado y Afirmaciones

El artículo afirma que, si bien los MLLM han logrado cerrar la brecha en la precisión de la descripción de escenas entre escenas simples y complejas —alcanzando un rendimiento de nivel humano en tareas complejas—, no se han alineado totalmente con los procesos de razonamiento visual humano. Específicamente, la persistencia de los errores de dependencia espacial sugiere que los MLLM aún pueden depender de pistas visuales o regiones distintas a las de los humanos al describir interacciones complejas.

Los autores concluyen que sus hallazgos proporcionan una evaluación más profunda de los avances de los VLM, destacando que, aunque los errores "factuales" (detección, reconocimiento, alucinación) se han superado en gran medida, persisten desalineaciones cognitivas más profundas respecto a dónde se extrae la información de una imagen. El estudio enfatiza que evaluar los modelos únicamente con conjuntos de datos simples (MS-COCO) enmascara los desafíos específicos y los perfiles de error asociados con el comportamiento humano complejo, y que las mejoras futuras deben abordar estas desalineaciones espaciales y de razonamiento.