Resumen Técnico: VRIQ – Evaluación Comparativa y Análisis del CI de Razonamiento Visual de los VLMs

Declaración del Problema

A pesar de los avances significativos en los Modelos de Lenguaje-Visión (VLMs), su capacidad para realizar un razonamiento no verbal fiable sigue sin demostrarse. Si bien las capacidades de razonamiento son una piedra angular del rendimiento de los Modelos de Lenguaje Extensos (LLM), la extensión de estos beneficios a contextos multimodales ha revelado limitaciones persistentes. Los benchmarks existentes suelen sufrir dos brechas críticas:

1. Falta de Paridad de Dominio: Muchos benchmarks se centran exclusivamente en imágenes naturales con requisitos de razonamiento superficiales o acertijos abstractos desconectados de la comprensión visual del mundo real, lo que impide una comparación directa del comportamiento del modelo entre dominios.
2. Evaluación Monolítica: Las evaluaciones actuales suelen tratar la percepción (identificación de elementos visuales) y el razonamiento (aplicación de reglas a esos elementos) como una única capacidad, fallando al no aislar la fuente específica del fallo.

En consecuencia, no está claro si los fallos de los VLMs en tareas visuales complejas se deben a una incapacidad para extraer hechos visuales (percepción) o a una incapacidad para aplicar reglas lógicas (razonamiento).

Metodología: El Benchmark VRIQ

Los autores presentan VRIQ (Visual Reasoning IQ), un benchmark diagnóstico compuesto por 1.500 ítems elaborados por expertos, diseñados para evaluar a los VLMs tanto en percepción como en razonamiento.

1. Diseño del Benchmark

VRIQ emplea una estrategia de construcción de dominios paralelos, que presenta dos familias de acertijos que comparten estructuras lógicas idénticas pero difieren en su dominio visual:

• Dominio Abstracto: Primitivas geométricas, líneas y patrones (p. ej., pruebas de aptitud para el servicio civil).
• Dominio Natural: Objetos y escenas del mundo real diseñados para requerir las mismas operaciones lógicas que sus contrapartes abstractas.

El benchmark cubre cinco categorías fundamentales de razonamiento establecidas en la psicometría humana:

• Completitud de Secuencias (SC)
• Predicción de Matrices (MP)
• El Intruso (OO)
• Rotación de Figuras (FR)
• Visualización 3D (3D)

2. Marco de Diagnóstico Jerárquico

Para diseccionar los fallos de los modelos, VRIQ utiliza un marco de evaluación de tres niveles:

• Nivel 1 (Precisión de Extremo a Extremo): Mide la precisión estándar de opción múltiple en todas las categorías.
• Nivel 2 (Sondas Diagnósticas): Para cada acertijo, los autores construyen dos tipos de sondas:
  • Sondas Perceptuales (P-probes): Preguntas atómicas, triviales para humanos, que testan atributos visuales específicos (p. ej., "¿Cuántos círculos rojos hay?") utilizando la imagen original.
  • Sondas de Razonamiento (R-probes): Instanciaciones de texto únicamente del acertijo donde los hechos visuales se proporcionan explícitamente. Esto testea si el modelo puede aplicar la lógica dados los hechos correctos.
• Nivel 3 (Categorización de Errores): Los fallos se clasifican en tres cubos distintos:
  • P-solo: El modelo falla una sonda P pero pasa la sonda R (Cuello de botella de percepción).
  • R-solo: El modelo pasa todas las sondas P pero falla la sonda R (Déficit de razonamiento).
  • P+R: El modelo falla ambos (Fallo combinado).

3. Configuración Experimental

El estudio evalúa un conjunto diverso de modelos de código abierto (p. ej., Qwen2.5/3, InternVL, LLaVA) y propietarios (p. ej., GPT-4o, GPT-5.1, Gemini-2.5-pro). Se hace un caso especial para OpenAI o3, que es evaluado con "pensamiento con imágenes" habilitado, permitiéndole usar herramientas externas (recorte, zoom, rotación, código Python) durante la inferencia. También se estableció una línea base humana utilizando 20 participantes en un subconjunto estratificado.

Resultados Clave

1. Bajo Rendimiento en el Razonamiento Abstracto

Los VLMs rinden a niveles cercanos al azar en preguntas de CI abstractas.

• Dominio Abstracto: La precisión media en todos los VLMs probados es del 27,52%, apenas por encima del nivel de base de la elección aleatoria (25%). Incluso el modelo con mejor rendimiento, Qwen3-VL-32B-Thinking, alcanza solo el 35,5%.
• Propietario vs. Código Abierto: Contrariamente a las tendencias en otros benchmarks, los modelos propietarios (p. ej., GPT-4o con 30,3%) no superan significativamente a los modelos potentes de código abierto en tareas abstractas.
• Línea Base Humana: Los humanos alcanzan un 90,36% de precisión en el subconjunto abstracto, resaltando una brecha masiva.

2. Razonamiento Natural Mejorado pero Poco Fiable

El rendimiento mejora cuando las tareas se fundamentan en imágenes naturales, pero sigue lejos del nivel humano.

• Dominio Natural: La precisión media aumenta al 42,53%, con ganancias de 10 a 20 puntos porcentuales sobre las tareas abstractas.
• Fiabilidad: A pesar de las mejoras, los modelos siguen siendo poco fiables. Por ejemplo, GPT-4o alcanza un 54,2% de media, mientras que los modelos de código abierto se agrupan entre el 35% y el 47%. El rendimiento varía drásticamente entre categorías (p. ej., un modelo puede puntuar un 19% en razonamiento 3D pero un 24% en completitud de secuencias).

3. El Impacto del Razonamiento Aumentado por Herramientas

El modelo OpenAI o3, equipado con capacidades de uso de herramientas (manipulación de imágenes, ejecución de código), demuestra un salto sustancial en el rendimiento:

• Abstracto: 50,2% de precisión media (frente al ~28% de otros).
• Natural: 85,0% de precisión media.
• Mecanismo: El análisis de las trazas de herramientas muestra que o3 utiliza frecuentemente el recorte y el zoom para aislar elementos y la rotación para canonicalizar la orientación, mitigando eficazmente los cuellos de botella perceptuales.

4. Hallazgos Diagnósticos: La Percepción es el Cuello de Botella

El análisis de sondas jerárquicas revela la causa raíz de los fallos:

• Dominancia de la Percepción: Aproximadamente el 56% de los fallos se atribuyen a la percepción por sí sola (P-solo), y el 43% son fallos combinados de percepción y razonamiento (P+R).
• Rareza del Razonamiento: Los fallos de razon puro (R-solo) representan solo el 1,1% de los errores.
• Implicación: Cuando los modelos perciben correctamente los elementos visuales, aplican las reglas lógicas de manera fiable. El modo de fallo principal es la incapacidad de extraer hechos visuales precisos (conteo, posición, orientación) de la imagen.

5. Déficits Perceptuales Finos

Categorías perceptuales específicas muestran perfiles de fallo distintos:

• Conteo: Tasa de fallo más alta (73,8%).
• Posición y Rotación: Altas tasas de fallo (58,2% y 52,4% respectivamente).
• Color: Tasa de fallo más baja (31,4%), lo que sugiere que los modelos están mejor ajustados para atributos basados en la apariencia que para los espaciales o cuantitativos.
• 3D/Profundidad: Alta tasa de fallo (67,5%), indicando una falta de priors geométricos 3D sólidos.

Significado y Reivindicaciones

El artículo sostiene que los VLMs actuales, incluso con arquitecturas avanzadas y razonamiento aumentado por herramientas, siguen siendo razonadores abstractos poco fiables. La limitación principal no es la falta de capacidad de razonamiento lógico, sino un cuello de botella perceptual.

Las contribuciones clave incluyen:

1. Un Nuevo Benchmark: VRIQ proporciona el primer benchmark multidimensional que permite la comparación directa del razonamiento abstracto frente al natural utilizando estructuras lógicas idénticas.
2. Marco Diagnóstico: La metodología de sondas jerárquicas logra separar con éxito la percepción del razonamiento, revelando que la gran mayoría de los errores de "razonamiento" son en realidad errores de percepción.
3. Información Accionable: Los hallazgos sugieren que mejorar el rendimiento de los VLMs requiere priorizar el anclaje perceptual (p. ej., mejor codificación espacial, mecanismos de conteo y priors 3D) en lugar de simplemente escalar el tamaño del modelo o la capacidad de razonamiento. El artículo postula que el progreso futuro en el razonamiento multimodal puede depender más de la orquestación de procedimientos externos (herramientas) para manejar la percepción que de la expansión adicional de modelos únicos.

Los autores concluyen que, al pasar de una evaluación descriptiva a una diagnóstica, VRIQ ofrece una base principled para desarrollar sistemas multimodales más robustos y fiables.