Resumen Técnico: ROSE – Evaluación del Brecha entre Percepción y Acción en Modelos Multimodales

Declaración del Problema

Si bien los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) han demostrado un progreso significativo en la percepción visual, el razonamiento y la generación, persiste una brecha crítica en su capacidad para traducir la evidencia visual en acciones dependientes del contexto. Los benchmarks existentes suelen agregar tareas heterogéneas, evaluar preguntas fijas por imagen o acoplar decisiones visuales con una planificación compleja e interacción con el entorno. En consecuencia, no logran aislar una capacidad específica: ¿Puede un MLLM convertir una interpretación visual consistente en la acción exacta requerida por un contexto de tarea cambiante, mientras la escena subyacente permanece fija?

Los modelos actuales suelen tener éxito al reconocer "qué está presente" (percepción), pero tienen dificultades para decidir "cómo actuar" cuando la región relevante o la salida simbólica requerida cambian. Este artículo postula que una acción correcta no es meramente un subproducto del reconocimiento, sino un compromiso dependiente del contexto, y que la transición de la percepción a la acción es actualmente un cuello de botella significativo para los modelos de vanguardia.

Metodología: El Benchmark ROSE

Para abordar esto, los autores introducen ROSE (Reference-conditioned Oddity and Symbolic Execution), un benchmark controlado diseñado para mantener fija la evidencia visual mientras se varían las restricciones de región y las salidas simbólicas requeridas.

Principios de Diseño del Benchmark

• Acoplamiento de Escena: ROSE deriva múltiples tareas de una única escena visual. La evidencia visual (una cuadrícula de elementos) y el conjunto global de celdas de "excepción" (desviaciones de una referencia mayoritaria) permanecen constantes.
• Referencia Mayoritaria Implícita: Las escenas no contienen nombres de objetivos explícitos. El modelo debe inferir la referencia mayoritaria para identificar las excepciones dispersas.
• Variación Controlada: El benchmark interviene únicamente en el contexto relevante (por ejemplo, una fila, columna o región visual específica) y en la operación de salida requerida (por ejemplo, contar frente a hacer clic en coordenadas).

Suite de Tareas

ROSE consta de cinco plantillas de tareas acopladas derivadas de la misma escena:

1. Conteo Global (G-Cnt): Contar todas las celdas de excepción en la cuadrícula completa.
2. Conteo Local (L-Cnt): Contar las celdas de excepción dentro de una región especificada numéricamente.
3. Clic Local (L-Clk): Devolver las coordenadas exactas de las celdas de excepción dentro de una región especificada numéricamente.
4. Clic de Región Visual (V-Clk): Devolver las coordenadas exactas de las excepciones dentro de una región resaltada visualmente en la imagen.
5. Clic de Exclusión con Envío de Conteo (Excl-CS): Hacer clic en las excepciones fuera de una región especificada y enviar el conteo, probando la consistencia entre la acción y la cardinalidad.

Composición del Conjunto de Datos

ROSE v0.1 comprende 1,512 escenas (3,024 imágenes) y 7,560 instancias de tareas a través de cinco fuentes visuales finas para asegurar la robustez contra categorías semánticas específicas:

• CHINESEGLYPH: Caracteres visualmente confundibles en una fuente verificada.
• EMOJISTYLE: Misma identidad de emoji, diferentes proveedores de renderizado.
• EMOJICONTENT: Diferentes identidades de emoji, mismo estilo de renderizado compartido.
• PIXELEDIT: Ediciones localizadas en el mismo recurso de pixel-art.
• PIXELCONTENT: Recursos de pixel-art distintos pero visualmente relacionados.

El conjunto de datos se divide a nivel de escena para evitar la fuga de datos entre los conjuntos de entrenamiento/validación y de prueba.

Contribuciones Clave

1. Formulación de la Acción Visual Condicionada por Referencia: Un entorno controlado que aísla la interfaz de percepción-acción al fijar la evidencia visual mientras se varía el contexto y los requisitos de salida.
2. El Benchmark ROSE: Un conjunto de datos diagnóstico de 1,512 escenas y 7,560 instancias a través de cinco fuentes visuales y cinco plantillas de tareas, incluyendo protocolos de salida formal estrictos para separar el cumplimiento de la gramática del éxito de la tarea.
3. Marco de Evaluación Diagnóstica: Una suite de análisis que incluye "tareas puente" (Global-Click y Matched Local Count-to-Click) que descomponen las caídas de rendimiento en modos de falla específicos: fundamentación de coordenadas, selección condicionada por contexto y ejecución formal.

Resultados Experimentales

Los autores evaluaron nueve MLLM recientes (incluyendo GPT-5.5, Gemini-3.1-Pro, Qwen3.6-Plus y modelos Claude) contra una referencia humana.

Brecha de Rendimiento

• Rendimiento Humano: Logró un promedio de 98.8% de PASSED.
• Rendimiento del Modelo: Osciló entre 14.3% y 92.2%.
• La Brecha Percepción-Acción: Se produce una caída significativa en el rendimiento al pasar de tareas de conteo a acciones condicionadas por región. Por ejemplo, Qwen3.6-Plus cayó de un 80.3% en tareas de conteo a un 37.7% en acciones condicionadas por región (una caída de 42.6 puntos porcentuales). GLM-5V-Turbo cayó de 60.5% a 16.0%. Incluso el alto rendimiento de GPT-5.5 vio una caída de 93.8% a 84.3%.

Descomposición de la Brecha

• Fundamentación de Coordenadas vs. Selección de Contexto: Las tareas puente revelaron que, si bien la fundamentación de coordenadas (Global-Click) explica parte de la pérdida, la mayor parte de la caída de rendimiento ocurre al añadir restricciones de región. Para Qwen3.6-Plus, la caída de Global Counting a Global Clicking fue de 13.2 puntos, pero la caída adicional hacia Visual-Region Clicking fue de 29.4 puntos.
• Falla de Consistencia: Incluso cuando los modelos contaban correctamente las excepciones globales, frecuentemente fallaban al filtrar estas excepciones correctamente bajo nuevas restricciones de región. Para Qwen3.6-Plus, condicionado a un conteo global correcto, la precisión para el clic condicionado por región se mantuvo baja (38.0%).
• Modos de Falla:
  • Salida Inválida: Algunos modelos (ej. Claude) fallaron principalmente debido a violaciones de protocolo (gramática inválida).
  • Violaciones de Región: Los modelos más fuertes (ej. Qwen, GLM) a menudo produjeron gramática válida pero hicieron clic en celdas fuera de la región requerida o no se abstuvieron cuando no existían objetivos.
  • Anclaje de Conteo: Los modelos a menudo retuvieron el conteo global o el conjunto completo de coordenadas incluso cuando la tarea requería un subconjunto o exclusión, fallando al actualizar el conjunto de objetivos basado en el nuevo contexto.

Significado y Reivindicaciones

El artículo afirma que ROSE revela un cuello de botella distinto y dependiente del modelo al convertir la evidencia visual compartida en acciones específicas del contexto. El hallazgo principal es que muchos modelos pueden "ver lo suficiente para contar", pero no "lo suficiente para actuar".

• Más allá de la Percepción: Los resultados sugieren que una acción multimodal confiable requiere no solo recuperar la evidencia visual, sino recomputar el conjunto de objetivos específico del contexto y ejecutarlo exactamente.
• Utilidad Diagnóstica: ROSE proporciona un banco de pruebas controlado para distinguir entre fallas en la percepción, vinculación de región, fundamentación de coordenadas y ejecución de la acción.
• Alcance Modesto: Los autores declaran explícitamente que ROSE es un benchmark diagnóstico controlado, no una simulación de interacción en el mundo abierto. Utiliza escenas estructuradas en cuadrículas y acciones simbólicas para hacer que la percepción y la ejecución sean medibles, reconociendo que no captura toda la complejidad de las imágenes naturales, el lenguaje libre o la planificación de largo horizonte.

El artículo concluye que, si bien los MLLM actuales muestran un progreso notable, la transición de reconocer patrones visuales a realizar acciones precisas y dependientes del contexto sigue siendo un desafío significativo que requiere una mayor investigación sobre cómo los modelos mantienen la consistencia a través de contextos de tareas cambiantes.