Resumen Técnico: GPTNT – Evaluación de Referencia para la Colaboración en Tiempo Real entre Agentes Multimodales

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) se están desplegando cada vez más para tareas colaborativas con humanos y otros agentes. Aunque los benchmarks existentes demuestran capacidades fundamentales en visión y lenguaje, suelen fallar al evaluar las condiciones específicas que definen la colaboración en tiempo real: presión de tiempo, asimetría de información y la necesidad de una comunicación eficiente a través de un entorno visual dinámico. Los benchmarks actuales suelen aislar estos factores, operan en entornos estáticos o dependen de protocolos basados en turnos que no penalizan la latencia de generación. En consecuencia, no existe un entorno unificado para probar si los modelos pueden coordinarse eficazmente cuando un agente posee información visual pero no instrucciones, y el otro posee instrucciones pero no acceso visual, todo ello mientras un temporizador de cuenta regresiva avanza.

Metodología

Los autores presentan GPTNT, un benchmark construido sobre el videojuego cooperativo Keep Talking and Nobody Explodes (ktane). El marco envuelve el juego para crear un entorno de evaluación zero-shot para agentes multimodales.

El Entorno

• Roles Asimétricos: Dos agentes coordinan para desactivar una bomba generada procedimentalmente.
  • El Desactivador (Defuser): Puede ver la bomba (un entorno 3D con varios módulos de acertijos) pero carece del manual de instrucciones. Debe manipular la bomba (rotar, hacer zoom, hacer clic) basándose en las instrucciones.
  • El Experto (Expert): Tiene acceso al manual de instrucciones (texto e imágenes) pero no puede ver la bomba. Debe identificar los módulos y proporcionar instrucciones basándose únicamente en las descripciones del Desactivador.
• Restricciones de Tiempo Real: El benchmark opera en modo asíncrono, donde el reloj del juego avanza en tiempo de reloj real independientemente de la velocidad de generación del modelo. Esto penaliza el razonamiento verboso y la inferencia lenta, convirtiendo la latencia en una parte central de la dificultad de la tarea. También se dispone de un modo síncrono para experimentos controlados donde el reloj se pausa durante la generación.
• Mecanismo de Interacción: Los agentes se comunican mediante lenguaje natural. El Desactivador utiliza un enfoque de "Conjunto de Marcas" (Set-of-Marks o SoM) para interactuar con los elementos de la interfaz, superponiendo máscaras de segmentación para evitar errores de localización de coordenadas.
• Complejidad de la Tarea: Las misiones implican resolver múltiples módulos de acertijos independientes (por ejemplo, Cables, Simon Says, Código Morse) antes de que expire el temporizador o el equipo acumule tres errores (strikes).

Protocolo de Evaluación

• Modelos Evaluados: Se probaron cinco MLLM de vanguardia: GPT-5.2, Claude Sonnet 4.6, Gemini 3 Flash, Qwen3.5 (27B) e InternVL 3.5 (38B).
• Líneas de Base (Baselines): Se estableció una línea de base humana consistente en diez parejas de jugadores (incluyendo no expertos).
• Métricas: El éxito se mide por la finalización de la misión (resolver todos los módulos), el éxito parcial (módulos resueltos) y los modos de fallo (tiempo agotado vs. acumulación de errores).
• Ablaciones de Diagnóstico:
  • Misiones de Módulo Único: Para aislar la dificultad de módulos específicos.
  • VQA Offline: "Manual VQA" prueba la capacidad del Experto para razonar sobre el manual; "Simulator VQA" prueba la percepción y las habilidades de conteo del Desactivador.
  • Ablaciones de Agente Único: Los modelos fueron probados con acceso tanto a la bomba como al manual (eliminando la comunicación) o sin el manual (probando el conocimiento paramétrico/contaminación).

Contribuciones Clave

1. Benchmark Unificado para la Colaboración en Tiempo Real: GPTNT es el primer benchmark que requiere simultáneamente coordinación bajo información asimétrica, acción asincrónica en tiempo real, localización visual en un entorno dinámico y comunicación sostenida de múltiples turnos.
2. Evaluación Exhaustiva de Modelos de Vanguardia: El artículo proporciona un desglose sistemático de dónde fallan los modelos actuales, yendo más allá de las puntuaciones agregadas para analizar el rendimiento a través de diferentes roles, combinaciones de socios y complejidades de tareas.
3. Herramientas de Diagnóstico para la Colaboración vs. Memorización: El marco incluye evaluaciones específicas para distinguir entre la capacidad de colaboración genuina y la dependencia de soluciones de juego memorizadas (contaminación de datos), así como herramientas para aislar fallos perceptivos de bajo nivel de los errores de razonamiento de alto nivel.

Resultados

Hallazgos Principales

• Fallo Total en el Ajuste Completo: En la configuración principal asincrónica y de múltiples módulos, ninguno de los cinco modelos probados desactivó una sola bomba. En contraste, 9 de cada 10 parejas humanas resolvieron al menos una misión, y la mejor pareja resolvió seis.
• La Presión de Tiempo como Cuello de Botella: El modo de fallo dominante para los modelos fue el agotamiento del tiempo (quedarse sin tiempo), ocurriendo en el 50–90% de las misiones. Incluso en el modo síncrono (donde se elimina la presión de tiempo), los modelos tuvieron dificultades significativas, resolviendo solo una fracción de las misiones, lo que indica que el cuello de botella no es solo la velocidad, sino la capacidad central de colaborar.
• Asimetría de Roles: El rendimiento varía significamente según el rol. El rol de Desactivador tiene un mayor impacto en el éxito general que el rol de Experto. Modelos como GPT-5.2 funcionan mejor como Desactivadores, mientras que otros como Gemini 3 Flash funcionan mejor como Expertos.
• Compatibilidad de Socios: En el "otro-juego" (modelos diferentes emparejados), las tasas de comunicación aumentaron, pero el éxito no mejoró necesariamente. La compatibilidad entre parejas específicas de modelos fue un predictor de éxito más fuerte que la capacidad individual de los socios.
• Debilidades de Bajo Nivel: Las evaluaciones offline revelaron déficits críticos:
  • Seguimiento de Estado: Los modelos luchan por mantener el estado a través de los turnos (por ejemplo, recordar los colores de los cables en Wire Sequence o las secuencias en Simon Says).
  • Conteo: Los Desactivadores funcionaron mal en tareas de conteo (por ejemplo, número de baterías), una debilidad conocida en los modelos grandes.
  • Alucinación y Ambigüedad: Los modelos fallan frecuentemente al detectar cuándo un socio proporciona información ambigua o alucinada, procediendo a menudo con suposiciones incorrectas en lugar de solicitar aclaraciones.
• Contaminación: Los modelos demostraron conocimiento paramétrico del juego (funcionando mejor que las líneas de base aleatorias sin el manual), pero este conocimiento fue insuficiente para resolver misiones sin la lógica condicional específica del manual. El contexto visual pareció servir de andamiaje para el recuerdo del Desactivador, pero no para el razonamiento procedimental del Experto.

Significancia y Reivindicaciones

El artículo afirma que GPTNT expone una brecha crítica en las capacidades actuales de los MLLM: aunque los modelos poseen fuertes habilidades individuales de visión y lenguaje, carecen de la competencia colaborativa integrada requerida para tareas del mundo real, sensibles al tiempo y asimétricas.

• Validez Ecológica: A diferencia de los benchmarks estáticos, GPTNT simula las condiciones "caóticas" del despliegue en el mundo real, donde la información es incompleta, la comunicación es imperfecta y el tiempo es limitado.
• Desafío Dinámico: Debido a la naturaleza procedimental de ktane y su comunidad de modding activa, el benchmark está diseñado para seguir siendo desafiante a medida que los modelos mejoran, evitando los problemas de saturación comunes en los benchmarks estáticos.
• Valor Diagnóstico: El artículo argumenta que los modelos actuales fallan no solo por falta de conocimiento, sino debido a debilidades fundamentales en el seguimiento de estado, la recuperación de errores y la capacidad de reconocer y resolver la ambigüedad en el diálogo en tiempo real.

Los autores concluyen que GPTNT sirve como un paso necesario hacia una evaluación más holística, revelando que el camino hacia una colaboración multimodal efectiva requiere abordar estas limitaciones interactivas y temporales específicas en lugar de simplemente escalar el tamaño del modelo.