EgoGapBench: Benchmarking Egocentric Action Selection in Multi-Agent Scenes

Resumen Técnico: EgoGapBench

Planteamiento del Problema
Los benchmarks existentes para la visión egocéntrica dependen principalmente de datos de vista en primera persona (FPV, por sus siglas en inglés) (p. ej., Ego4D, EPIC-KITCHENS). Los autores argumentan que estos benchmarks confunden dos capacidades distintas: la comprensión de la entrada FPV (interpretar señales visuales como manos, pies o distorsión de la cámara) y la comprensión de una perspectiva egocéntrica (adoptar el punto de vista de un observador para determinar las acciones apropiadas). En los conjuntos de datos actuales, los modelos suelen tener éxito al detectar las señales corporales visibles de quien porta la cámara en lugar de razonar sobre el punto de vista en sí. En consecuencia, es difícil aislar si un modelo comprende genuinamente la perspectiva egocéntrica o simplemente reconoce artefactos de la primera persona. Además, en escenas de múltiples agentes, los modelos tienen dificultades para distinguir entre las acciones disponibles para el observador y las acciones realizadas por otros agentes visibles, seleccionando a menudo estas últimas de forma incorrecta.

Metodología: EgoGapBench
Para abordar esto, los autores presentan EgoGapBench, un benchmark de diagnóstico diseñado para medir la Selección de Acción Egocéntrica (EAS). La EAS se define como la capacidad de seleccionar una acción apropiada desde la perspectiva de un agente en presencia de otros agentes, sin depender de señales corporales visibles de la primera persona.

La construcción del benchmark se adhiere a dos principios de diseño fundamentales:

1. Sin señales específicas de la primera persona: Las imágenes se extraen de conjuntos de datos generales (COCO, Wikimedia) y se filtran para excluir partes del cuerpo del usuario de la cámara (manos, pies) o distorsiones específicas de FPV.
2. Restricción de elemento único (Singleton Constraint): Las opciones de distracción se construyen utilizando "acciones de elemento único" (singleton actions)—acciones que no pueden ser duplicadas por múltiples agentes en la misma situación (p. ej., un bateador haciendo swing con un bate). Si un agente visible ya está realizando una acción de elemento único, el agente del punto de vista no puede realizarla. Esto hace que copiar la acción de otro agente sea un error estructuralmente incorrecto en lugar de una alternativa plausible.

El conjunto de datos consta de 1,000 elementos derivados de 440 imágenes, que presentan escenas de múltiples agentes. Cada elemento presenta una pregunta que pide la siguiente acción apropiada, con opciones que incluyen:

• Correcta: Una acción disponible desde el punto de vista asignado.
• Intrusión Motora (Motor Intrusion): Una acción observada siendo realizada por otro agente en la escena (estructuralmente incorrecta debido a la restricción de elemento único).
• Fuera de Ventaja (Off-Vantage): Una acción que encaja con la actividad pero requiere una posición que el agente del punto de vista no ocupa.

Los elementos se formatean como preguntas de opción múltiple de 3 opciones (n3) o 4 opciones (n4).

Contribuciones Clave

1. Formalización de la EAS: El artículo separa formalmente la comprensión de la perspectiva egocéntrica de la comprensión de la vista en primera persona, definiendo la EAS como una capacidad específica requerida para la selección de acciones en escenarios de múltiples agentes.
2. Benchmark de Diagnóstico: La introducción de EgoGapBench, que utiliza distractores de acción de elemento único para crear una señal diagnóstica clara de la confusión entre el "yo" y el "otro".
3. Análisis Empírico: Una evaluación exhaustiva de Modelos de Lenguaje Grande Multimodales (MLLM) de código abierto y propietarios que revela una brecha significativa entre el rendimiento humano y el de los modelos, caracterizada por una tendencia sistemática a copiar las acciones observadas.

Resultados

• Brecha Humano-Modelo: Los humanos alcanzan un 94.5% de precisión en EgoGapBench. En contraste, el modelo propietario más fuerte (GPT-5.4) alcanza solo un 66.1%, mientras que la mayoría de los modelos de código abierto funcionan cerca o por debajo del azar (adivinación aleatoria).
• Patrones de Error Sistemático: Los modelos no fallan de forma aleatoria; seleccionan sistemáticamente errores de "intrusión motora" (acciones realizadas por otros agentes visibles). Esta tendencia es particularmente fuerte para las acciones "directas" (intervenciones activas) en comparación con las acciones "indirectas" (respuestas pasivas como observar).
• Ineficacia del Ajuste Fino de FPV Existente: El ajuste fino de los modelos en conjuntos de datos de instrucción egocéntrica existentes (EgoIT-99K) no logra mejorar el rendimiento de la EAS. De hecho, degrada el rendimiento en EgoGapBench en un promedio de 33.9%, mientras que deja el rendimiento en los benchmarks estándar de comprensión de escenas FPV (EgoThink) prácticamente sin cambios. Esto sugiere que los datos de FPV existentes enseñan a los modelos a depender de las señales corporales, las cuales están ausentes en EgoGapBench, provocando una transferencia negativa.
• Ajuste Fino Específico de EAS: El ajuste fino con los datos de entrenamiento de EgoGapBench mejora la precisión (por ejemplo, Qwen3.5 sube de 29.0% a 75.2%), pero no cierra la brecha con el rendimiento humano. Además, mientras que los errores de "intrusión motora" disminuyen, los errores de "fuera de ventaja" aumentan, lo que indica que los modelos aprenden a evitar copiar a otros pero siguen teniendo dificultades con la localización precisa del punto de vista.
• Robustez: La brecha de rendimiento persiste a través de diferentes formulaciones de prompts (incluyendo instrucciones explícitas para ignorar las acciones de otros agentes) y conjuntos de datos fuera de dominio (Wikimedia), lo que sugiere que el problema es fundamental para la arquitectura actual de los modelos o sus paradigmas de entrenamiento.

Significado
El artículo afirma que la EAS es una capacidad distinta que no puede adquirirse únicamente a partir de datos de vista en primera persona. Los resultados indican que los MLLM actuales, incluso aquellos ajustados con datos egocéntricos, carecen de la capacidad de fundamentar la selección de acciones en un punto de vista específico cuando las señales corporales están ausentes y hay otros agentes presentes. Los autores postulan que mejorar la EAS requiere avances estructurales más allá de la comprensión de escenas estándar, moviendo a los modelos hacia la adopción real de un punto de vista de observador en lugar de simplemente interpretar artefactos visuales. EgoGapBench se propone como una herramienta de diagnóstico necesaria para medir el progreso hacia este objetivo.