ToG-Bench: Task-Oriented Spatio-Temporal Grounding in Egocentric Videos

1. El Problema: Limitaciones del Grounding Espacio-Temporal Actual

El artículo identifica una brecha crítica en la inteligencia encarnada (embodied AI). Aunque los sistemas de Grounding Espacio-Temporal en Video (STVG) han avanzado, las investigaciones existentes presentan limitaciones fundamentales para agentes reales:

• Enfoque centrado en objetos y descriptivo: Los benchmarks actuales (como VidSTG o RefEgo) se basan en instrucciones descriptivas que identifican objetos por atributos visuales (ej. "el cojín rojo"), ignorando la intención o el propósito de la acción.
• Falta de razonamiento orientado a tareas: Los agentes encarnados necesitan interactuar con el entorno basándose en objetivos de alto nivel (ej. "hacer café"), lo que requiere inferir objetos funcionales que no siempre están explícitamente mencionados.
• Complejidad de interacción: Las tareas reales a menudo implican múltiples objetos interrelacionados y objetos implícitos que deben ser inferidos mediante razonamiento contextual, algo que los modelos actuales no manejan bien.
• Perspectiva egocéntrica: Muchos benchmarks utilizan videos de terceros (exocéntricos), perdiendo dinámicas cruciales como el cambio de atención y la interacción agente-objeto típicas de la visión en primera persona.

2. Metodología y Construcción del Benchmark (ToG-Bench)

Para abordar estas limitaciones, los autores proponen una nueva tarea llamada Grounding Espacio-Temporal de Video Orientado a Tareas (T-STVG) y construyen el benchmark ToG-Bench.

Definición de la Tarea (T-STVG)

La tarea se define como una función de mapeo $F: (G, V) \rightarrow \{(O_i, T_i)\}$, donde dado un objetivo de alto nivel $G$ (instrucción natural) y un video egocéntrico $V$, el modelo debe inferir y localizar todos los objetos relevantes $O_i$ con sus trayectorias espacio-temporales densas $T_i$. Se caracteriza por tres pilares:

1. Grounding Orientado a Tareas: Los objetos se definen por su función en la tarea, no por su apariencia visual.
2. Grounding Dual Explícito-Implicito: Incluye objetos mencionados explícitamente ($O_{exp}$) y objetos implícitos ($O_{imp}$) que deben inferirse mediante sentido común (ej. en "abrir la ventana", la ventana es explícita, pero el pomo o la manija pueden ser implícitos necesarios).
3. Grounding Uno-a-Muchos: Una sola instrucción puede requerir la localización simultánea de múltiples objetos interconectados.

Pipeline de Anotación Semi-Automatizada

El dataset se construyó mediante un proceso de tres etapas combinando modelos fundacionales y validación humana:

1. Generación de Instrucciones: Se utilizaron videos de ScanNet y un modelo de lenguaje multimodal avanzado (Gemini 2.5 Pro) para generar instrucciones orientadas a tareas y descripciones de objetos (explícitos e implícitos).
2. Grounding y Rastreo de Objetos: Se empleó Grounding-DINO para la localización espacial en fotogramas clave y SAM2 para el seguimiento temporal bidireccional, creando "tubos" de cajas delimitadoras.
3. Verificación Humana: Un proceso riguroso de filtrado humano eliminó alucinaciones, cajas imprecisas y tareas inviables, asegurando la calidad de las anotaciones.

Estadísticas del Dataset

• Contenido: 100 clips de video egocéntricos (promedio de 87.88 segundos) extraídos de entornos interiores de ScanNet.
• Anotaciones: 2,704 instrucciones orientadas a tareas y 4,194 instancias de objetos.
• Distribución: Equilibrio casi perfecto entre tareas explícitas (51.26%) e implícitas (48.74%). El 50.33% de las tareas involucran múltiples objetos (uno a muchos).
• Precisión: Anotaciones a nivel de segundo para límites temporales y a nivel de fotograma para cajas delimitadoras.

3. Contribuciones Clave

1. Nueva Tarea y Benchmark: Introducción de T-STVG y ToG-Bench, el primer benchmark diseñado específicamente para evaluar el grounding de objetos basado en la intención de la tarea en videos egocéntricos.
2. Métricas de Evaluación a Nivel de Tarea: Diseño de un conjunto de métricas que evalúan no solo la precisión espacial y temporal, sino también la capacidad de reconocimiento (identificar correctamente el objeto funcional) y la precisión en escenarios de múltiples objetos y razonamiento implícito.
3. Análisis Exhaustivo de Modelos: Evaluación sistemática de siete modelos de lenguaje multimodal (MLLM) de vanguardia (incluyendo GPT-5, Gemini 2.5 Pro, Qwen3-VL, etc.), revelando brechas significativas de rendimiento.

4. Resultados Experimentales

Los experimentos revelaron desafíos intrínsecos y brechas de rendimiento significativas:

• Brecha entre Razonamiento y Localización: Los modelos (especialmente los propietarios como GPT-5 y Gemini 2.5 Pro) tienen un alto rendimiento en la tarea de reconocimiento (T-Acc > 80%), pero su rendimiento cae drásticamente en la localización espacio-temporal precisa.
  • Ejemplo: Gemini 2.5 Pro alcanza un 80.14% de precisión en la tarea, pero solo un 15.42% en la intersección sobre unión (IoU) espacial.
• Dificultad del Razonamiento Implícito: Existe una brecha de rendimiento consistente entre tareas explícitas e implícitas. Los modelos fallan más al inferir objetos no mencionados (ej. GPT-5 cae del 98.20% en explícitos al 80.20% en implícitos).
• Complejidad de Múltiples Objetos: El rendimiento disminuye a medida que aumenta el número de objetos requeridos. En tareas con 3+ objetos, la precisión espacial de los modelos de código abierto colapsa casi por completo.
• Problemas de Modelos de Código Abierto: Los modelos open-source (Qwen, InternVL) muestran un rendimiento muy inferior, especialmente en la alineación espacio-temporal, sugiriendo dificultades para manejar cambios de perspectiva rápidos y oclusiones.
• Impacto de la Duración: Mientras que la comprensión semántica de la tarea se mantiene estable en videos largos, la precisión de la localización (tanto temporal como espacial) se degrada significativamente a medida que aumenta la duración del video debido a la deriva en el seguimiento.

5. Significado e Impacto

El trabajo de ToG-Bench es fundamental para el avance de la inteligencia encarnada:

• Puente entre Percepción e Interacción: Demuestra que la simple descripción de objetos es insuficiente para agentes robóticos; estos deben entender la funcionalidad y el contexto de las acciones.
• Línea Base para Futuras Investigaciones: Establece un estándar riguroso para evaluar la capacidad de los MLLMs para razonar sobre objetivos de alto nivel en entornos dinámicos y reales.
• Identificación de Limitaciones: Revela que, aunque los modelos actuales son buenos "entendiendo" qué hacer, son deficientes en "saber exactamente dónde y cuándo" interactuar con el entorno, especialmente en escenarios complejos con múltiples objetos y referencias implícitas.
• Recurso Abierto: La liberación del dataset y el código permitirá a la comunidad científica desarrollar modelos más capaces para la interacción humano-robot y la navegación autónoma en entornos domésticos.

En resumen, ToG-Bench marca un cambio de paradigma desde el grounding descriptivo hacia el grounding funcional y orientado a tareas, exponiendo las limitaciones actuales de la IA multimodal y guiando el desarrollo hacia agentes más inteligentes y capaces de interactuar con el mundo real.