Resumen Técnico: Hacia la Supersensibilidad Espacial en el Mundo Real (VSI-SUPER-WILD)

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala Multimodales (MLLM) actuales han logrado avances significativos en la comprensión de imágenes estáticas y videos cortos. Sin embargo, su capacidad para realizar la supersensibilidad espacial —la capacidad de construir, actualizar y predecir un modelo de mundo 3D implícito a partir de flujos sensoriales continuos— sigue siendo poco explorada, particularmente en entornos reales y no restringidos.

Los benchmarks existentes, como VSI-SUPER, sufren tres limitaciones principales:

1. Diversidad de Escenas Limitada: Dependen predominantemente de escenas domésticas, careciendo de la complejidad de los entornos "en el mundo real" (in-the-wild).
2. Construcción de Datos Artificial: Los videos largos suelen ser sintetizados mediante la concatenación de clips cortos aleatorios con edición en el encuadre, lo que no representa flujos sensoriales naturales y continuos.
3. Cobertura Estrecha del Estado del Mundo: La evaluación está fuertemente centrada en objetos, descuidando al agente (observador) y al entorno (disposición global y lugares), los cuales son componentes críticos de un modelo de mundo unificado inspirado en la ciencia cognitiva.

En consecuencia, no está claro si los MLLM actuales pueden mantener estados de mundo coherentes y recuperables a través de horizontes temporales largos en diversos escenarios del mundo real.

Metodología: Benchmark VSI-SUPER-WILD

Para abordar estas brechas, los autores introducen VSI-SUPER-WILD, un benchmark a gran escala diseñado para evaluar la supersensibilidad espacial a través de tres anclajes: el agente, los objetos y el entorno.

1. Construcción del Conjunto de Datos

El benchmark se construye a partir de 442 videos panorámicos de larga duración del mundo real (un total de ~285 horas) obtenidos de YouTube, que abarcan 8 categorías de escenas (por ejemplo, vistas de calles, centros de transporte, áreas comerciales, instalaciones médicas).

• Integridad de los Datos: A diferencia de trabajos previos, estos videos son crudos, sin editar y naturalmente continuos, sin edición generativa ni concatenación de clips.
• Preprocesamiento: Los videos panorámicos se proyectan en cuatro vistas ortogonales (Frente, Atrás, Izquierda, Derecha).
• Generación de Metadatos: Un flujo de trabajo semiautomático con verificación humana genera:
  • Metadatos Temporales: Instantes de aparición de objetos mediante propuestas de humanos/MLLM, filtrado con YOLO-World y segmentación de instancias con SAM3.
  • Metadatos Espaciales: Poses de cámara variables en el tiempo estimadas mediante Depth-Anything-3 (DA3).

2. Suite de Tareas

El benchmark define cuatro tareas con base cognitiva para sondear diferentes aspectos del estado del mundo:

• VMR (Recuerdo de Orientación de Movimiento): Sondea el agente. Los modelos infieren la orientación del movimiento de la cámara en relación con su dirección de visión en un fotograma consultado específico, lo que requiere el recuerdo del estado del mundo latente en lugar de una simple coincidencia de fotogramas.
• VPO (Ordenamiento Temporal de Lugares): Sondea el entorno. Los modelos determinan el orden temporal de cuatro fotogramas consultados, muestreados de diferentes lugares, donde cada fotograma es rotado en su ángulo de guiñada (yaw) hacia una dirección de visión distinta para evitar la coincidencia trivial.
• VOO (Ordenamiento Temporal de Objetos): Sondea los objetos. Los modelos emiten el orden temporal de objetos específicos basados en su primera o última aparición, lo que requiere un modelado de estado de mundo con auto-actualización para distinguir los tipos de ocurrencia en un flujo continuo.
• VOC (Conteo Continuo de Objetos): Integra todos los anclajes. Los modelos cuentan las instancias únicas de una categoría de objeto consultada a lo largo del video, probando el seguimiento persistente y las actualizaciones de estado.

3. Protocolo de Evaluación

Los autores evaluaron 13 MLLM principales (incluyendo modelos propietarios como GPT-5.4 y Gemini-3.1-Pro, y modelos de código abierto como la serie Cambrian-S y Qwen-VL).

• Entrada: 128 fotogramas muestreados uniformemente a 1080P (o entradas de streaming para modelos específicos).
• Métricas: Precisión (%) para tareas de opción múltiple (VMR, VPO, VOO) y Precisión Relativa Media (MRA) para la tarea de conteo (VOC).

Resultados Clave

La evaluación revela una desconexión fundamental entre las capacidades de los MLLM actuales y los requisitos de la supersensibilidad espacial en el mundo real:

1. Rendimiento General: Los modelos se desempeñan pobremente, a menudo cerca del azar aleatorio. El mejor modelo, Gemini-3.1-Pro, logró una puntuación general del 44.36%, mientras que GPT-5.4 obtuvo un 34.52%. Los modelos de código abierto generalmente puntuaron más bajo, siendo el mejor (Cambrian-S-7B) un 34.22%.
2. Disparidades de Tarea: El rendimiento varía significamente según el anclaje del estado del mundo. Los modelos son relativamente más fiables en consultas centradas en objetos (VOO), pero se degradan sustancialmente en tareas centradas en el agente (VMR) y centradas en el entorno (VPO), las cuales requieren una cognición espacial 3D más fuerte.
3. Sensibilidad al Horizonte Temporal: El rendimiento se degrada a medida que aumenta la duración del video. La puntuación promedio de los modelos de código abierto cayó de un 35.0% en el intervalo de 0–10 minutos a un 26.3% en el intervalo de más de 120 minutos, lo que indica una incapacidad para mantener actualizaciones consistentes del estado del mundo durante flujos extendidos.
4. Robustez: Bajo la evaluación "Shuffle24" (que prueba la estabilidad contra permutaciones de las opciones de respuesta), VSI-SUPER-WILD mostró un mayor sesgo de orden de opciones y puntuaciones Top-K/Pass@K más bajas en comparación con VSI-SUPER, confirmando su mayor dificultad y la inestabilidad de los modelos actuales.

Modos de Fallo

Los análisis cualitativos y cuantitativos identificaron cuatro modos de fallo recurrentes:

1. Colapso Espacial: Los modelos fallan al mantener un estado de mundo 3D coherente a través de cambios de punto de vista. El rendimiento en VPO cae significativamente cuando los fotogramas son rotados, lo que sugiere una dependencia de la coincidencia 2D específica de la vista en lugar de un modelado 3D implícito.
2. Atajos Semánticos: Los modelos dependen de pistas semánticas a nivel de fotograma (por ejemplo, reconocer una escena de "calle con peatones") para inferir el movimiento, en lugar de analizar el desplazamiento espacio-temporal. Esto conduce a predicciones de orientación de movimiento plausibles pero incorrectas.
3. Actualización Insuficiente: Los modelos luchan por actualizar los estados del mundo a medida que llega nueva evidencia. La precisión en el ordenamiento de "última ocurrencia" (VOO) es significativamente menor que la de "primera ocurrencia", lo que indica un fallo al integrar evidencia temporal posterior en el modelo de mundo.
4. Confusión de Instancias: Bajo el ruido visual del mundo real (desenfoque de movimiento, oclusión parcial), los modelos fallan al rastrear la identidad de los objetos de forma robusta, lo que conduce a un ordenamiento temporal y un conteo incorrectos.

Significado y Reivindicaciones

El artículo afirma que VSI-SUPER-WILD establece un estándar riguroso para evaluar la supersensibilidad espacial al ir más allá de las evaluaciones sintéticas, centradas en objetos y de corto horizonte, hacia escenarios de larga duración, diversos y del mundo real.

Los autores concluyen que los MLLM actuales carecen de los mecanismos para vincular agentes, objetos y entornos en un modelo de mundo espacial unificado. Los fallos observados sugieren que el progreso en este campo depende del desarrollo de representaciones que vayan más allá de la semántica a nivel de fotograma para soportar un modelado de mundo espacio-temporal estable, consultable y coherente capaz de manejar flujos continuamente actualizados de largo alcance. El benchmark sirve como una herramienta de diagnóstico para identificar estas brechas específicas y guiar la investigación futura hacia verdaderas capacidades de modelado de mundo.