💻 computer science

StateTrace: An Object-Centric Framework for Hidden-State Spatiotemporal Reasoning in Long Videos

El artículo presenta StateTrace, un marco centrado en objetos que dota a los VideoLLMs de una memoria espaciotemporal estructurada para razonar explícitamente sobre estados de objetos ocultos durante intervalos invisibles en videos largos, mejorando significativamente el rendimiento en un nuevo HSR-Bench propuesto y en benchmarks existentes.

Autores originales: Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

Publicado 2026-08-20

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, las máquinas se han vuelto notablemente hábiles para observar videos y describir lo que ven. Pueden identificar a una persona corriendo, un coche girando o un perro persiguiendo una pelota. Sin embargo, estos observadores digitales tienen un punto ciego significativo cuando se trata de lo invisible. Si un objeto desaparece de la pantalla —oculto detrás de una pared, guardado dentro de una caja o cubierto por otro objeto— los modelos de IA actuales suelen olvidar por completo que existe. Tratan lo "invisible" como si fuera "desconocido", incapaces de razonar que el objeto sigue allí, solo que fuera de la vista, y que su estado (como su ubicación o color) probablemente no ha cambiado. Esta limitación se convierte en un obstáculo importante al analizar videos largos, donde los objetos pueden permanecer ocultos durante periodos prolongados, pero un espectador aún podría necesitar saber dónde están o qué pasó con ellos.

Para resolver este problema, un equipo de investigadores ha desarrollado un nuevo enfoque llamado StateTrace. En lugar de depender únicamente de lo que es visible en el fotograma actual, este sistema le otorga a la IA una forma de recordar y rastrear objetos incluso cuando están ocultos. Los investigadores construyeron un marco que actúa como una memoria persistente para el video, registrando no solo lo que se ve, sino también lo que sucede cuando las cosas desaparecen. Rastrea el momento en que un objeto es cubierto, la razón por la cual desapareció y los últimos detalles conocidos sobre su posición y apariencia. Al organizar esta información en una línea de tiempo estructurada, el sistema puede responder preguntas sobre el estado oculto de un objeto mucho después de que este haya salido de la pantalla.

Los investigadores probaron esta idea creando un nuevo conjunto de desafíos diseñados específicamente para atrapar a los modelos de IA estándar. Compilaron un benchmark llamado HSR-Bench, que contiene más de 1,400 preguntas de video derivadas de casi 1,400 videos únicos. Estas preguntas se centran en escenarios donde los objetos están ocluidos, contenidos o cubiertos, requiriendo que la IA infiera su estado sin pruebas visuales directas. Por ejemplo, una pregunta podría preguntar sobre el color de un coche que fue bloqueado por un autobús durante varios segundos, o qué taza contiene un juego de clavos después de que fueron intercambiados entre contenedores. Cuando los investigadores aplicaron StateTrace a potentes modelos de video existentes, los resultados fueron sorprendentes. En este nuevo benchmark, los modelos mejoraron su precisión drásticamente, con algunos saltando de aproximadamente un 40 por ciento de acierto a más del 64 por ciento. Esto sugiere que dotar a una IA de una forma estructurada para razonar sobre lo invisible es un paso crucial hacia lograr que comprenda el mundo como lo hacen los humanos.

El núcleo del sistema StateTrace es un proceso de tres pasos que ocurre incluso antes de que la IA intente responder una pregunta. Primero, el sistema analiza todo el video de forma offline, dividiéndolo en segmentos. Identifica objetos, rastrea sus movimientos y anota exactamente cuándo y cómo desaparecen. Si un coche es cubierto por un autobús, el sistema registra ese evento, señalando al autobús como la causa y la última posición conocida del coche. Construye un mapa detallado de estos eventos, creando una "memoria de estado espaciotemporal" que vincula los objetos con su historial de visibilidad e interacción. Esta memoria no es solo una lista de fotogramas; es un grafo conectado que entiende relaciones, como que un objeto esté dentro de otro o que uno bloquee la vista de otro.

Cuando un usuario hace una pregunta, el sistema no simplemente escanea el video buscando palabras coincidentes. En su lugar, consulta este mapa de memoria para encontrar los momentos específicos relevantes para la consulta. Si la pregunta es sobre un objeto oculto, el sistema recupera la última vez que ese objeto fue visible y los eventos que llevaron a su desaparición. Luego, resume este historial en una narrativa concisa, explicando el trayecto del objeto y su probable estado actual. Este resumen se combina con los clips de video reales y se introduce en el modelo de IA. Al proporcionar este contexto explícito, el modelo ya no está adivinando; está razonando basado en una línea de tiempo reconstruida de los eventos. El sistema esencialmente le dice a la IA: "El objeto que estás buscando no es visible en este momento, pero aquí está exactamente dónde fue visto por última vez y qué fue lo que le pasó".

Los investigadores descubrieron que este método funciona mejor cuando el video es largo y el objeto está oculto durante un tiempo significativo. En pruebas que involucraron videos que iban desde unos pocos segundos hasta una hora de duración, el marco StateTrace superó consistentemente a otros métodos que simplemente intentaban comprimir el video o recuperar clips relevantes. La mejora fue más dramática en casos de oclusión intensa, donde los objetos estaban casi completamente bloqueados de la vista. Por ejemplo, en un caso de prueba, un modelo estándar falló al identificar el color de un coche oculto detrás de un autobús, adivinando incorrectamente basándose en el último fotograma visible. Con StateTrace, el modelo recordó correctamente el color del coche antes de ser bloqueado, manteniendo la continuidad de la escena a pesar del vacío visual.

Para asegurar que sus hallazgos fueran robustos, el equipo realizó una serie de experimentos para ver qué partes de su sistema eran más importantes. Descubrieron que la capacidad de razonar sobre por qué un objeto desapareció era crítica. Si el sistema solo sabía que un objeto ya no estaba, pero no si fue cubierto, se alejó o se ocultó dentro de algo, su rendimiento disminuía significativamente. Del mismo modo, el paso que resumía las relaciones espaciales y el historial de movimiento resultó ser el componente más vital. Sin este resumen, la IA tenía dificultades para dar sentido a los datos brutos, de forma muy similar a una persona tratando de resolver un rompecabezas con las piezas esparcidas en el suelo en lugar de ensambladas en una imagen. El sistema también mostró que el simple hecho de alimentar todo el video a la IA no era suficiente; la recuperación dirigida de momentos específicos y relevantes era esencial para la precisión.

El éxito de StateTrace resalta un cambio fundamental en cómo se puede abordar la comprensión de video. Durante años, el enfoque se ha centrado en hacer que los modelos vean mejor o procesen más fotogramas. Este trabajo sugiere que el siguiente salto adelante proviene de hacer que los modelos piensen mejor sobre lo que no pueden ver. Al tratar el estado invisible de un objeto como un rompecabezas soluble en lugar de una pieza de datos faltante, los investigadores han permitido que la IA maneje las complejidades de la observación del mundo real. Los resultados indican que, con el tipo de memoria y razonamiento adecuados, las máquinas pueden comenzar a cerrar la brecha entre lo que se muestra y lo que se sabe, una capacidad que es esencial para cualquier sistema destinado a navegar el flujo largo y continuo de la vida real.

Resumen Técnico: StateTrace

Definición del Problema

Los modelos de visión y lenguaje (VLMs) actuales han demostrado capacidades sólidas en tareas generales de comprensión de video, como la descripción de escenas y la localización temporal. Sin embargo, exhiben una debilidad fundamental en el razonamiento espaciotemporal de estados ocultos, particularmente en videos largos. Cuando un objeto objetivo se vuelve invisible debido a una oclusión, contención o cobertura, los modelos existentes suelen fallar al inferir su estado, equiparando erróneamente "invisible" con "desconocido". Dependen excesivamente de la evidencia visual explícita en el momento de la consulta en lugar de modelar el estado latente de los objetos durante intervalos prolongados de invisibilidad. Esta limitación impide que respondan preguntas sobre la ubicación o los atributos de un objeto después de que este ha desaparecido de la vista, incluso si el contexto implica que su estado debería persistir.

Metodología: StateTrace

Para abordar esto, los autores proponen StateTrace, un marco centrado en objetos diseñado para dotar a los VideoLLMs de un mecanismo explícito para el razonamiento de estados ocultos. El marco opera a través de tres etapas distintas:

1. Construcción de Memoria de Estado Espaciotemporal Offline

Antes de la inferencia, el sistema realiza un pase de análisis offline para construir una memoria estructurada y reutilizable ( $M$ ) organizada como un grafo dirigido de nivel de fragmento ( $G_V$ ) con un grafo de acceso a entidades auxiliar ( $G_E$ ). Esta memoria consta de tres componentes:

Contexto Semántico ( $M_{sem}$ ): Atributos a nivel de fragmento que incluyen entidades, acciones, escenas y subtítulos.
Memoria de Localización Espacial ( $M_{loc}$ ): Geometría absoluta a nivel de fotograma (coordenadas de centroide normalizadas y área) y relaciones espaciales por pares (por ejemplo, izquierda, derecha, cerca, lejos) entre objetos. Las relaciones se almacenan solo cuando cambian para reducir la redundancia.
Memoria de Eventos Espaciales ( $M_{evt}$ ): Registros de transiciones de visibilidad (aparición/desaparición) y, crucialmente, la interpretación de la causa de la desaparición. Para desapariciones que no son de límite, un módulo VLM analiza contextos de video cortos para inferir causas como "dentro" (contención), "oculto" u "otro".

El proceso de análisis implica dividir el video en fragmentos, realizar la localización de objetos y la propagación de máscaras (usando SAM2) para mantener la continuidad entre fragmentos, y extraer relaciones espaciales y metadatos de eventos.

2. Resumen de Evidencia Espaciotemporal Impulsado por Preguntas

En el momento de la inferencia, dada una pregunta $q$ , el sistema recupera la evidencia relevante de la memoria de estado en lugar de procesar todo el video de forma bruta.

Recuperación: La pregunta se convierte en una consulta estructurada para recuperar fragmentos de video relevantes mediante un proceso de dos etapas (recuperación basada en la coincidencia de entidades/semántica, seguida de un reordenamiento con prioridades temporales).
Resumen: La sub-memoria recuperada se comprime en dos resúmenes complementarios:
- Resumen de Agregación Semántica ( $g_q$ ): Condensa la evidencia textual relevante para la respuesta y las sub-preguntas.
- Resumen Espacial ( $s_q$ ): Construye evidencia espaciotemporal estructurada mediante la fusión de líneas de tiempo a nivel de fotograma, la reparación de estados de visibilidad y la extracción de eventos de anclaje (por ejemplo, oclusión, entrada, reaparición). Este resumen rastrea explícitamente la evolución del estado del objeto a través de los intervalos de invisibilidad.

3. Generación de Respuestas Aumentada por Resumen

La etapa final combina la evidencia visual recuperada (fragmentos de video), el contexto de los subtítulos y los resúmenes semántico y espacial generados ( $g_q, s_q$ ) para formar una entrada multimodal para el VideoLLM. El modelo genera entonces la respuesta basándose en este contexto enriquecido, permitiendo un razonamiento explícito sobre por qué un objeto desapareció y cómo evolucionó su estado mientras era invisible.

Contribuciones Clave

Formulación del Problema: El artículo define sistemáticamente el razonamiento de estado oculto como la capacidad de inferir el estado latente de un objetivo durante una invisibilidad prolongada basándose en interacciones previas y cambios de estado, identificando esto como una capacidad central ausente en los VideoLLMs actuales.
Marco StateTrace: Un novedoso marco centrado en objetos que desplaza el razonamiento de video largo de una evidencia visual puramente directa a un razonamiento estructurado centrado en el estado sobre la dinámica latente de los objetos. Introduce una memoria de estado espaciotemporal reutilizable y un mecanismo para el modelado explícito de las causas de la desaparición.
HSR-Bench: La introducción de HSR-Bench, un benchmark diagnóstico que contiene 1,427 muestras de video-QA de 1,384 videos únicos. Se dirige específicamente a la persistencia de objetos y la inferencia de estados latentes bajo oclusión, contención y consultas de retardo largo, escenarios que suelen ser subevaluados en los benchmarks existentes.

Resultados Experimentales

Los autores evaluaron StateTrace a través de múltiples benchmarks públicos (MLVU, VideoMME, LongVideoBench) y el nuevo HSR-Bench utilizando varios backbones de VideoLLM (InternVL2.5, VideoLLaMA3, Qwen2.5-VL, LLaVA-Video).

Benchmarks Públicos: StateTrace mejoró consistentemente el rendimiento en todos los backbones. Notablemente, en LongVideoBench, mostró ganancias significativas, lo que sugiere su efectividad para mantener la continuidad del estado a través de extensiones temporales extendidas. Por ejemplo, VideoLLaMA3-7B mejoró de 59.8 a 64.5 en LongVideoBench.
HSR-Bench: Las mejoras fueron más sustanciales aquí, donde el razonamiento de estado oculto es el desafío principal. StateTrace mejoró el rendimiento del modelo base entre 15.14 y 28.31 puntos. Por ejemplo, VideoLLA3-7B alcanzó una puntuación de 64.19 en HSR-Bench (frente a los 39.59 iniciales), y Qwen2.5-VL-3B mejoró de 29.85 a 57.74.
Estudios de Ablación:
- Eliminar el razonamiento de la causa de la desaparición degradó el rendimiento, indicando que saber por qué un objeto desapareció es crucial para la recuperación del estado.
- Eliminar la generación del resumen espacial causó la mayor caída de rendimiento, resaltando su papel como una interfaz crítica para convertir registros de bajo nivel en relatos explícitos de evolución de estado.
- Eliminar la recuperación de clips clave también redujo el rendimiento, confirmando el valor de enfocarse en contextos temporales relevantes.
Severidad de la Oclusión: El análisis en HSR-Bench mostró que StateTrace proporcionó las mayores ganancias bajo oclusión severa, donde el razonamiento de estado oculto es más crítico.

Significado y Reivindicaciones

El artículo afirma que StateTrace aborda una brecha específica y crítica en la comprensión de videos largos: la incapacidad de los modelos actuales para razonar sobre objetos que son temporalmente invisibles. Al modelar explícitamente las causas de la desaparición y mantener una memoria de estado estructurada, StateTrace permite a los modelos inferir que el estado de un objeto persiste incluso cuando no es visible. Los autores posicionan esto no solo como una mejora incremental en la precisión, sino como un cambio en el paradigma de razonamiento: de uno impulsado por la evidencia a uno centrado en el estado. La introducción de HSR-Bench se presenta como un paso necesario para diagnosticar y dirigir el progreso en esta capacidad específica, que los benchmarks existentes no logran evaluar adecuadamente. El trabajo demuestra que el modelado de estado explícito es esencial para un razonamiento espacial robusto en escenarios de video complejos y de largo alcance.