💻 computer science

StateTrace: An Object-Centric Framework for Hidden-State Spatiotemporal Reasoning in Long Videos

O artigo apresenta o StateTrace, um framework centrado em objetos que equipa os VideoLLMs com uma memória espaciotemporal estruturada para raciocinar explicitamente sobre estados de objetos ocultos durante intervalos invisíveis em vídeos longos, melhorando significativamente o desempenho no recém-proposto HSR-Bench e em benchmarks existentes.

Autores originais: Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

Publicado 2026-08-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yu Han, Wenhao Li, Yichao Cao, Hongyan Xu, Shuo Yang, Shan You, Xiu Su

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, as máquinas tornaram-se notavelmente habilidosas em observar vídeos e descrever o que veem. Elas conseguem identificar uma pessoa correndo, um carro virando ou um cachorro perseguindo uma bola. No entanto, esses observadores digitais possuem um ponto cego significativo em relação ao invisível. Se um objeto desaparece da tela — escondido atrás de uma parede, guardado dentro de uma caixa ou coberto por outro objeto — os modelos atuais de IA frequentemente esquecem que ele existe inteiramente. Eles tratam o "invisível" como se fosse "desconhecido", sendo incapazes de raciocinar que o objeto ainda está lá, apenas fora de vista, e que seu estado (como sua localização ou cor) provavelmente não mudou. Essa limitação torna-se um grande obstáculo ao analisar vídeos longos, onde objetos podem permanecer ocultos por períodos estendidos, mas um espectador ainda pode precisar saber onde eles estão ou o que aconteceu com eles.

Para resolver este problema, uma equipe de pesquisadores desenvolveu uma nova abordagem chamada StateTrace. Em vez de depender apenas do que é visível no quadro atual, este sistema oferece à IA uma maneira de lembrar e rastrear objetos mesmo quando eles estão escondidos. Os pesquisadores construíram um framework que atua como uma memória persistente para o vídeo, registrando não apenas o que é visto, mas também o que acontece quando as coisas desaparecem. Ele rastreia o momento em que um objeto é coberto, o motivo de seu desaparecimento e os últimos detalhes conhecidos sobre sua posição e aparência. Ao organizar essa informação em uma linha do tempo estruturada, o sistema pode responder perguntas sobre o estado oculto de um objeto muito depois de ele ter saído da tela.

Os pesquisadores testaram esta ideia criando um novo conjunto de desafios especificamente projetados para atrair os modelos de IA padrão. Eles compilaram um benchmark chamado HSR-Bench, que contém mais de 1.400 perguntas de vídeo derivadas de quase 1.400 vídeos únicos. Essas perguntas focam em cenários onde objetos estão ocluídos, contidos ou cobertos, exigindo que a IA infira seu status sem prova visual direta. Por exemplo, uma pergunta pode questionar sobre a cor de um carro que foi bloqueado por um ônibus por vários segundos, ou qual copo contém um conjunto de pregos após eles terem sido trocados entre recipientes. Quando os pesquisadores aplicaram o StateTrace a modelos de vídeo poderosos já existentes, os resultados foram impressionantes. Neste novo benchmark, os modelos melhoraram sua precisão dramaticamente, com alguns saltando de aproximadamente 40 por cento de acerto para mais de 64 por cento. Isso sugere que dar à IA uma maneira estruturada de raciocinar sobre o invisível é um passo crucial para fazer com que ela entenda o mundo como os humanos fazem.

O núcleo do sistema StateTrace é um processo de três etapas que ocorre antes mesmo de a IA tentar responder a uma pergunta. Primeiro, o sistema analisa todo o vídeo offline, dividindo-o em segmentos. Ele identifica objetos, rastreia seus movimentos e nota exatamente quando e como eles desaparecem. Se um carro é coberto por um ônibus, o sistema registra esse evento, anotando o ônibus como a causa e a última posição conhecida do carro. Ele constró-lo um mapa detalhado desses eventos, criando uma "memória de estado espaço-temporal" que vincula objetos ao seu histórico de visibilidade e interação. Esta memória não é apenas uma lista de quadros; é um grafo conectado que entende relações, como um objeto estar dentro de outro ou um bloqueando a visão de outro.

Quando um usuário faz uma pergunta, o sistema não apenas varre o vídeo em busca de palavras correspondentes. Em vez disso, ele consulta este mapa de memória para encontrar os momentos específicos relevantes para a consulta. Se a pergunta for sobre um objeto oculto, o sistema recupera a última vez que esse objeto foi visível e os eventos que levaram ao seu desaparecimento. Ele então resume este histórico em uma narrativa concisa, explicando a jornada do objeto e seu provável estado atual. Este resumo é combinado com os clipes de vídeo reais e enviado para o modelo de IA. Ao fornecer este contexto explícito, o modelo não está mais adivinhando; ele está raciocinando com base em uma linha do tempo reconstruída de eventos. O sistema essencialmente diz à IA: "O objeto que você está procurando não está visível agora, mas aqui está exatamente onde ele foi visto pela última vez e o que aconteceu com ele".

Os pesquisadores descobriram que este método funciona melhor quando o vídeo é longo e o objeto permanece oculto por um tempo significativo. Em testes envolvendo vídeos que variam de alguns segundos a uma hora de duração, o framework StateTrace superou consistentemente outros métodos que simplesmente tentavam comprimir o vídeo ou recuperar clipes relevantes. A melhoria foi mais dramática em casos de oclusão pesada, onde objetos estavam quase completamente bloqueados da visão. Por exemplo, em um caso de teste, um modelo padrão falhou em identificar a cor de um carro escondido atrás de um ônibus, adivinhando incorretamente com base no último quadro visível. Com o StateTrace, o modelo recordou corretamente a cor do carro antes de ser bloqueado, mantendo a continuidade da cena apesar da lacuna visual.

Para garantir que suas descobertas fossem robustas, a equipe conduziu uma série de experimentos para ver quais partes de seu sistema eram mais importantes. Eles descobriram que a capacidade de raciocinar sobre o porquê de um objeto ter desaparecido era crítica. Se o sistema apenas soubesse que um objeto se foi, mas não se ele foi coberto, se moveu para longe ou foi escondido dentro de algo, seu desempenho caía significativamente. Da mesma forma, a etapa que resumia as relações espaciais e o histórico de movimento provou ser o componente mais vital. Sem este resumo, a IA tinha dificuldade em dar sentido aos dados brutos, tal como uma pessoa tentando resolver um quebra-cabeça com as peças espalhadas pelo chão em vez de montadas em uma imagem. O sistema também mostrou que simplesmente alimentar todo o vídeo para a IA não era suficiente; a recuperação direcionada de momentos específicos e relevantes era essencial para a precisão.

O sucesso do StateTrace destaca uma mudança fundamental na forma como a compreensão de vídeo pode ser abordada. Por anos, o foco tem sido em fazer os modelos enxergarem melhor ou processarem mais quadros. Este trabalho sugere que o próximo salto à frente vem de fazer os modelos pensarem melhor sobre o que eles não podem ver. Ao tratar o estado invisível de um objeto como um quebra-cabeça solucionável em vez de uma peça de dado faltante, os pesquisadores permitiram que a IA lide com as complexidades da observação do mundo real. Os resultados indicam que, com o tipo certo de memória e raciocínio, as máquinas podem começar a preencher a lacuna entre o que é mostrado e o que é conhecido, uma capacidade que é essencial para qualquer sistema destinado a navegar no fluxo longo e contínuo da vida real.

Resumo Técnico: StateTrace

Definição do Problema

Os atuais Modelos de Linguagem-Visão (VLMs) demonstraram fortes capacidades em tarefas gerais de compreensão de vídeo, como legendagem e localização temporal. No entanto, eles exibem uma fraqueza fundamental no raciocínio espaço-temporal de estado oculto, particularmente em vídeos longos. Quando um objeto alvo torna-se invisível devido a oclusão, contenção ou cobertura, os modelos existentes frequentemente falham em inferir seu estado, equiparando erroneamente "invisível" com "desconhecido". Eles dependem fortemente de evidência visual explícita no momento da consulta, em vez de modelar o estado latente de objetos durante intervalos prolongados de invisibilidade. Essa limitação impede que respondam perguntas sobre a localização ou atributos de um objeto após ele ter desaparecido da visão, mesmo que o contexto implique que seu estado deva persistir.

Metodologia: StateTrace

Para abordar isso, os autores propõem o StateTrace, um framework centrado em objetos projetado para dotar os VideoLLMs de um mecanismo explícito de raciocínio de estado oculto. O framework opera através de três estágios distintos:

1. Construção de Memória de Estado Espaço-Temporal Offline

Antes da inferência, o sistema realiza uma passagem de análise offline para construir uma memória estruturada e reutilizável ( $M$ ) organizada como um grafo direcionado de nível de chunk ( $G_V$ ) com um grafo de acesso a entidades auxiliar ( $G_E$ ). Esta memória consiste em três componentes:

Contexto Semântico ( $M_{sem}$ ): Atributos de nível de chunk, incluindo entidades, ações, cenas e legendas.
Memória de Localização Espacial ( $M_{loc}$ ): Geometria absoluta de nível de frame (coordenadas de centroide normalizadas e área) e relações espaciais par a par (ex: esquerda, direita, perto, longe) entre objetos. As relações são armazenadas apenas quando mudam para reduzir a redundância.
Memória de Eventos Espaciais ( $M_{evt}$ ): Registros de transições de visibilidade (aparência/desaparecimento) e, crucialmente, a interpretação da causa do desaparecimento. Para desaparecimentos que não são de borda, um módulo VLM analisa contextos curtos de vídeo para inferir causas como "dentro" (contenção), "oculto" ou "outro".

O processo de análise envolve a divisão do vídeo em chunks, realização de grounding de objetos e propagação de máscara (usando SAM2) para manter a continuidade entre os chunks, e extração de relações espaciais e metadados de eventos.

2. Sumarização de Evidência Espaço-Temporal Orientada por Pergunta

No momento da inferência, dada uma pergunta $q$ , o sistema recupera evidências relevantes da memória de estado em vez de processar todo o vídeo bruto.

Recuperação: A pergunta é convertida em uma consulta estruturada para recuperar chunks de vídeo relevantes via um processo de dois estágios (recuperação baseada em correspondência de entidade/semântica, seguida de reclassificação com priors temporais).
Sumarização: A sub-memória recuperada é comprimida em dois resumos complementares:
- Sumário de Agregação Semântica ( $g_q$ ): Condensa evidências textuais relevantes para a resposta e sub-perguntas.
- Sumário Espacial ( $s_q$ ): Constrói evidências espaço-temporais estruturadas ao fundir linhas do tempo de nível de frame, reparar estados de visibilidade e extrair eventos âncora (ex: oclusão, entrada, reaparecimento). Este sumário rastreia explicitamente a evolução do estado do objeto através de intervalos de invisibilidade.

3. Geração de Resposta Aumentada por Sumário

O estágio final combina a evidência visual recuperada (chunks de vídeo), o contexto de legenda e os sumários semântico e espacial gerados ( $g_q, s_q$ ) para formar uma entrada multimodal para o VideoLLM. O modelo então gera a resposta baseada neste contexto enriquecido, permitindo o raciocínio explícito sobre por que um objeto desapareceu e como seu estado evoluiu enquanto estava invisível.

Principais Contribuições

Formulação do Problema: O artigo define sistematicamente o raciocínio espaço-temporal de estado oculto como a capacidade de inferir o estado latente de um alvo durante a invisibilidade prolongada com base em interações prévias e mudanças de estado, identificando isso como uma capacidade central ausente nos VideoLLMs atuais.
Framework StateTrace: Um novo framework centrado em objetos que desloca o raciocínio de vídeos longos de puramente evidência visual direta para um raciocínio estruturado e centrado no estado sobre a dinâmica latente de objetos. Ele introduz uma memória de estado espaço-temporal reutilizável e um mecanismo para modelagem explícita de causa de desaparecimento.
HSR-Bench: A introdução do HSR-Bench, um benchmark diagnóstico contendo 1.427 amostras de video-QA de 1.384 vídeos únicos. Ele visa especificamente a persistência de objetos e a inferência de estado latente sob oclusão, contenção e consultas de longo atraso, cenários frequentemente subavaliados em benchmarks existentes.

Resultados Experimentais

Os autores avaliaram o StateTrace em múltiplos benchmarks públicos (MLVU, VideoMME, LongVideoBench) e no novo HSR-Bench usando vários backbones de VideoLLM (InternVL2.5, VideoLLaMA3, Qwen2.5-VL, LLaVA-Video).

Benchmarks Públicos: O StateTrace melhorou consistentemente o desempenho em todos os backbones. Notavelmente, no LongVideoBench, mostrou ganhos significativos, sugerindo sua eficácia em manter a continuidade do estado ao longo de extensos períodos temporais. Por exemplo, o VideoLLaMA3-7B melhorou de 59.8 para 64.5 no LongVideoBench.
HSR-Bench: As melhorias foram mais substanciais aqui, onde o raciocínio de estado oculto é o principal desafio. O StateTrace melhorou o desempenho do modelo base em 15.14 a 28.31 pontos. Por exemplo, o VideoLLaMA3-7B alcançou uma pontuação de 64.19 no HSR-Bench (subindo de 39.59), e o Qwen2.5-VL-3B melhorou de 29.85 para 57.74.
Estudos de Ablação:
- A remoção do raciocínio de causa de desaparecimento degradou o desempenho, indicando que saber por que um objeto desapareceu é crucial para a recuperação do estado.
- A remoção da geração de sumário espacial causou a maior queda de desempenho, destacando seu papel como uma interface crítica para converter registros de baixo nível em relatos explícitos de evolução de estado.
- A remoção da recuperação de clipes-chave também reduziu o desempenho, confirmando o valor de focar em contextos temporais relevantes.
Severidade da Oclusão: A análise no HSR-Bench mostrou que o StateTrace proporcionou os maiores ganhos sob oclusão pesada, onde o raciocínio de estado oculto é mais crítico.

Significância e Alegações

O artigo afirma que o StateTrace aborda uma lacuna específica e crítica na compreensão de vídeos longos: a incapacidade dos modelos atuais de raciocinar sobre objetos que estão temporariamente invisíveis. Ao modelar explicitamente as causas do desaparecimento e manter uma memória de estado estruturada, o StateTrace permite que os modelos infiram que o estado de um objeto persiste mesmo quando ele não está visível. Os autores posicionam isso não apenas como uma melhoria incremental na precisão, mas como uma mudança de paradigma de raciocínio — de baseado em evidências para centrado no estado. A introdução do HSR-Bench é apresentada como um passo necessário para diagnosticar e impulsionar o progresso nesta capacidade específica, que os benchmarks existentes falham em avaliar adequadamente. O trabalho demonstra que a modelagem explícita de estado é essencial para um raciocínio espacial robusto em cenários de vídeo complexos e de longo horizonte.