💬 NLP

Tracing the Arrow of Time: Diagnosing Temporal Information Flow in Video-LLMs

Este artigo diagnostica as capacidades pobres de raciocínio temporal dos Video-LLMs ao identificar gargalos tanto nos codificadores visuais quanto nos projetos de projetores, levando a uma nova arquitetura que alcança desempenho quase perfeito na tarefa Arrow-of-Time e melhora significativamente benchmarks mais amplos de raciocínio temporal.

Autores originais: Peitao Han, Fei Cheng, Lis K. Pereira, Qianying Liu, Shigeru Kitazawa

Publicado 2026-05-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Peitao Han, Fei Cheng, Lis K. Pereira, Qianying Liu, Shigeru Kitazawa

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um vídeo de um copo caindo de uma mesa e se estilhaçando. Se você reproduzir esse vídeo ao contrário, verá os cacos voando magicamente para cima e se remontando em um copo perfeito. Até uma criança pequena sabe que isso parece errado. Os humanos possuem um "senso de tempo" inato que nos diz em qual direção o tempo está fluindo.

Este artigo investiga por que modelos avançados de IA, chamados Video-LLMs (Modelos de Linguagem de Grande Escala para Vídeo), são terríveis nessa tarefa simples. Enquanto os humanos acertam quase 100% das vezes, esses modelos de IA frequentemente chutam aleatoriamente, como um lançamento de moeda.

Os autores decidiram atuar como detetives para descobrir onde a IA está perdendo a noção do tempo. Eles dividiram a IA em três partes principais e rastrearam a "seta do tempo" através de cada uma delas.

Aqui está a história de sua descoberta, usando analogias simples:

1. A Câmera (O Codificador de Visão)

Primeiro, eles analisaram a parte da IA que "vê" o vídeo. Eles encontraram dois tipos de câmeras:

A Câmera "Quadro a Quadro": Esta olha para cada imagem do vídeo individualmente, como folhear um álbum de fotos. Ela perde o movimento entre as fotos. O artigo descobriu que essas câmeras são cegas ao tempo. Elas não conseguem dizer se o copo está caindo ou voando para cima.
A Câmera "Filme": Esta olha para todo o clipe de vídeo de uma vez, entendendo como os quadros se conectam. Essas câmeras conseguem ver a seta do tempo. Quando os autores testaram apenas essa parte da IA (sem o restante do cérebro), ela acertou a resposta em 85–90% das vezes.

O Problema: A IA tem uma boa "câmera de filme", mas algo dá errado antes que a informação chegue ao cérebro.

2. O Tradutor (O Projetor)

A câmera de vídeo fala uma linguagem diferente da do "cérebro" da IA (o Modelo de Linguagem). Um intermediário chamado Projetor traduz o vídeo em tokens semelhantes a texto que o cérebro pode entender.

Os autores testaram dois tipos de tradutores:

O "Resumidor" (Q-Former): Este tradutor tenta ser eficiente. Ele olha para o vídeo inteiro e o espreme em algumas frases-chave, como uma resenha de filme. Infelizmente, ao fazer isso, ele descarta a linha do tempo. Ele diz ao cérebro o que aconteceu, mas não quando ou em qual ordem. O artigo descobriu que este tradutor destrói a informação temporal, fazendo com que a IA falhe.
O Tradutor "Preservador de Tempo" (MLP): Este tradutor é cuidadoso. Ele mantém a sequência de eventos intacta, como um roteiro que lista cada cena em ordem. Quando usaram este tradutor, o desempenho da IA disparou.

A Descoberta: O gargalo não era a câmera; era o tradutor. O tradutor padrão estava acidentalmente apagando a parte "tempo" da mensagem.

3. O Cérebro (O LLM)

Finalmente, eles olharam para o próprio cérebro. Eles descobriram que o cérebro é, na verdade, bastante bom em entender o tempo se receber a informação corretamente.

No entanto, eles notaram que, quando a câmera é treinada para falar com o cérebro (um processo chamado "alinhamento de linguagem"), a câmera começa a esquecer os detalhes específicos do tempo para focar em combinar palavras. É como uma câmera que aprende a descrever um copo tão bem que esquece se o copo está caindo ou subindo.
O cérebro funciona melhor quando recebe dados temporais brutos e não filtrados das camadas anteriores da câmera, passados pelo tradutor "Preservador de Tempo".

A Solução: Construindo uma IA Sábia em Tempo

Usando essas pistas, os autores construíram um novo Video-LLM com três atualizações específicas:

Uma Câmera "Filme": Uma que entende explicitamente o movimento.
Um Tradutor "Preservador de Tempo": Um que se recusa a espremer a linha do tempo.
Treinamento Especial: Eles ensinaram a IA especificamente na tarefa "Seta do Tempo" (vídeos para frente vs. para trás).

O Resultado:
Esta nova IA não ficou apenas melhor; ela venceu os humanos. Ela alcançou 98,1% de precisão no teste de direção temporal, comparado à média humana de 89,2%.

Além disso, esse treinamento não ajudou apenas no teste de tempo. Tornou a IA melhor em outras tarefas que exigem compreensão do tempo, como descobrir a ordem dos eventos em uma história ou a direção do movimento, melhorando suas pontuações em outros benchmarks em até 6 pontos.

Resumo

O artigo conclui que, para uma IA entender o tempo, ela precisa de duas coisas:

Uma câmera que realmente registra o tempo, não apenas imagens.
Um tradutor que não apague a linha do tempo ao passar a mensagem para o cérebro.

Assim que corrigiram o "vazamento" no tradutor, a IA finalmente pôde ver a seta do tempo com clareza.

Resumo Técnico: Rastreando a Seta do Tempo em Video-LLMs

Declaração do Problema

Apesar de os humanos resolverem a tarefa da Seta do Tempo (AoT) — determinar se um vídeo é reproduzido para frente ou para trás com base na irreversibilidade física — com precisão quase perfeita, os modelos de linguagem grandes de vídeo de ponta (Video-LLMs) performam apenas marginalmente acima do acaso. Essa lacuna de desempenho levanta uma questão diagnóstica crítica: a falha deve-se à incapacidade dos backbones visuais de codificar informações temporais, ou o gargalo reside em outro lugar na arquitetura do Video-LLM (por exemplo, o projetor ou o LLM)? Os Video-LLMs atuais, que normalmente acoplam um codificador de visão a um LLM por meio de um projetor, lutam com o raciocínio temporal, um pré-requisito para a compreensão da dinâmica do mundo real.

Metodologia

Os autores empregam uma abordagem sistemática de rastreamento componente a componente para isolar onde a informação temporal é codificada, preservada ou perdida dentro do pipeline do Video-LLM. O estudo é estruturado em torno de três Questões de Pesquisa (RQs):

1. RQ1: A Informação Temporal Pode Ser Codificada pelo Codificador de Visão?

Abordagem: Os autores desacoplam o codificador de visão do LLM e empregam uma técnica de "sondagem atencional". Um classificador leve baseado em atenção é treinado sobre codificadores de visão congelados para prever a direção do vídeo (frente/trás).
Comparação de Codificadores: Eles comparam codificadores centrados em quadros (que processam vídeos como quadros individuais e dependem de embeddings posicionais para pistas temporais, por exemplo, Qwen2VL, DINOv2) contra codificadores centrados em vídeo (que modelam explicitamente a dinâmica temporal entre quadros, por exemplo, VJepa, InternVideo2).
Descoberta: Codificadores centrados em vídeo com modelagem temporal explícita codificam com sucesso sinais fortes de AoT (atingindo ~~85-88% de precisão na sondagem). Em contraste, codificadores centrados em quadros falham catastróficamente, permanecendo próximos ao nível do acaso (~~50%).

2. RQ2: Como a Informação Temporal Pode Ser Transferida Efetivamente para os LLMs?

Abordagem: Os autores investigam o "gargalo de informação" analisando o projetor (o componente que mapeia características visuais para tokens do LLM) e a dinâmica por camadas do codificador.
Análise do Projetor: Eles comparam três designs de projetor:
- Q-Former: Usa tokens de consulta aprendíveis para atender às representações visuais.
- MLP Comprimido no Tempo: Agrupa características ao longo da dimensão temporal antes da projeção.
- MLP Preservado no Tempo: Preserva a dimensão temporal ( $T'$ ) enquanto agrega apenas as dimensões espaciais ( $H' \times W'$ ).
Análise por Camadas: Eles rastreiam representações de diferentes camadas do codificador (especificamente InternVideo2 Estágio 1 vs. Estágio 2) através do projetor até o LLM.
Descobertas:
- Gargalo do Projetor: O Q-Former interrompe a informação temporal, fazendo com que o desempenho colapse para níveis de acaso, mesmo ao usar codificadores centrados em vídeo fortes. MLPs preservados no tempo superam significativamente o Q-Former e os MLPs comprimidos no tempo, indicando que preservar a resolução temporal durante a projeção é crítico.
- Impacto do Alinhamento de Linguagem: Enquanto codificadores do Estágio 1 (pré-treinados apenas em vídeo) preservam informações temporais explícitas nas camadas iniciais a médias, codificadores do Estágio 2 (alinhados com a linguagem via treinamento estilo CLIP) mostram uma degradação na transferibilidade temporal. A informação temporal no Estágio 2 torna-se menos explícita e mais difícil de decodificar pelo LLM, mesmo com um projetor preservado no tempo.

3. RQ3: A Supervisão de AoT Pode Melhorar o Raciocínio Temporal Mais Amplo?

Abordagem: Os autores constroem um Video-LLM combinando um codificador de vídeo consciente do tempo (InternVideo2 Estágio 1), um projetor MLP preservado no tempo e um LLM. Eles ajustam finamente este modelo com supervisão de AoT (classificação frente/trás) juntamente com o ajuste fino de instruções gerais.
Avaliação: Eles testam o modelo no benchmark de AoT (AoTP P B) e em benchmarks mais amplos de raciocínio temporal (VITATECS-Direction, TVBench), comparando com benchmarks gerais de vídeo (MVBench, Video-MME) para garantir que não haja degradação nas capacidades gerais.

Contribuições Principais

Diagnóstico da Codificação Temporal: Demonstrou que a modelagem temporal explícita em codificadores centrados em vídeo é suficiente para codificar sinais fortes de AoT, enquanto codificadores centrados em quadros são fundamentalmente insuficientes para esta tarefa.
Identificação de Gargalos Arquitetônicos: Identificou o design do projetor como um gargalo primário. Especificamente, arquiteturas Q-Former interrompem o fluxo temporal, enquanto MLPs preservados no tempo são essenciais para transferir informações temporais ao LLM.
Impacto do Alinhamento de Linguagem: Revelou que o alinhamento de linguagem estilo CLIP (treinamento do Estágio 2) torna a informação temporal menos acessível explicitamente e mais difícil de transferir para o LLM em comparação com o pré-treinamento puramente centrado em vídeo (Estágio 1).
Avanço de Desempenho: Construiu um Video-LLM que supera o desempenho humano no benchmark AoTP P B (98,1% de precisão vs. 89,2% humanos).
Generalização: Mostrou que a supervisão de AoT atua como um sinal de treinamento eficaz que melhora tarefas mais amplas de raciocínio temporal (até +6,0 pontos em VITATECS-Direction) sem prejudicar a compreensão geral de vídeo.

Resultados

Sondagem: Codificadores centrados em vídeo (por exemplo, VJepa-H) atingiram 88,8% de precisão na sondagem de AoT, enquanto codificadores centrados em quadros (por exemplo, Qwen2.5VLViT) oscilaram em 50,7%.
Desempenho em VQA: Video-LLMs padrão (por exemplo, InternVideo2VL com Q-Former) performaram no nível do acaso (50,0%) em VQA de AoT, apesar de usar um codificador centrado em vídeo forte.
Ablação do Projetor: Substituir o Q-Former por um MLP preservado no tempo no InternVideo2 Estágio 1 aumentou a precisão de VQA de AoT de 50,0% para 95,1%.
Modelo Final: O modelo proposto (codificador Estágio 1 + MLP Preservado no Tempo + supervisão de AoT) atingiu 98,1% no AoTP P B.
Tarefas Mais Amplas: O modelo melhorou o VITATECS-Direction em 6,0 pontos e o TVBench em 1,3 pontos. O desempenho em benchmarks gerais (MVBench, Video-MME) permaneceu estável, indicando que os ganhos são específicos ao raciocínio temporal.

Significado

O artigo argumenta que a falha dos Video-LLMs atuais no raciocínio temporal não se deve apenas à falta de codificação temporal no backbone visual, mas sim a uma falha na transferência de informação causada por designs inadequados de projetores e pelos efeitos colaterais do alinhamento de linguagem. Ao rastrear a "seta do tempo" através da arquitetura, os autores fornecem uma explicação mecânica para essas falhas e propõem princípios arquitetônicos práticos (codificadores centrados em vídeo + projetores preservados no tempo) para superá-las. O trabalho sugere que a supervisão explícita sobre a irreversibilidade física (AoT) é uma estratégia viável e eficaz para aprimorar as capacidades de raciocínio temporal de modelos multimodais.