💻 computer science

TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs

O TimeLens2 introduz um framework generalista de localização temporal de vídeo que aproveita LLMs multimodais com uma nova estratégia de supervisão de múltiplos intervalos e uma recompensa Wasserstein temporal para alcançar o estado da arte em diversos benchmarks, superando significativamente tanto baselines de tamanho equivalente quanto modelos de código aberto muito maiores.

Autores originais: Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

Publicado 2026-07-21

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuhan Zhu, Changlian Ma, Xiangyu Zeng, Xinhao Li, Zhiqiu Zhang, Songze Li, Jun Zhang, Tianxiang Jiang, Yuandong Yang, Ziang Yan, Zikang Wang, Xinyu Chen, Haoran Chen, Shaowei Zhang, Limin Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô super inteligente que pode assistir a qualquer vídeo no mundo e descrever exatamente o que está acontecendo. É como ter um narrador pessoal que nunca perde um detalhe. Mas aqui está o problema: se você perguntar: "Quando o cachorro pega o frisbee?", o robô pode dizer: "O cachorro pega o frisbee!", e parecer muito confiante, mas ele não dirá a você quando pausar o vídeo para ver isso. É como ler um livro onde o narrador descreve o enredo, mas se recusa a dar os números das páginas. Sem esses números de página (ou, neste caso, carimbos de tempo/timestamps), você não pode verificar a história ou encontrar as evidências por conta própria. Este é o problema da "ancoragem temporal" (temporal grounding). Cientistas estão tentando ensinar a IA não apenas a descrever vídeos, mas a apontar os segundos exatos onde a ação acontece, mesmo que esses segundos estejam espalhados por um filme longo ou se o vídeo for filmado de uma perspectiva em primeira pessoa instável.

Apresentamos o TimeLens2, um novo modelo de IA projetado para ser o detetive de vídeo definitivo. Enquanto modelos de IA anteriores eram como detetives que conseguiam descrever a cena de um crime, mas não conseguiam encontrar o momento específico em que o suspeito deixou cair a arma, o TimeLens2 é treinado para encontrar os intervalos de tempo exatos, sejam eles um único segundo ou uma dúzia de momentos espalhados por um filme de duas horas. Os pesquisadores descobriram que, para fazer isso funcionar, tiveram que mudar completamente a forma como ensinavam a IA. Em vez de apenas mostrar um vídeo e pedir uma resposta, eles construíram um "pipeline de verificação" especial, onde múltiplos agentes de IA atuam como um painel de juízes, cruzando o trabalho uns dos outros para garantir que os carimbos de tempo sejam reais e não apenas palpites. Eles também inventaram uma nova maneira de avaliar as respostas da IA que concede crédito parcial por estar "perto", mesmo que a IA tenha errado o início ou o fim exato, em vez de apenas dar zero por qualquer erro. O resultado? Um modelo de IA compacto (de apenas 2 bilhões de parâmetros) que consegue encontrar evidências em vídeos melhor do que modelos muito maiores e mais caros, provando que, com o treinamento certo, um cérebro pequeno pode ser um detetive mais afiado do que um gigante.

O Novo Kit de Ferramentas do Detetive

Então, como o TimeLens2 se tornou tão bom em encontrar o "quando" no vídeo? Os pesquisadores perceberam que a antiga maneira de treinar a IA estava quebrada. Imagine tentar ensinar um aluno a encontrar uma agulha em um palheiro apenas entregando a ele o palheiro inteiro e dizendo: "Encontre a agulha". Se o aluno errar, você apenas diz "Não", e ele não tem ideia de quão perto chegou. No mundo da IA de vídeo, isso significava que, se um modelo errasse o segundo errado, ele recebia zero de crédito, mesmo que estivesse errado por apenas um segundo. Isso tornava o aprendizado muito lento e frustrante.

Para corrigir isso, a equipe criou o TimeLens2-93K, um conjunto de dados massivo construído com um processo inteligente de várias etapas. Pense nisso como uma linha de produção para pistas de vídeo perfeitas:

O Rascunho Inicial: Primeiro, eles usaram uma IA inteligente para escrever uma história (legenda) para todo o vídeo, dividindo-o em cenas menores.
A Pergunta: A partir dessas cenas, eles geraram perguntas como: "Quando o molho está sendo mexido?"
A Verificação Dupla: Aqui está a parte mágica. Em vez de confiar em apenas uma resposta, eles enviaram o vídeo para dois detetives de IA diferentes. Esses detetives trabalharam de forma independente para encontrar os intervalos de tempo.
O Consenso: Se ambos os detetives concordassem com o horário, a resposta era mantida. Se discordassem, ela era descartada. Isso garantiu que os dados de treinamento fossem extremamente confiáveis.
O Polimento: Finalmente, eles usaram uma terceira IA, ainda mais inteligente, para refinar os tempos exatos de início e fim, tornando os limites precisos.

Esse processo transformou um conjunto de dados bagunçado e não confiável em uma mina de ouro de 93.000 exemplos de alta qualidade, onde a IA sabe exatamente quando as coisas acontecem.

A Pontuação "Wasserstein": Uma Nova Maneira de Avaliar

Depois que a IA teve bons dados para aprender, os pesquisadores tiveram que ensiná-la a avaliar seu próprio trabalho. Eles introduziram um novo método de pontuação chamado recompensa Temporal Wasserstein.

Imagine que você está jogando um jogo onde tem que adivinhar a localização de um tesouro escondido em uma linha do tempo.

A Maneira Antiga (tIoU): Se você errar o lugar, recebe zero. Não importa se você estava a um centímetro de distância ou a um quilômetro de distância; você não recebe nada. É como um professor dando um "F" por você escrever a data errada, mesmo que tenha errado por apenas um dia.
O Jeito TimeLens2 (Wasserstein): Este novo método é como um GPS. Se você estiver a um centímetro de distância, ele diz: "Você está quase lá!" e dá uma pontuação alta. Se você estiver a um quilômetro de distância, ele diz: "Você está muito longe" e dá uma pontuação baixa. Ele mede a distância entre o seu palpite e a verdade.

Isso é crucial porque ensina a IA a continuar tentando chegar mais perto, mesmo quando ela ainda não encontrou a resposta exata. O artigo mostra que este método ajuda a IA a se recuperar de erros muito mais rápido, transformando falhas "silenciosas" (onde a IA recebe zero e não aprende nada) em momentos de aprendizado valiosos.

Os Resultados: Cérebro Pequeno, Grandes Habilidades

A equipe testou o TimeLens2 em sete desafios de vídeo diferentes, variando de clipes curtos de pessoas realizando ações até vídeos longos e complexos filmados da perspectiva dos próprios olhos (como uma GoPro em um capacete). Eles testaram três versões do modelo: uma versão pequena de 2 bilhões de parâmetros, uma média de 4 bilhões e uma grande de 8 bilhões.

Os resultados foram surpreendentes. A versão minúscula de 2 bilhões do TimeLens2 venceu todos os outros modelos de IA de tamanho semelhante em todos os testes. Mais impressionante ainda, a versão de 4 bilhões superou modelos proprietários massivos, que são centenas de vezes maiores (como um modelo de 397 bilhões de parâmetros). Em termos simples, um modelo TimeLens2 pequeno e bem treinado é um detetive de vídeo melhor do que um gigante e caro que não teve o mesmo treinamento cuidadoso.

Por exemplo, em um teste chamado "MomentSeeker", onde a IA tem que responder perguntas como "O que foi colocado ao lado da porta?", os modelos TimeLens2 melhoraram suas pontuações significativamente em comparação com suas versões base. O modelo 2B saltou 14,2 pontos, o 4B saltou 13,0 e o 8B saltou 18,1. Isso sugere que o ingrediente secreto não era apenas tornar a IA maior, mas ensiná-la a procurar evidências com mais cuidado e a entender que "estar perto" é melhor do que "estar errado".

Por Que Isso Importa

O artigo conclui que, ao tratar a evidência de vídeo como um conjunto de intervalos de tempo e usar essas novas formas mais inteligentes de treinar e avaliar a IA, podemos tornar a busca em vídeos muito mais confiável. Em vez de apenas obter uma descrição vaga, os usuários agora podem obter carimbos de tempo precisos e verificáveis. Isso transforma a IA de vídeo de uma "caixa preta" que apenas supõe para uma ferramenta transparente que pode mostrar seu trabalho, tornando possível pesquisar através de horas de filmagens para encontrar exatamente o que você está procurando, seja uma ação específica, um evento recorrente ou um momento capturado de uma visão em primeira pessoa. Os pesquisadores sugerem que esta abordagem pode tornar os arquivos de vídeo pesquisáveis e confiáveis para todos, desde pesquisadores até usuários comuns.

Resumo Técnico: TimeLens2

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais para Vídeo (MLLMs) demonstraram a capacidade de descrever o conteúdo de vídeos, mas frequentemente falham em identificar quando as evidências de suporte ocorrem dentro de um vídeo. Sem o endereçamento temporal, as saídas de vídeo permanecem inverificáveis, forçando os usuários a buscar manualmente nas linhas do tempo. O artigo identifica o "endereçamento temporal de vídeo generalista" como o desafio central: permitir que um único modelo preveja um conjunto de intervalos de evidência de cardinalidade variável através de diversos comprimentos de vídeo, domínios, formas de consulta (declarativa vs. interrogativa) e pontos de vista (terceira pessoa vs. egocêntrico).

Os autores argumentam que as abordagens existentes sofrem de dois desajustes estruturais:

Desajuste de Supervisão: Rótulos de vídeos longos frequentemente dependem de anotações globais de passagem única e frágeis, que confundem ocorrências semelhantes, perdem evidências repetidas ou produzem limites imprecisos. Além disso, muitos conjuntos de dados focam em vídeos curtos e respostas de intervalo único, falhando em abordar a complexidade do endereçamento de múltiplos intervalos em contextos longos.
Desajuste de Otimização: A previsão de próximo token padrão aprende a sintaxe de carimbo de tempo (timestamp), mas carece de um objetivo explícito ao nível de intervalo. Métodos de aprendizado por reforço (RL) que utilizam a Interseção sobre União temporal (tIoU) como recompensa falham em distinguir entre "quase acertos" e erros distantes (atribuindo recompensa zero a todas as previsões disjuntas) e têm dificuldade em corresponder correspondências um-para-um frágeis quando as previsões e os alvos possuem cardinalidades desiguais ou fragmentadas.

Metodologia

O TimeLens2 aborda esses problemas tratando a evidência temporal como um conjunto de intervalos de primeira classe tanto na supervisão quanto na otimização. A abordagem consiste em dois componentes principais: um pipeline de construção de dados escalável e um novo framework de treinamento.

1. TimeLens2-93K: Construção de Dados Escalável

Para superar a falta de confiabilidade da anotação de vídeos longos, os autores propõem um pipeline de estágio de verificação de evidência que transforma anotações globais frágeis em supervisão de intervalo único e de múltiplos intervalos confiável. O pipeline processa 34.867 vídeos diversos do YouTube (estratificados por duração, de <1 min a >1 hora) através de seis etapas:

Legendagem Hierárquica: Os vídeos são divididos em clipes de 20–60s usando fronteiras baseadas em conteúdo. Um grande MLLM (Qwen3-VL) gera legendas globais para contexto e legendas de segmento para ações específicas, criando um índice semântico com carimbo de tempo.
Síntese de Consulta: Um gerador de consultas (Kimi-K2.5) utiliza essas legendas para criar consultas declarativas e seleciona segmentos de suporte, formando propostas grosseiras.
Localização de Duplo Agente: Dois agentes independentes (Qwen3-VL-30B e TimeLens-8B) relocalizam a evidência proposta diretamente dos clipes de vídeo, retornando conjuntos de intervalos ou conjuntos vazios. Isso converte correspondências de texto em decisões visuais verificáveis.
Consenso e Verificação:
- Consenso Temporal: As instâncias são mantidas apenas se os conjuntos de intervalos fundidos de ambos os agentes tiverem um IoU alto (>0.9), garantindo a reprodutibilidade.
- Verificação Semântica: Uma verificação de similaridade de incorporação (embedding) texto-vídeo (limiar >0.5) garante que a evidência seja semanticamente relevante para a consulta.
Refinamento de Fronteira: Uma etapa final de refinamento local observa uma vizinhança de ±3s ao redor das fronteiras verificadas para aguçar os pontos de transição, fundindo lacunas ≤1s para lidar com o jitter.

Este processo produz o TimeLens2-93K, um corpus de 93.232 instâncias de endereçamento em 23.793 vídeos, incluindo 12.091 exemplos de múltiplos intervalos.

2. Treinamento do Modelo: Aquisição de Capacidade e Calibração Geométrica

A estratégia de treinamento separa o aprendizado de pesquisar do aprendizado de calibrar fronteiras:

Ajuste Fino Supervisionado (SFT) de Longo Contexto: O modelo (baseado em backbones Qwen3-VL) é ajustado finamente no TimeLens2-93K, TimeLens-100K e Ego4D-NLQ. O treinamento enfatiza o contexto de vídeo completo para forçar o modelo a isolar evidências esparsas entre distratores. Para garantir a robustez, o modelo é exposto a diversas formulações de instrução e formatos de resposta (JSON, linguagem natural, etc.).
Aprendizado por Reforço com Recompensa de Wasserstein Temporal:
- Mineração Guiada por Rollout: O modelo gera múltiplas conclusões off-policy; exemplos com baixo tIoU médio são ponderados para cima para focar a otimização em erros não resolvidos.
- Design de Recompensa: Os autores introduzem uma recompensa composta $R = R_{tIoU} + R_{TW} - 1_{invalid}$ $R = R_{t I o U} + R_{T W} - 1_{in v a l i d}$ .
  - $R_{tIoU}$ : Mede a sobreposição dos suportes fundidos (suporte alvo já recuperado).
  - $R_{TW}$ (Wasserstein Temporal): Calcula a distância 1-Wasserstein ( $W_1$ ) exata entre distribuições uniformes sobre os suportes de intervalo previstos e alvo fundidos. Isso fornece feedback denso e livre de correspondência para previsões disjuntas e cardinalidades desiguais, classificando "quase acertos" com pontuação mais alta do que erros distantes.
  - $1_{invalid}$ : Penaliza saídas não analisáveis (unparseable).

Principais Contribuições

TimeLens2-93K: Um pipeline de verificação de evidência em estágios que produz supervisão de endereçamento temporal de intervalo único e de múltiplos intervalos confiável para vídeos longos, abordando o gargalo de qualidade na anotação de vídeos longos.
Recompensa de Wasserstein Temporal: Uma recompensa livre de correspondência baseada na distância $W_1$ exata sobre suportes de intervalo fundidos. Ela fornece feedback graduado e invariante à fragmentação para previsões disjuntas e de cardinalidade desigual, resolvendo o problema do "platô de recompensa zero" do tIoU.
Desempenho Generalista: A demonstração de modelos compactos de 2B, 4B e 8B que alcançam desempenho de estado da arte em sete benchmarks cobrindo endereçamento de vídeo longo, múltiplos intervalos, formas de pergunta e egocêntrico.

Resultados Experimentais

O TimeLens2 foi avaliado em sete benchmarks: Charades-STA, ActivityNet Captions, QVHighlights, VUE-TR, VUE-TR-V2, MomentSeeker e Ego4D-NLQ.

Desempenho:
- TimeLens2-2B supera todos os baselines de código aberto de tamanho equivalente em todos os sete benchmarks, alcançando um mIoU médio de 44.5 (uma melhoria de 14.2 pontos sobre seu backbone Qwen3-VL-2B).
- TimeLens2-4B e TimeLens2-8B alcançam resultados de estado da arte, superando modelos de código aberto com até 397B de parâmetros (ex: Qwen3.5-397B) e sistemas proprietários (ex: Gemini 2.5 Pro) em múltiplas métricas.
- O modelo de 4B melhora em relação ao seu backbone em 13.0 pontos de mIoU em média, com ganhos significativos em configurações de vídeo longo (VUE-TR) e forma de pergunta (MomentSeeker).
Insights de Ablação:
- Qualidade dos Dados: O pipeline de curadoria progressiva (consenso, verificação, refinamento) aumenta significativamente o desempenho (de 42.0 para 45.8 mIoU) enquanto reduz o tamanho do conjunto de dados em 7/8, provando que a qualidade supera a quantidade.
- Design de Recompensa: A recompensa de Wasserstein Temporal ( $R_{TW}$ ) resgata 75.8% dos grupos de "tIoU zero" no RL, fornecendo sinais de aprendizado necessários onde o tIoU falha. Ela supera o NGIoU pareado (usado no MUSEG) em 0.6 de mIoU médio, particularmente em cenários de múltiplos intervalos.
- Contexto Longo: Aumentar o comprimento da sequência empacotada para 100K tokens produz os melhores resultados, melhorando especificamente o desempenho em benchmarks de vídeo longo como VUE-TR-V2.

Significância

O artigo postula que, para que os MLLMs de vídeo se tornem interfaces confiáveis para arquivos de vídeo, suas saídas devem ser rastreáveis a momentos específicos. O TimeLens2 desloca o endereçamento temporal de uma tarefa de recuperação especializada para uma capacidade nativa e auditável de MLLMs de vídeo generalistas. Ao tratar consistentemente a evidência como um conjunto de intervalos desde a supervisão até a otimização, o framework permite que modelos compactos superem sistemas significativamente maiores em cenários complexos de endereçamento do mundo real. O trabalho destaca que o endereçamento confiável de vídeos longos requer não apenas escala, mas um redesenho fundamental de como a evidência é verificada e como os erros geométricos são penalizados.