💻 computer science

Searching Videos as Trees: Self-Correcting Agents for Grounded Long Video QA

O artigo propõe o VideoTreeSearch (VTS), uma estrutura de agente autocorretivo que modela o QA de vídeos longos fundamentado como uma busca iterativa sobre uma árvore temporal adaptativa com operações explícitas de retrocesso, superando significativamente métodos anteriores ao permitir a recuperação de erros precoces e alcançar resultados de estado da arte em múltiplos benchmarks.

Autores originais: Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

Publicado 2026-07-20

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ce Zhang, Ziyang Wang, Yulu Pan, Oluwatumininu Oguntola, Pranav Wagh, Qiyu Wu, Hiromi Wakaki, Mohit Bansal, Gedas Bertasius

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando encontrar um momento específico e minúsculo em um filme que dura horas. Talvez você precise ver exatamente o que um chef adicionou a uma tigela logo antes de ela ir ao forno, mas o vídeo é um tutorial de culinária de longa duração. Se você apenas percorrer todo o filme rapidamente, pode perder essa ação de uma fração de segundo. Mas, se você assistir a cada quadro na velocidade normal, levaria uma eternidade. Este é o desafio da "Resposta a Perguntas em Vídeos Longos com Localização" (Grounded Long-Video Question Answering). É uma tarefa onde um computador precisa não apenas responder a uma pergunta sobre um vídeo longo, mas também apontar os poucos segundos exatos onde a resposta se esconde.

Por um tempo, cientistas tentaram resolver isso dando ao computador uma ferramenta de "tesoura". O computador adivinhava um intervalo de tempo, cortava o vídeo ali e analisava o resultado. Se ele errasse, tentava cortar novamente. Mas essa abordagem era como tentar encontrar uma agulha em um palheiro sendo permitido apenas cortar o palheiro ao meio; se você cortasse o lado errado, não poderia facilmente voltar para o outro lado para tentar de novo. Você apenas continua cortando o pedaço errado cada vez menor até desistir. Este artigo apresenta uma maneira mais inteligente de pesquisar, transformando o vídeo em um mapa que o computador pode explorar, retornar e corrigir seus erros, muito parecido com um detetive resolvendo um mistério.

O Mapa do Detetive: Como o VTS Resolve o Mistério do Vídeo

Conheça o VideoTreeSearch (VTS), um novo framework projetado para ajudar computadores a se tornarem especialistas detetives de vídeo. Os pesquisadores por trás deste artigo perceberam que a antiga maneira de pesquisar vídeos era muito desajeitada. Métodos anteriores agiam como uma pessoa que só conseguia se mover para frente, estreitando um clipe de vídeo ao recortá-lo constantemente. Se eles cometessem um erro no início — por exemplo, se achassem que a resposta estava nos primeiros dez minutos quando na verdade estava nos últimos dez — eles ficavam presos. Não tinham como dizer: "Espere, eu fui pelo caminho errado", e voltar para tentar um caminho diferente. Eles apenas continuariam cavando no buraco errado.

A Analogia da Árvore
Para corrigir isso, os autores transformaram o vídeo em uma árvore. Imagine que o vídeo inteiro é o tronco de uma árvore gigante. O tronco se divide em alguns galhos grandes, representando cenas ou capítulos principais. Esses galhos se dividem novamente em pequenos ramos, e os ramos se dividem em folhas minúsculas.

A Raiz: O vídeo completo.
Os Galhos: Grandes blocos do vídeo onde a cena muda (como passar da cozinha para a sala de jantar).
As Folhas: Os momentos minúsculos e específicos onde a resposta pode estar escondida.

Crucialmente, esta árvore não é construída com fatias de tamanhos iguais. Em vez disso, o computador observa o vídeo e corta a árvore exatamente onde a história visual muda. Se uma cena dura cinco minutos, esse galho é longo; se uma cena é apenas um flash rápido, esse galho é curto. Isso significa que cada parte da árvore faz sentido como uma unidade de história, em vez de apenas uma fatia aleatória de tempo.

Os Quatro Movimentos Mágicos
Uma vez que o vídeo é uma árvore, o agente de computador não apenas "recorta" mais. Ele tem quatro movimentos específicos para navegar neste mapa:

Zoom In (Aproximar): Descer um galho para ver uma parte menor e mais detalhada do vídeo.
Zoom Out (Afastar): Voltar para o galho pai se você perceber que foi fundo demais na direção errada.
Shift (Deslocar): Mover-se lateralmente para um galho diferente no mesmo nível (como verificar a próxima sala em vez da atual).
Answer (Responder): Parar a pesquisa e dar a resposta final com o carimbo de tempo exato.

A parte mais emocionante é o Zoom Out e o Shift. Estes são os botões de "Eu cometi um erro, vamos tentar de novo". Nos métodos antigos, voltar era impossível ou muito difícil. No VTS, é um movimento padrão e integrado. O agente pode mergulhar em um galho errado, perceber que é um beco sem saída, subir de volta e saltar para um galho diferente para encontrar a verdade.

Treinando o Detetive
Você não pode simplesmente dar uma árvore a um computador e esperar que ele saiba como usá-la. Os pesquisadores tiveram que ensinar o agente como lidar com erros. Eles criaram um processo de treinamento especial onde deliberadamente enviaram o agente pelo caminho errado de propósito.

O Desvio: O agente era guiado para escolher um galho errado.
A Recuperação: Então, ele tinha que descobrir como subir de volta e encontrar o caminho certo.

Ao praticar esses cenários de "desvio e recuperação", o agente aprendeu que cometer um erro não é o fim do jogo; é apenas parte da pesquisa. Ele aprendeu que, se ficar preso, deve usar suas ferramentas de Zoom Out e Shift para se recuperar.

Os Resultados
Quando testaram este novo detetive em três desafios diferentes de resposta a perguntas de vídeo, os resultados foram impressionantes.

No teste CG-Bench, o VTS melhorou a capacidade de encontrar o intervalo de tempo correto em 12,5 pontos em comparação com o melhor método anterior.
No teste Haystack-Ego4D (que utiliza vídeos muito longos), ele melhorou em 7,4 pontos.
Mesmo em perguntas gerais de vídeo onde não era necessário encontrar o tempo exato, ele ainda superou outros métodos em até 7,1 pontos de precisão.

O artigo sugere que esta "busca hierárquica" (pesquisar em camadas) é o ingrediente secreto. Quando removeram a habilidade de Zoom Out ou Shift, o desempenho caiu significamente. Isso prova que a capacidade de retroceder é o que torna o sistema tão bom.

Por que Isso Importa
Os autores descobriram que o VTS não apenas adivinha; ele explora. Em média, leva cerca de 4,8 turnos (etapas) para resolver um problema, enquanto os métodos antigos geralmente desistiam após apenas 1 ou 2 turnos. O novo agente usa ativamente suas ferramentas de retrocesso em cerca de 60% de suas pesquisas. Não é apenas uma calculadora mais rápida; é um explorador mais inteligente que sabe admitir quando está errado e tentar uma rota diferente.

Em suma, este artigo mostra que tratar um vídeo longo como um mapa estruturado, em vez de uma lista plana de quadros, permite que os computadores resolvam perguntas complexas com uma precisão muito maior. Ao dar a eles as ferramentas para recuar e mudar de direção, ensinamos que eles podem ser muito melhores em encontrar a agulha no palheiro.

Resumo Técnico: VideoTreeSearch (VTS) para Grounded Long Video QA

1. Definição do Problema

O artigo aborda o Grounded Long Video Question Answering (Grounded LVQA), uma tarefa que exige que um modelo responda a uma pergunta sobre um vídeo longo enquanto localiza simultaneamente o intervalo temporal curto (evidência) que sustenta a resposta.

As abordagens agênticas atuais geralmente formulam isso como uma exploração de múltiplos turnos usando uma única ação contínua: crop_video(start, end). Os autores identificam duas deficiências estruturais críticas nesses métodos:

Espaço de Ação Assimétrico: Embora o recorte (cropping) estreite naturalmente a busca (do macro para o micro), ele carece de um primitivo para o retrocesso do micro para o macro (fine-to-coarse backtracking). Uma vez que um agente se compromete com uma região errada, ele não consegue se recuperar facilmente, levando à convergência prematura.
Espaço de Busca Plano: A regressão contínua de timestamps força o agente a localizar a evidência a partir de pixels brutos sem uma decomposição hierárquica do vídeo. Isso deixa o espaço de busca desorganizado e carente de prioridades semânticas sobre onde residem segmentos coerentes.

Consequentemente, métodos anteriores frequentemente falham em se recuperar de erros precoces e têm dificuldade com a localização precisa em vídeos longos, onde a evidência relevante ocupa uma fração ínfima da duração total.

2. Metodologia: VideoTreeSearch (VTS)

Os autores propõem o VideoTreeSearch (VTS), um framework que reformula o Grounded LVQA como uma busca iterativa e autocorretiva sobre uma árvore temporal adaptativa.

2.1 Construção da Árvore Temporal Adaptativa

Em vez de amostragem uniforme de frames, o VTS constrói uma árvore não uniforme onde os nós correspondem a segmentos de vídeo semanticamente coerentes.

Detecção de Fronteiras: A árvore é construída detectando mudanças de cena visual usando embeddings do CLIP. Para um determinado segmento, os frames são amostrados a 1 fps, e as distâncias de cosseno entre embeddings consecutivos são computadas. As fronteiras são colocadas onde a mudança visual excede um limiar adaptativo.
Estrutura: A raiz representa o vídeo inteiro. Os nós intermediários são segmentos de granularidade grossa (coarse-grained) e as folhas são candidatos de granularidade fina (fine-grained). Os filhos de um nó formam uma partição não sobreposta do intervalo do pai.
Materialização Preguiçosa (Lazy Materialization): A árvore é construída de forma preguiçosa durante a inferência; apenas a raiz e os filhos dos nós visitados são materializados para manter o espaço de navegação pequeno.

2.2 Espaço de Ação Baseado em Árvore

O agente navega pela árvore usando quatro operações discretas, separando explicitamente a exploração da autocorreção:

zoom_in(c): Desce para o $c$ -ésimo segmento filho (estreitamento do macro para o micro).
zoom_out(): Ascende ao nó pai (retrocesso do micro para o macro).
shift(s): Move-se lateralmente para o $s$ -ésimo irmão sob o mesmo pai.
answer(ŷ, [ts, te]): Termina a busca com uma resposta final e o intervalo de evidência localizado.

Este design transforma o retrocesso de um comportamento implícito e difícil em um primitivo explícito e aprendível.

2.3 Pipeline de Treinamento

O treinamento requer supervisão não apenas para caminhos corretos, mas também para a recuperação de erros, o que está ausente em datasets padrão. Os autores introduzem um pipeline de síntese de trajetórias:

Síntese: Um controlador gera trajetórias que incluem desvios deliberados para ramos incorretos seguidos de recuperação (usando zoom_out e shift).
Ajuste Fino Supervisionado (SFT): O agente é treinado para imitar essas trajetórias. Crucialmente, a perda (loss) é aplicada seletivamente: o modelo observa a sequência completa de "desvio-e-recuperação" como contexto, mas é supervisionado apenas nas jogadas desejáveis (zooms corretos, ações de recuperação e shifts). Erros intencionais na trajetória servem como contexto, mas são mascarados da perda.
Aprendizado por Reforço (RL): Após o SFT, a política é refinada usando GRPO com recompensas baseadas na precisão de grounding (Temporal IoU) e correção da resposta.

3. Principais Contribuições

Framework: Introdução do VTS, que trata o Grounded LVQA como uma busca hierárquica sobre uma árvore semântica em vez de regressão contínua.
Primitivos de Ação: A proposta de ações discretas de zoom_in, zoom_out e shift que permitem explicitamente o retrocesso e a autocorreção, abordando a assimetria dos métodos de recorte anteriores.
Estratégia de Treinamento: Um novo pipeline de síntese de trajetória que gera caminhos de "desvio-e-recuperação", permitindo que o agente aprenda padrões de recuperação que não estão presentes nos dados de ground-truth.
Validação Empírica: Demonstração de que a busca hierárquica explícita e o retrocesso são mecanismos centrais para melhorar o desempenho em tarefas de vídeo longo.

4. Resultados Experimentais

O VTS foi avaliado em três benchmarks de Grounded LVQA (CG-Bench, Haystack-LVBench, Haystack-Ego4D) e três benchmarks gerais de QA de vídeo longo (Video-MME, MLVU, LVBench).

Desempenho em Grounded LVQA

CG-Bench: O VTS alcançou 16.8 mIoU e 36.4% de acurácia, superando a base agêntica mais forte (LongVT) em +12.5 mIoU e +19.0 de acurácia.
Haystack-Ego4D: O VTS alcançou 18.4 T-F1 e 66.1% de acurácia, superando a melhor base em +7.4 T-F1.
Eficiência: Apesar do desempenho superior, o VTS processou menos frames em média (328) comparado às bases de amostragem uniforme (384) e agentes de captioner-LLM (450).

Transferência de QA de Vídeo Longo Geral

A política de navegação aprendida transferiu-se para tarefas de QA geral sem treinamento explícito de grounding:

O VTS superou todas as bases agênticas anteriores no Video-MME, MLVU e LVBench, com ganhos de até +7.1 pontos de acurácia no LVBench.

Estudos de Ablação

Retrocesso (Backtracking): Remover zoom_out e shift (sem retrocesso) degradou significativamente o desempenho em todas as métricas, confirmando que a autocorreção é crítica.
Árvore vs. Plano: Substituir a árvore hierárquica por uma árvore plana de segmentos uniformes degradou a acurácia do QA, demonstrando o valor da busca multiescala.
Síntese de Trajetória: Treinar em trajetórias de "desvio-e-recuperação" rendeu um desempenho significativamente maior (+6.4 mIoU) do que treinar apenas em trajetórias de caminho ótimo.

5. Significância e Alegações

O artigo afirma que estruturar a busca sobre um vídeo longo como uma árvore adaptativa é um viés indutivo útil para o raciocínio de vídeo de longo horizonte. A principal significância reside na mudança do paradigma de "regressão contínua" para "navegação discreta", o que:

Desacopla Exploração e Correção: Torna o retrocesso um comportamento explícito e aprendível, em vez de uma capacidade implícita e instável.
Alinha-se com a Semântica: Ao fundamentar a busca em fronteiras de cenas visuais, o modelo raciocina sobre unidades semanticamente coerentes em vez de timestamps arbitrários.
Permite a Recuperação: A capacidade de "desfazer" explicitamente um descenso errado permite que os agentes lidem com o alto custo de erros em vídeos longos, onde um único erro pode levar a uma perda irrecuperável de contexto.

Os autores concluem que, embora o VTS seja treinado primariamente para localização de evidências, a política de busca baseada em árvore generaliza-se efetivamente para tarefas mais amplas de compreensão de vídeo longo, sugerindo que o mecanismo de busca hierárquica e autocorretiva é amplamente benéfico para o raciocínio de vídeo.