🤖 AI

VideoThinker: Building Agentic VideoLLMs with LLM-Guided Tool Reasoning

O artigo apresenta o VideoThinker, um modelo de linguagem para vídeo agêntico treinado exclusivamente em trajetórias de interação com ferramentas sintéticas geradas a partir de legendas, que supera os desafios da compreensão de vídeos longos ao permitir uma exploração temporal adaptativa e o uso de ferramentas como recuperação e zoom, sem depender de dados de compreensão de vídeo de longo prazo pré-existentes.

Autores originais: Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

Publicado 2026-04-21

📖 4 min de leitura☕ Leitura rápida

CC0 1.0

Autores originais: Chenglin Li, Qianglong Chen, Feng Han, Yikun Wang, Xingxi Yin, Yan Gong, Ruilin Li, Yin Zhang, Jiaqi Wang

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você precisa encontrar uma informação específica em um filme de 3 horas de duração. Se você apenas "olhar" para o filme de forma aleatória, pulando de um minuto para outro (como se estivesse vendo apenas 10 fotos do filme inteiro), provavelmente vai perder os detalhes importantes. É assim que a maioria dos modelos de Inteligência Artificial atuais tenta entender vídeos longos: eles dão uma olhada superficial e perdem o contexto.

O VideoThinker, descrito neste artigo, é como um detetive superinteligente que não apenas olha para o filme, mas sabe exatamente como investigar.

Aqui está a explicação simplificada de como ele funciona:

1. O Problema: O "Pulo do Gato" que falha

Os modelos antigos de IA para vídeos são como alguém tentando adivinhar o final de um livro lendo apenas 5 páginas aleatórias. Eles perdem a linha do tempo e esquecem detalhes cruciais que acontecem no meio da história.

2. A Solução: O Detetive com Ferramentas

O VideoThinker não tenta "adivinhar" tudo de uma vez. Em vez disso, ele usa ferramentas para investigar, exatamente como um humano faria:

A Ferramenta de "Busca" (Retrieval): Se você perguntar "O que a mulher de chapéu rosa está vestindo?", o VideoThinker não olha para todo o vídeo. Ele usa uma ferramenta para ler as legendas (ou ouvir o áudio) e diz: "Ah, a legenda sobre a mulher de chapéu rosa aparece aos 5 minutos e 30 segundos!". Isso é como usar o índice de um livro para ir direto ao capítulo certo.
A Ferramenta de "Zoom" (Zoom): Uma vez que ele sabe quando olhar, ele usa o "Zoom". Ele pega apenas os segundos ao redor daquele momento e analisa os detalhes da imagem, como se estivesse aproximando a lente da câmera para ver a cor da roupa.

3. O Truque Mágico: Aprender sem "ver" o vídeo primeiro

Aqui está a parte mais inteligente e criativa do artigo. Para ensinar esse detetive a funcionar, os pesquisadores enfrentaram um problema: eles precisavam de um modelo inteligente para criar os dados de treinamento, mas não tinham um modelo inteligente o suficiente para criar os dados!

A solução deles foi usar "Tradutores":

Eles pegaram vídeos longos e os transformaram em textos descritivos (legendas ricas).
Eles usaram um modelo de linguagem (um "cérebro" de texto) muito poderoso para simular o raciocínio do detetive. Esse cérebro de texto "pensou": "Vou buscar a legenda, vou zoomar na parte 00:05, vou analisar...".
Depois, eles pegaram esse raciocínio feito em texto e o traduziram de volta para o vídeo real. Onde o texto dizia "legenda da parte 00:05", eles colocaram os quadros reais do vídeo.

É como se você ensinasse um aluno a dirigir usando um simulador de texto ("vire à esquerda na árvore"), e depois, quando ele fosse para a estrada real, você trocou o texto pela árvore de verdade. O aluno aprendeu a lógica da direção sem precisar ter dirigido um carro antes.

4. O Resultado: Confiança e Precisão

O VideoThinker tem um "termômetro de confiança".

Se ele vê o vídeo e acha que a resposta é fácil e óbvia, ele responde rápido (como você respondendo "Qual é o céu?" sem pensar).
Se ele não tem certeza (confiança baixa), ele para e usa as ferramentas. Ele busca, faz zoom e investiga antes de responder.

Resumo em uma Analogia

Imagine que os modelos antigos são como alguém que tenta memorizar um mapa de uma cidade inteira olhando para ele por 1 segundo. O VideoThinker é como um turista com um GPS e uma lente de aumento:

Ele usa o GPS (ferramenta de busca) para encontrar o bairro certo.
Ele usa a lente (ferramenta de zoom) para ver a placa da rua.
Só então ele responde onde você está.

Por que isso importa?
O VideoThinker consegue entender filmes inteiros, documentários longos e vídeos de vigilância com muito mais precisão do que os modelos atuais, sem precisar de computadores superpotentes. Ele aprendeu a "pensar com vídeos" usando ferramentas, transformando a maneira como as máquinas entendem o mundo em movimento.

1. O Problema

A compreensão de vídeos longos (long-form video understanding) permanece um desafio fundamental para os atuais Modelos de Linguagem Visual de Vídeo (VideoLLMs). As abordagens existentes geralmente dependem de:

Raciocínio estático sobre quadros uniformemente amostrados: Isso resulta em perda significativa de informações temporais e localização temporal imprecisa, especialmente em vídeos de longa duração onde evidências visuais relevantes são esparsas.
Custo computacional: Processar centenas de quadros de vídeos longos é oneroso.
Dependência circular de dados: Construir dados de treinamento para agentes de vídeo (que usam ferramentas para explorar o vídeo) exige modelos que já possuam forte compreensão de vídeos longos, criando um ciclo vicioso.
Limitações de agentes de linguagem puros: Modelos de linguagem (LLMs) que usam ferramentas para vídeos muitas vezes tratam o VideoLLM apenas como um gerador passivo de legendas, sem permitir que o agente perceba diretamente as informações visuais.

2. Metodologia: VideoThinker

O VideoThinker é um VideoLLM agêntico projetado para superar essas limitações através de um raciocínio dinâmico e adaptativo, guiado por ferramentas. A abordagem é dividida em três etapas principais:

A. Design de Ferramentas (Tools Design)

O sistema introduz duas categorias de ferramentas complementares para exploração adaptativa:

Recuperação Temporal (Temporal Retrieval): Identifica intervalos de tempo candidatos que contêm informações relevantes.
- Clip Retrieval: Recupera clipes semânticos relevantes.
- Subtitle Retrieval: Recupera segmentos de legendas/transcrições.
- Subtitle Summary: Gera resumos de alto nível baseados em legendas.
Zoom Temporal (Temporal Zoom): Inspecciona intervalos com granularidade mais fina.
- Frame Zoom: Extrai quadros brutos de um intervalo específico.
- Subtitle Zoom: Extrai legendas de um intervalo.
- Caption Zoom: Gera legendas textuais de quadros (usado na síntese de dados).

B. Síntese de Dados com LLMs Agênticos (Data Synthesis)

Para resolver a dependência circular, os autores não usam um VideoLLM existente para gerar dados de treinamento complexos. Em vez disso:

Convertem vídeos em legendas ricas (textuais).
Utilizam um LLM agêntico poderoso (como o Qwen3) para gerar trajetórias de raciocínio multi-etapa no espaço das legendas. O LLM simula o uso de ferramentas (ex: "usar CaptionZoom para ver o que acontece entre 0s e 8s").
Essas trajetórias são "ancoradas" de volta ao vídeo: as legendas geradas são substituídas pelos quadros de vídeo reais correspondentes.
O resultado é um conjunto de dados em grande escala de raciocínio intercalado (vídeo-ferramenta) sem exigir que o VideoLLM subjacente tenha compreensão prévia de vídeos longos.

C. Treinamento e Raciocínio Adaptativo

Treinamento: O VideoLLM é ajustado (fine-tuned) neste conjunto de dados sintéticos. Ele aprende a alternar entre o raciocínio direto e o uso de ferramentas, internalizando padrões de raciocínio estruturado baseados em evidências visuais.
Raciocínio Adaptativo (Confidence-Gated): Durante a inferência, o modelo primeiro tenta responder diretamente com uma pontuação de confiança. Se a confiança for baixa (abaixo de um limiar $\tau$ ), o modelo ativa automaticamente o processo de raciocínio assistido por ferramentas (recuperando clipes e fazendo zoom) para refinar a resposta.

3. Principais Contribuições

Construção de um Dataset Sintético Agêntico: Criaram um dataset de alta qualidade de raciocínio vídeo-ferramenta guiado por LLMs, capturando comportamentos essenciais de recuperação e zoom temporal.
VideoThinker: Um modelo único (end-to-end) que integra planejamento agêntico e percepção visual, eliminando a necessidade de pipelines complexos que separam o LLM do VideoLLM.
Mecanismo de Zoom e Recuperação Adaptativa: Demonstram que o uso combinado de Temporal Retrieval e Temporal Zoom permite uma exploração eficiente de vídeos longos, superando a perda de informação.

4. Resultados Experimentais

O modelo foi avaliado em quatro benchmarks de vídeos longos: MLVU, LVBench, VideoMME (subset longo) e LongVideoBench.

Desempenho Geral: O VideoThinker (baseado em Qwen2.5-VL-7B) superou consistentemente modelos open-source de ponta (como Qwen2.5-VL-72B) e foi competitivo com modelos closed-source (GPT-4o, Gemini-1.5-Pro).
- MLVU: 54.8% (vs. 48.0% do Qwen2.5VL-7B).
- LVBench: 48.9% (vs. 38.3% do Qwen2.5VL-7B).
- LongVideoBench: 59.7%.
Eficiência: O VideoThinker é um único modelo de 7B parâmetros, enquanto abordagens concorrentes (como VideoExplorer) frequentemente acoplam um LLM grande externo a um VideoLLM, tornando-se menos eficientes.
Análise de Duração: O ganho de desempenho é mais pronunciado em vídeos longos (>15 minutos), onde o modelo supera a base em até 5.6 pontos percentuais, demonstrando sua capacidade de lidar com dependências temporais estendidas.
Ablação: Ajustes no limiar de confiança ( $\tau$ ) e no número de quadros amostrados ( $n$ ) mostraram que o raciocínio adaptativo (usar ferramentas apenas quando necessário) oferece o melhor equilíbrio entre precisão e custo computacional.

5. Significância

O trabalho do VideoThinker é significativo porque:

Quebra o ciclo de dependência de dados: Permite treinar VideoLLMs agênticos sem precisar de um "super-VideoLLM" pré-existente para gerar os dados de treinamento.
Unifica Percepção e Raciocínio: Eleva o VideoLLM de uma ferramenta passiva (geradora de legendas) para o núcleo de raciocínio, permitindo que ele "pense com vídeos" de forma intercalada, similar a como humanos revisam partes específicas de um vídeo.
Escalabilidade: Oferece uma arquitetura leve e eficiente para a compreensão de vídeos longos, provando que o raciocínio adaptativo com ferramentas é superior ao processamento estático de quadros para tarefas complexas de longo prazo.

Em resumo, o VideoThinker estabelece um novo paradigma para a compreensão de vídeos longos, demonstrando que a síntese de dados guiada por LLMs combinada com ferramentas de recuperação e zoom temporal permite que modelos menores alcancem desempenho de nível de estado da arte.