Think with Grounding: Curriculum Reinforced Reasoning with Video Grounding for Long Video Understanding

O artigo apresenta o Video-TwG, um framework de aprendizado por reforço com currículo que introduz o paradigma "pensar com fundamentação" para permitir que modelos de linguagem de vídeo realizem fundamentação sob demanda em clipes específicos durante o raciocínio, superando assim as alucinações e a redundância temporal comuns na compreensão de vídeos longos.

O essencial

Imagine que você está tentando responder a uma pergunta sobre um filme de 3 horas, mas você só tem permissão para olhar para 5 quadros aleatórios desse filme. É quase impossível acertar, certo? Você pode até tentar adivinhar com base no que "acha" que aconteceu, mas provavelmente vai inventar coisas que não existem (isso é o que os cientistas chamam de "alucinação").

É exatamente esse o problema que o novo sistema Video-TwG (de pesquisadores da Universidade Tsinghua) resolve. Eles criaram um "super detetive" de vídeos longos que não apenas lê o roteiro, mas sabe exatamente quando e onde olhar nos detalhes.

Aqui está a explicação do funcionamento deles, usando analogias do dia a dia:

1. O Problema: O Detetive Cego

Os modelos de inteligência artificial atuais, quando analisam vídeos longos, geralmente recebem uma versão "resumida" e borrada do vídeo inteiro. É como tentar achar uma agulha em um palheiro olhando apenas uma foto desfocada do palheiro.

• O que acontece: O modelo tenta adivinhar a resposta baseando-se apenas no que tem. Se a informação crucial (como a cor de uma ferramenta específica) não estiver na foto borrada, o modelo inventa uma resposta.
• No exemplo do artigo: O modelo antigo viu um homem com uma ferramenta e, como não viu bem, inventou que era laranja. A resposta certa era azul.

2. A Solução: O "Zoom Inteligente" (Think-with-Grounding)

O Video-TwG funciona como um detetive que tem um botão de zoom na mão.

• O Processo:
  1. O modelo olha para o vídeo inteiro de longe (como uma visão geral).
  2. Ele pensa: "Hmm, não consigo ver bem a ferramenta aqui. Preciso de mais detalhes."
  3. Em vez de chutar, ele para, escolhe exatamente o trecho do vídeo onde a ferramenta aparece e dá um zoom (grounding) nessa parte específica.
  4. Agora, com a imagem nítida e em alta definição desse pequeno trecho, ele responde: "Ah, agora vejo! É azul!"

Isso é chamado de "Pensar com Ancoragem". O modelo decide ativamente quando precisa de mais informações, em vez de tentar adivinhar com o que tem.

3. Como eles ensinaram isso? (A Estratégia do Currículo)

Ensinar uma IA a fazer isso do zero é difícil. Imagine tentar ensinar uma criança a dirigir em uma pista de F1 sem nunca ter visto um carro. Eles usaram uma estratégia de dois estágios, como um currículo escolar:

• Estágio 1 (Escola Primária): Começaram com vídeos curtos e fáceis, onde já sabiam exatamente onde estava a resposta (vídeos de 20 segundos). A IA aprendeu a regra básica: "Se não souber, dê zoom".
• Estágio 2 (Universidade): Depois que a IA aprendeu a lógica, eles a jogaram em vídeos longos, complexos e de vários temas (notícias, vlogs, filmes), onde não havia um "mapa" de onde estava a resposta. A IA teve que generalizar o que aprendeu e decidir sozinha quando era necessário dar o zoom.

4. O Treinador Inteligente (Recompensas)

Para treinar esse sistema, eles criaram um algoritmo especial (TwG-GRPO) que funciona como um treinador de esportes muito esperto:

• Recompensa por Precisão: Se a resposta final estiver certa, o modelo ganha pontos.
• Recompensa por "Não Perder Tempo": O modelo aprendeu que dar zoom em tudo é cansativo e inútil. Se ele consegue responder sem dar zoom, é ótimo. Se precisa dar zoom, ele deve dar no lugar certo.
• O "Auto-Cheque": Para vídeos onde não sabiam a resposta certa de antemão, o sistema usou uma técnica genial: ele perguntava a si mesmo: "Se eu olhar apenas esse trecho que selecionei, consigo responder a pergunta?". Se a resposta fosse sim, ele recebia um ponto extra. Isso ensinou o modelo a ser seletivo e não dar zoom à toa.

5. O Resultado

Os testes mostraram que esse "detetive com zoom" é muito melhor do que os modelos atuais:

• Ele acerta mais perguntas em vídeos longos.
• Ele comete menos erros de alucinação (invenção).
• Ele é mais eficiente, dando zoom apenas quando realmente necessário.

Em resumo: O Video-TwG não tenta "ler" todo o livro de uma vez só. Ele lê o índice, identifica a página importante, abre o livro naquela página específica e só então responde. Isso torna a inteligência artificial muito mais precisa e confiável para entender vídeos longos e complexos.

Resumo técnico

Título: Think with Grounding: Raciocínio Reforçado por Currículo com Ancoragem de Vídeo para Compreensão de Vídeos Longos

1. O Problema

A compreensão de vídeos longos (LVU - Long Video Understanding) é um desafio significativo devido à riqueza e complexidade das pistas multimodais distribuídas ao longo de longos intervalos temporais.

• Limitações Atuais: Métodos existentes frequentemente utilizam raciocínio baseado apenas em texto (text-only reasoning) sob um contexto de vídeo fixo e pré-definido.
• Alucinações e Redundância: Devido à redundância temporal dos vídeos longos, apenas alguns momentos esparsos são relevantes para responder a uma pergunta específica. Modelos que não conseguem focar nesses momentos específicos tendem a ignorar pistas cruciais, levando a alucinações (respostas incorretas geradas com confiança) e resultados subótimos.
• Necessidade: Há uma lacuna na capacidade dos modelos atuais de decidir dinamicamente quando e onde buscar informações detalhadas no vídeo durante o processo de raciocínio.

2. Metodologia: Video-TwG

Os autores propõem o Video-TwG, um framework reforçado por currículo que introduz um novo paradigma: "Think-with-Grounding" (Pensar com Ancoragem).

Conceito Central

Em vez de raciocinar passivamente sobre um contexto de vídeo estático, o modelo de LLM de vídeo aprende a interagir iterativamente com o vídeo:

1. Pensamento: O modelo analisa o contexto atual.
2. Decisão: Decide se precisa de mais informações.
3. Ação de Ancoragem (Grounding): Se necessário, o modelo executa uma ação para "dar zoom" em um clipe específico do vídeo (definido por frames de início e fim) que contém as pistas relevantes.
4. Raciocínio Contínuo: O clipe ancorado é processado com alta granularidade e adicionado ao contexto para continuar o raciocínio até chegar à resposta final.

Estrutura do Framework

• Representação Multigranular:
  • Entrada Inicial: Vídeo representado de forma granular grossa (poucos frames, poucos tokens por frame) para visão global.
  • Vídeo Ancorado: Cliques selecionados são representados de forma granular fina (mais frames, mais tokens) para obter detalhes.
• Dataset TwG-51K: Para treinar o modelo, os autores construíram um novo dataset contendo 50.744 amostras:
  • ~8.000 amostras com anotações de Grounded Question Answering (GQA) (vídeos curtos com rótulos de ancoragem).
  • ~42.000 amostras de QA geral sem anotações de ancoragem (para generalização).

Estratégia de Treinamento: Currículo Reforçado em Duas Etapas

Para reduzir a dificuldade de treinamento e evitar a necessidade de trilhas de raciocínio supervisionadas complexas, utilizam-se duas etapas:

1. Etapa 1 (Cold Start): Treinamento em dados de vídeos curtos (GQA) com rótulos de ancoragem. O objetivo é ensinar o modelo a seguir o padrão "pensar com ancoragem" e identificar cliques corretos.
2. Etapa 2 (Generalização): Treinamento no dataset completo (incluindo dados não rotulados de diversos domínios e durações) para generalizar a capacidade de ancoragem adaptativa.

Algoritmo TwG-GRPO

Baseado no Group Relative Policy Optimization (GRPO), o algoritmo foi adaptado para lidar com trajetórias de múltiplas voltas (turnos) e dados não rotulados:

• Recompensas de Precisão e Formato: Garantem que a resposta final esteja correta e que o formato de saída (pensamento, ancoragem, resposta) seja seguido.
• Recompensa de Ancoragem Granular (Fine-grained Grounding Reward): Usada em dados rotulados, baseada na interseção sobre união (IoU) entre a ancoragem prevista e a verdade fundamental.
• Recompensa Pseudo Auto-confirmada (Self-Confirmed Pseudo Reward): Para dados sem rótulos, o modelo é solicitado a responder à pergunta usando apenas o clipe ancorado. Se conseguir acertar, a ancoragem é considerada de alta qualidade. Isso incentiva o modelo a escolher cliques realmente úteis.
• Mecanismo de Portão de Precisão (Accuracy-Gated Mechanism): As recompensas relacionadas à ancoragem são aplicadas apenas se a resposta final estiver correta, evitando conflitos de otimização entre acertar a resposta e fazer a ancoragem.

3. Principais Contribuições

1. Paradigma Think-with-Grounding: Um framework que permite que LLMs de vídeo decidam ativamente quando realizar ancoragem sob demanda durante o raciocínio, eliminando a dependência de módulos auxiliares complexos.
2. Estratégia de Currículo Reforçado em Duas Etapas: Uma abordagem de treinamento que começa com dados rotulados simples e escala para dados gerais não rotulados, facilitando o aprendizado.
3. Algoritmo TwG-GRPO: Um algoritmo de aprendizado por reforço inovador que combina recompensas de ancoragem granular, recompensas pseudo auto-confirmadas e mecanismos de controle de precisão para otimizar simultaneamente a correção da resposta e a qualidade da ancoragem.
4. Dataset TwG-51K: Um novo recurso de dados que combina dados rotulados e não rotulados para suportar o treinamento escalável.

4. Resultados Experimentais

O modelo foi avaliado em três benchmarks principais de compreensão de vídeos longos: Video-MME, LongVideoBench e MLVU.

• Desempenho Superior: O Video-TwG superou consistentemente bases fortes, incluindo modelos de contexto longo (LongVA, Long-LLaVA), sistemas de agentes (VideoAgent, VideoTree) e modelos de raciocínio recentes (Video-R1).
• Comparação com Qwen2.5-VL-7B:
  • Na configuração de baixa resolução (LR), o Video-TwG obteve ganhos de 7.0, 5.3 e 7.1 pontos percentuais nos benchmarks Video-MME, LongVideoBench e MLVU, respectivamente, em comparação com o modelo base.
  • Na configuração de alta resolução (HR), os ganhos foram de 2.5, 3.9 e 5.0.
• Eficiência e Redundância: O estudo de ablação mostrou que a recompensa pseudo auto-confirmada reduziu as ações de ancoragem redundantes em 15.7% sem sacrificar o desempenho na resposta, indicando que o modelo aprendeu a ser mais seletivo.
• Estudo de Caso: Em exemplos qualitativos, enquanto modelos concorrentes (como Video-R1) alucinavam cores incorretas baseadas em contexto fixo, o Video-TwG identificou a incerteza inicial, realizou uma ancoragem no momento correto do vídeo e respondeu corretamente.

5. Significado e Impacto

Este trabalho representa um avanço significativo na compreensão de vídeos longos ao demonstrar que a percepção ativa (decidir quando olhar mais de perto) é tão crucial quanto o raciocínio lógico.

• Superação de Limitações de Contexto: Resolve o problema de alucinações em vídeos longos ao permitir que o modelo "recupere" informações detalhadas sob demanda, similar a sistemas de RAG (Retrieval-Augmented Generation), mas integrado nativamente ao processo de raciocínio do LLM.
• Escalabilidade: A abordagem não depende de anotações massivas de trilhas de raciocínio, tornando-a mais viável para escalar para grandes volumes de dados não rotulados.
• Aplicabilidade Prática: O modelo demonstra ser eficaz tanto em cenários com recursos computacionais limitados (baixa resolução) quanto em cenários de alta fidelidade, tornando-o promissor para aplicações do mundo real como análise de filmes, notícias e vídeos instrucionais.

Em resumo, o Video-TwG estabelece um novo estado da arte ao integrar dinamicamente a busca por evidências visuais no processo de raciocínio de LLMs, superando as limitações dos métodos estáticos atuais.