VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting

O artigo apresenta o VisionCoach, um framework de aprendizado por reforço que utiliza prompts visuais seletivos durante o treinamento para melhorar o raciocínio temporal e espacial em vídeos, permitindo que o modelo internalize essa capacidade e realize inferências precisas em vídeos brutos sem a necessidade de ferramentas externas na fase de teste.

O essencial

Imagine que você está tentando ensinar um robô superinteligente a assistir a um filme e responder perguntas sobre ele, como: "De que cor é o carro que aparece depois que o helicóptero passa?"

O problema é que, muitas vezes, esses robôs (chamados de Modelos de Linguagem Multimodal) são como alunos que estudaram apenas o roteiro do filme, mas nunca assistiram de verdade. Eles tentam adivinhar a resposta baseados em palavras que costumam aparecer juntas, em vez de olhar para a tela. Isso leva a "alucinações" (inventar fatos) ou a não saber onde e quando exatamente algo aconteceu no vídeo.

Outras tentativas de consertar isso envolvem dar ao robô uma "lupa" ou uma "tesoura" para cortar o vídeo e dar zoom em partes específicas. Mas isso é lento, caro e cansa o computador, como se o robô precisasse parar a cada 5 segundos para chamar um assistente externo.

Aqui entra o VISIONCOACH (o "Treinador de Visão"), uma nova ideia da Universidade da Carolina do Norte.

A Analogia do Treinador Pessoal (Coach)

Pense no VISIONCOACH como um treinador pessoal que trabalha com o robô apenas durante os treinos, mas não durante a competição.

1. O Treino (Aprendizado com Dicas Visuais):
   Quando o robô está estudando e encontra uma pergunta difícil (um "exemplo difícil"), o treinador intervém. Ele não dá a resposta, mas coloca um destaque visual na tela.

   • Exemplo: Se o robô não consegue achar o helicóptero, o treinador pinta o fundo de preto, deixando apenas o helicóptero visível, ou desenha um círculo vermelho em volta dele.
   • Isso força o robô a olhar para a parte certa do vídeo e entender a relação entre o que ele vê e a pergunta.

2. O "Espelho Mágico" (Auto-Distilação):
   Aqui está a mágica. Depois que o robô vê a dica e acerta a resposta, o treinador diz: "Ótimo! Agora, tente fazer isso de novo, mas sem a minha ajuda".
   O robô tenta repetir o raciocínio que teve com a dica, mas sozinho. Se ele conseguir, o sistema reforça esse comportamento. É como se o robô internalizasse a lição: "Ah, quando vejo um helicóptero, devo olhar para aquela parte específica da tela, mesmo sem o círculo vermelho".

3. O Grande Truque (Escolhendo a Dica Certa):
   O sistema tem um "assistente" (o Visual Prompt Selector) que decide qual dica usar.

   • Para uma pergunta sobre tempo ("quando?"), ele pode colocar números nas cenas.
   • Para uma pergunta sobre cor ("de que cor?"), ele pode escurecer o resto da imagem.
   • Ele não usa a mesma dica para tudo; ele escolhe a ferramenta certa para o problema difícil.

O Resultado: Um Atleta de Elite

Depois de muito treino com essas dicas visuais e repetições, o robô aprende a "ver" o vídeo corretamente.

• Na Competição (Inferência): Quando o robô vai responder a uma pergunta real, ele não precisa mais das dicas visuais, nem de lupas externas, nem de cortar o vídeo. Ele olha para o vídeo cru, de uma só vez, e responde com precisão, lembrando-se de onde e quando os objetos estavam.
• Vantagem: É muito mais rápido e barato do que os métodos anteriores que usavam ferramentas externas, mas é tão inteligente quanto os modelos que usam essas ferramentas.

Resumo em Metáforas

• Modelos Antigos (Texto-Cêntricos): Como um aluno que decora a resposta da prova sem entender a matéria.
• Modelos com Ferramentas Externas: Como um aluno que precisa de um professor particular para cada exercício difícil, o que é lento e caro.
• VISIONCOACH: Como um atleta que faz um treino intenso com um personal trainer usando equipamentos especiais (dicas visuais). No dia da corrida, o atleta corre sozinho, mas seu corpo e mente já aprenderam a técnica perfeita durante o treino.

Conclusão: O VISIONCOACH ensina a IA a "olhar" de verdade para o vídeo durante o aprendizado, usando dicas visuais inteligentes apenas no treino, para que ela se torne um especialista autônomo e rápido na hora de responder perguntas sobre vídeos.

Resumo técnico

1. O Problema

O raciocínio em vídeos exige que os modelos localizem e rastreiem evidências relevantes ao longo do tempo e do espaço (fundamentação espaço-temporal). Embora o Aprendizado por Reforço (RL) com recompensas verificáveis tenha melhorado a precisão, os modelos atuais ainda enfrentam desafios significativos:

• Alucinações e Falta de Fundamentação: Modelos centrados em texto frequentemente geram explicações baseadas em priores linguísticos em vez de observações visuais fiéis, resultando em "alucinações" (ex: inventar objetos que não existem).
• Custos de Inferência: Abordagens que utilizam ferramentas visuais externas (como recortes de vídeo ou zoom) para melhorar a fundamentação introduzem uma sobrecarga computacional significativa durante a inferência, devido à chamada repetida de ferramentas e processamento multi-estágio.
• Dependência de Dados e Ferramentas: Melhorar a fundamentação geralmente requer escalonamento massivo de dados de treinamento (com anotações densas e caras) ou intervenção de ferramentas no momento da inferência, o que não é escalável ou eficiente.

O objetivo central é desenvolver um modelo que aprenda a raciocinar de forma fundamentada durante o treinamento, mas que possa realizar essa tarefa diretamente em vídeos brutos durante a inferência, sem depender de ferramentas externas ou prompts visuais.

---

2. Metodologia: VISIONCOACH

O VISIONCOACH é um framework de Aprendizado por Reforço (RL) adaptativo a entradas que utiliza prompts visuais como orientação durante o treinamento para internalizar comportamentos de fundamentação. O sistema opera em duas fases principais: treinamento guiado e inferência unificada.

Componentes Principais:

1. Visual Prompt Selector (VP-SELECTOR):

   • É um módulo leve (baseado em VLM com LoRA) que prevê o tipo de prompt visual mais adequado para uma entrada específica (vídeo + pergunta).
   • Treinamento: Utiliza "reasoners proxy" (modelos grandes como GPT-4o, Gemini) para gerar dados de treinamento. Para cada par (vídeo, pergunta), são aplicados vários prompts candidatos (ex: círculo vermelho, escurecimento de fundo, numeração de quadros). O proxy avalia qual prompt gera a melhor fundamentação e resposta, criando um conjunto de dados para treinar o VP-SELECTOR via Supervised Fine-Tuning (SFT).
   • Função: Durante o RL, ele seleciona dinamicamente o prompt ideal para amostras difíceis ("hard samples").

2. Spatio-Temporal Reasoner (ST-REASONER):

   • É o modelo principal que realiza o raciocínio. É otimizado usando o algoritmo GSPO (Group Sequence Policy Optimization).
   • Treinamento com RL:
     • Para amostras difíceis (identificadas por recompensas iniciais baixas), o VP-SELECTOR aplica um prompt visual ao vídeo.
     • O modelo gera trajetórias de raciocínio com e sem o prompt.
     • Auto-Distilação (Self-Distillation): Se o prompt visual resultar em trajetórias de raciocínio com recompensas mais altas, essas trajetórias são usadas para treinar o modelo via distilação. O objetivo é fazer com que o modelo "internalize" o comportamento de fundamentação induzido pelo prompt, de modo que, na inferência, ele não precise mais do prompt.

Design de Recompensa (Reward Design):

O sistema introduz uma nova Recompensa de Fundamentação Espacial Consciente de Objetos (Object-Aware Spatial Grounding Reward), que vai além da simples precisão da resposta:

• Consistência de Identidade do Objeto: Garante que o objeto nomeado no raciocínio corresponda ao objeto na caixa delimitadora (bounding box).
• Múltiplas Caixas e IoU: Em vez de recompensar apenas a caixa com o maior IoU (Interseção sobre União), a recompensa considera a média de IoU de múltiplas caixas previstas, incentivando a fundamentação de vários objetos relevantes.
• Gating Temporal: A recompensa espacial só é calculada se a localização temporal estiver dentro de uma tolerância definida.

---

3. Principais Contribuições

1. Framework RL Adaptativo: Propõe um framework que usa prompts visuais apenas durante o treinamento para guiar a fundamentação espaço-temporal, permitindo que o modelo aprenda a raciocinar corretamente sem prompts na fase de inferência.
2. Auto-Distilação para Internalização: Utiliza a auto-distilação para transferir o conhecimento de fundamentação obtido com prompts visuais para o modelo final, eliminando a necessidade de ferramentas externas na inferência.
3. Recompensa de Fundamentação Espacial Consciente de Objetos: Introduz uma função de recompensa que força a consistência entre a identidade do objeto e sua localização espacial, além de incentivar a fundamentação de múltiplos objetos.
4. Seleção Adaptativa de Prompts: Desenvolve um seletor (VP-SELECTOR) que aprende a escolher o tipo de ajuda visual (ex: escurecer fundo vs. destacar objeto) mais eficaz para cada caso difícil.

---

4. Resultados Experimentais

O VISIONCOACH foi avaliado em diversos benchmarks de raciocínio em vídeo, compreensão e fundamentação temporal:

• V-STAR (Raciocínio Espaço-Temporal):

  • O modelo alcançou desempenho State-of-the-Art (SOTA), superando modelos proprietários como o GPT-4o e o Gemini-2.
  • Em comparação com a base Qwen2.5-VL-7B, houve uma melhoria de +15.0% em mAM (Média Aritmética) e +25.1% em mLGM (Média Geométrica Logarítmica).
  • Melhorias significativas foram observadas na precisão da resposta, localização temporal e fundamentação espacial.

• Benchmarks Gerais de Compreensão de Vídeo (VideoMME, WorldSense, VideoMMMU, PerceptionTest):

  • O modelo superou consistentemente outros modelos de vídeo (VideoLLMs) de código aberto e abordagens baseadas em ferramentas, mantendo-se totalmente livre de ferramentas (tool-free) na inferência.
  • Destaque especial em categorias orientadas à percepção (ex: reconhecimento e percepção).

• Fundamentação Temporal (Charades-STA):

  • Superou todos os métodos concorrentes, incluindo modelos especializados em fundamentação temporal, demonstrando que o guia de prompt visual facilita o aprendizado de limites temporais precisos.

• Eficiência:

  • Ao contrário das abordagens baseadas em ferramentas que exigem múltiplas passagens e chamadas externas, o VISIONCOACH mantém um único caminho de inferência (single forward pass), resultando em latência significativamente menor.

---

5. Significado e Impacto

O trabalho VISIONCOACH representa um avanço crucial na área de raciocínio multimodal em vídeo ao resolver o dilema entre precisão de fundamentação e eficiência de inferência.

• Mudança de Paradigma: Em vez de depender de anotações massivas ou ferramentas externas pesadas durante a inferência, o método demonstra que é possível "ensinar" o modelo a ver e raciocinar corretamente através de orientação visual temporária durante o treinamento.
• Robustez: A capacidade de internalizar a fundamentação reduz as alucinações e melhora a confiança do modelo em tarefas complexas que exigem rastreamento de objetos e eventos ao longo do tempo.
• Escalabilidade: A abordagem de auto-distilação e seleção adaptativa de prompts oferece um caminho escalável para melhorar modelos de vídeo sem aumentar o custo computacional na fase de uso final, tornando a tecnologia mais viável para aplicações do mundo real.

Em resumo, o VISIONCOACH estabelece um novo padrão para modelos de vídeo que precisam ser precisos, fundamentados visualmente e eficientes, provando que a "coaching" visual durante o treinamento pode transformar permanentemente a capacidade de percepção do modelo.