VR-Thinker: Boosting Video Reward Models through Thinking-with-Image Reasoning

, , `) para:
* Criar snapshots (resumos linguísticos) das evidências visuais, comprimindo milhares de tokens visuais em dezenas de tokens de texto.
* Emitir recomendações intermediárias com níveis de confiança antes da decisão final.

Pipeline de Treinamento (3 Estágios):

1. Cold Start (Início Frio): Utiliza dados de CoT visual curados (gerados por modelos potentes como GPT-4o) para ensinar ao modelo o formato de raciocínio e a sintaxe correta de chamada de ferramentas.
2. Rejection Sampling Fine-Tuning (Ajuste Fino por Rejeição): O modelo gera múltiplas amostras de CoT em grandes conjuntos de dados. Apenas as amostras onde todas as julgamentos (por dimensão e geral) estão corretos são retidos para um novo ajuste supervisionado (SFT). Isso elimina amostras de baixa qualidade e reforça o raciocínio preciso.
3. Otimização de Política Relativa em Grupo (GRPO): Aplica-se RL (Reinforcement Learning) com uma função de recompensa baseada em regras. A recompensa não avalia apenas a resposta final, mas também:
   • Recompensa de Formato e Precisão: Verifica a estrutura e a correção dos julgamentos por dimensão.
   • Recompensa de Ganho de CoT: Incentiva o modelo a melhorar sua precisão à medida que adiciona novas evidências visuais.
   • Incentivo Exploratório: Força o modelo a realizar raciocínio multimodal (usando ferramentas visuais) em vez de depender apenas do raciocínio textual, evitando que o modelo "pule" etapas visuais.

3. Principais Contribuições

• Primeiro RM Multimodal com Raciocínio Visual: O VR-Thinker supera a limitação de processamento estático de quadros, permitindo que o modelo "olhe" novamente para o vídeo quando necessário.
• Framework Thinking-with-Image: Introduz operações ativas de seleção de quadros e memória visual configurável, resolvendo o problema de perda de detalhes em vídeos longos sem explodir o custo computacional de contexto.
• Pipeline de Treinamento Híbrido: Combina SFT de alta qualidade (via rejeição de amostras erradas) com RL (GRPO) para otimizar não apenas a resposta final, mas a qualidade do processo de raciocínio e a exploração de evidências visuais.

4. Resultados

O VR-Thinker (baseado no Qwen2.5-VL-7B) alcançou o estado da arte (SOTA) entre modelos de código aberto em benchmarks de preferência de vídeo:

• VideoGen Reward: 80,5% de precisão.
• GenAI-Bench: 82,3% de precisão.
• MJ-Bench-Video: 75,6% de precisão.

Análise de Desempenho:

• Vídeos Longos e Complexos: O modelo demonstrou uma queda de precisão significativamente menor em subconjuntos de vídeos longos e prompts complexos em comparação com modelos baselines (como UnifiedReward e LiFT), provando sua eficácia em cenários onde a amostragem inicial de quadros é insuficiente.
• Eficiência: Embora o processo de raciocínio seja mais longo, o uso de memória de janela permite que o modelo mantenha um footprint de memória (VRAM) estável, suportando maior concorrência e throughput em GPUs comparado a modelos que tentam carregar todos os quadros de vídeos longos de uma vez.

5. Significado e Impacto

O trabalho do VR-Thinker representa um avanço significativo na avaliação e alinhamento de modelos de geração de vídeo. Ao permitir que o modelo de recompensa atue como um "investigador" ativo, capaz de buscar evidências visuais sob demanda, o método:

• Aumenta a fidelidade e a confiabilidade dos sinais de recompensa, essenciais para o treinamento de modelos generativos de alta qualidade.
• Resolve o dilema entre contexto limitado e detalhes finos, oferecendo uma solução escalável para vídeos longos.
• Estabelece um novo padrão para modelos de recompensa multimodais, demonstrando que o raciocínio visual ativo é superior ao raciocínio puramente textual ou à análise estática de quadros.

Em resumo, o VR-Thinker transforma o modelo de recompensa de um classificador passivo em um agente de raciocínio ativo, capaz de entender nuances complexas em vídeos longos através de uma interação dinâmica e iterativa com o conteúdo visual.