Resumo Técnico: Modelagem de Recompensa para Compreensão de Vídeo

Declaração do Problema

Apesar dos avanços significativos na modelagem de recompensa multimodal (MRMs) para os domínios de texto e imagem, o progresso na modelagem de recompensa para compreensão de vídeo permanece severamente limitado. O campo enfrenta dois gargalos fundamentais:

1. Falta de Benchmarks Robustos: Os benchmarks existentes (por exemplo, MM-RLHF-RewardBench, VideoRewardBench) sofrem com escala limitada, cobertura insuficiente de dimensões específicas de vídeo (tarefas gerais, longas e de raciocínio) e protocolos de avaliação não confiáveis. Crucialmente, eles frequentemente carecem de traços de raciocínio Cadeia de Pensamento (CoT), com comprimentos de resposta médios tão curtos quanto 104 tokens, o que não se alinha com o paradigma "pensar-então-responder" necessário para a compreensão complexa de vídeo. Além disso, protocolos de avaliação de passagem única são altamente suscetíveis a viés de posição.
2. Escassez de Dados de Preferência de Alta Qualidade: Embora a aprendizagem por preferência tenha avançado para a geração de vídeo, dados de preferência de alta qualidade e em grande escala para a compreensão de vídeo são escassos devido aos altos custos de anotação e complexidade de construção. Modelos existentes treinados em dados de texto ou texto-imagem falham em transferir-se efetivamente para tarefas de recompensa de vídeo, frequentemente performando apenas ligeiramente acima de baselines aleatórias.

Metodologia

Os autores propõem um framework unificado que aborda o design de benchmark, a construção de dados e o treinamento de modelos de recompensa.

1. Video Understanding Reward Bench (VURB)

Um novo benchmark projetado especificamente para julgamento de preferência em compreensão de vídeo, apresentando:

• Escala e Escopo: 2.100 pares de preferência abrangendo três dimensões: Compreensão Geral de Vídeo, Compreensão de Vídeo Longo e Raciocínio em Vídeo.
• Raciocínio CoT Longo: Todas as respostas de preferência incluem traços de raciocínio longos, com média de 1.143 tokens, garantindo contexto lógico rico.
• Avaliação Robusta: Emprega um protocolo de Votação Majoritária (N=8) onde a ordem das respostas escolhidas/rejeitadas é aleatoriamente trocada para mitigar o viés de posição.
• Qualidade dos Dados: As respostas são geradas por cinco modelos multimodais diversos (incluindo variantes do Qwen3VL e Gemini) e filtradas por um processo de duas etapas:
  • Consistência de Comprimento: Filtra pares com diferenças relativas de comprimento >25% para evitar exploração de recompensa baseada em verbosidade.
  • Consistência Causal: Especialistas humanos verificam se o raciocínio apoia logicamente a resposta final, removendo casos onde a resposta está correta, mas o raciocínio é falho (ou vice-versa).

2. Video Understanding Preference Dataset (VUP-35K)

Para abordar a escassez de dados, os autores constroem um conjunto de dados em grande escala de 35.000 pares de preferência de alta qualidade por meio de um pipeline totalmente automatizado, sem anotadores humanos:

• Geração: Prompts de benchmarks existentes (por exemplo, Video-R1-CoT, Video-Holmes) são executados usando modelos candidatos.
• Verificação: Um LLM (Qwen3-4B) verifica a correção da resposta final contra a verdade fundamental (ground truth).
• Estratégia de Aumento: Para superar o problema de modelos responderem corretamente à maioria das amostras (levando à falta de amostras negativas), os autores introduzem uma estratégia de perturbação visual aleatória. Durante a execução, as entradas de vídeo são degradadas (por exemplo, redução de quadros, redução de resolução, dropout) para forçar os modelos a produzir respostas incorretas, enriquecendo assim a diversidade de falhas de raciocínio.
• Corpus Final: O VUP-35K é combinado com 213 mil pares de preferência gerais texto-imagem para formar um conjunto de treinamento de 245 mil pares.

3. Modelos de Recompensa: VideoDRM e VideoGRM

Dois modelos de recompensa distintos são treinados nos dados construídos:

• VideoDRM (Discriminativo): Um modelo de recompensa padrão onde a cabeça do modelo de linguagem é substituída por uma cabeça de pontuação escalar. É treinado usando uma perda de classificação Bradley-Terry para maximizar a margem entre respostas escolhidas e rejeitadas.
• VideoGRM (Generativo): Um modelo generativo treinado via Otimização de Política Relativa em Grupo (GRPO). Ele produz tanto uma decisão de preferência quanto um traço de raciocínio interpretável. É otimizado usando um sinal de recompensa binário (1,0 para identificação correta da resposta escolhida, 0,0 caso contrário).

Resultados Principais

Desempenho no VURB

• Falha da Baseline: Modelos de código aberto existentes (incluindo modelos especialistas como R1-Reward e LLaVA-Critic-R1) performam mal no VURB, com a maioria ficando abaixo de 55% de precisão (apenas ligeiramente acima da baseline aleatória de 50%). Modelos proprietários como o GPT-5.2 alcançam ~62,9%.
• Modelos Propostos:
  • O VideoDRM alcança uma precisão geral state-of-the-art (SOTA) de 63,8%, superando o GPT-5.2 e as maiores variantes do Qwen3VL.
  • O VideoGRM alcança 59,3%, emergindo como o principal modelo de recompensa generativo de código aberto, superando o Qwen3VL-32B-Thinking em 5,0%.

Generalização para VideoRewardBench

Ambos os modelos alcançam desempenho SOTA no independente VideoRewardBench:

• VideoDRM: 64,7% de precisão geral.
• VideoGRM: 64,6% de precisão geral.
• Ambos os modelos superam baselines proprietárias de alto nível (por exemplo, Gemini-2.5-Pro com 63,6%) e modelos de código aberto significativamente maiores (por exemplo, LLaVA-Critic-72B com 63,0%).

Escalonamento em Tempo de Teste (Best-of-N)

Sob avaliação Best-of-N no Video-Holmes e VideoMME:

• Tanto o VideoDRM quanto o VideoGRM fornecem ganhos significativos sobre as baselines Self-Judge e Majority-of-N.
• Em N=8, o VideoDRM atinge 49,70% de precisão (vs. 40,17% da baseline), demonstrando sua utilidade como sinais de recompensa confiáveis em tempo de teste para reclassificação.

Estudos de Ablação

• Impacto do VUP-35K: Incorporar apenas o VUP-35K melhora a precisão da base de 52,4% para 62,5% no VURB, confirmando que dados de preferência específicos de vídeo são críticos.
• Capacidade de Raciocínio: O treinamento de recompensa generativa apenas no VUP-35K melhora o desempenho de compreensão de vídeo a jusante em benchmarks como Video-Holmes (+6,6% de precisão), indicando que o conjunto de dados aprimora as capacidades de raciocínio inerentes do modelo, não apenas seu julgamento de recompensa.

Significado e Alegações

O artigo afirma que a ausência de dados de preferência especializados para compreensão de vídeo e benchmarks robustos tem sido o principal gargalo para a modelagem de recompensa de vídeo. Ao introduzir VURB e VUP-35K, os autores demonstram que:

1. Especificidade de Domínio é Crucial: Modelos treinados em dados de texto ou texto-imagem não podem transferir-se efetivamente para tarefas de recompensa de vídeo; dados de preferência de vídeo dedicados são essenciais.
2. CoT e Avaliação Robusta Importam: Traços de raciocínio longos e protocolos de votação majoritária são necessários para expor as verdadeiras limitações dos modelos atuais e garantir avaliação confiável.
3. Sucesso do Paradigma Duplo: Tanto os paradigmas de treinamento discriminativo quanto generativo são eficazes para a modelagem de recompensa de vídeo, com os modelos propostos estabelecendo novos padrões de desempenho.
4. Fundação para Sistemas Confiáveis: O trabalho fornece uma base sólida para pesquisas futuras em sistemas multimodais confiáveis, destacando o papel crítico de dados especializados e estratégias de treinamento no avanço da compreensão de vídeo.