Resumo Técnico: CaC – Avançando Modelos de Recompensa de Vídeo via Concentração Hierárquica Espaço-Temporal

Declaração do Problema

Modelos recentes de geração de vídeo alcançaram progresso significativo na fidelidade visual global. No entanto, ao sintetizar conteúdo dinâmico complexo, eles frequentemente produzem anomalias esparsas e sutis (por exemplo, distorções estruturais, violações de leis físicas, inconsistências temporais e texto corrompido) que são frequentemente localizadas em pequenas regiões ou breves janelas de tempo. Os modelos de recompensa de vídeo existentes enfatizam principalmente a qualidade visual geral e o alinhamento com o texto; à medida que a qualidade de geração melhora, esses defeitos de granularidade grossa tornam-se menos frequentes, deixando anomalias estruturais e temporais esparsas como um gargalo crítico. Os modelos atuais lutam para isolar esses sinais fracos de anomalia de vastas quantidades de contexto normal devido à falta de percepção espaço-temporal de granularidade fina, resultando frequentemente em raciocínio global ao nível do vídeo que ignora alucinações sutis.

Metodologia

O artigo propõe CaC (Concentrate and Concentrate), um modelo de recompensa baseado em Modelo Visão-Linguagem (VLM) projetado para detectar e localizar essas anomalias esparsas através de uma estratégia hierárquica de dois turnos, de grossa para fina.

1. Construção do Conjunto de Dados

Para treinar e avaliar o modelo, os autores construíram o primeiro conjunto de dados em grande escala para anomalias esparsas em vídeos gerados (~30 mil vídeos). As características principais incluem:

• Anotações de Granularidade Fina: Caixas delimitadoras por quadro, janelas temporais de anomalia, tipos de anomalia e razões de atribuição.
• Taxonomia de Anomalias: Abrange anomalias reconhecíveis em quadro único (distorção de objeto/humano) e anomalias em múltiplos quadros (anomalias de movimento, violações físicas, anomalias de personagem).
• Síntese de CoT: Um pipeline combinando rotulagem humana especializada com síntese de Cadeia de Pensamento (CoT) baseada em VLM, utilizando um processo de gerar-verificar para garantir dados de raciocínio de alta qualidade.

2. Treinamento Progressivo em Três Estágios

O CaC emprega um paradigma de treinamento em três estágios para construir capacidades de concentração hierárquica:

• Estágio 1 (Aquecimento de Quadro Único): O modelo aprende a reconhecer e localizar anomalias a partir de quadros anômalos extraídos, estabelecendo um mapeamento de pistas visuais para ancoragem espacial e atribuição de anomalia.
• Estágio 2 (SFT de Múltiplos Quadros): O modelo é treinado tanto em vídeos globais amostrados uniformemente (para varredura temporal) quanto em clipes amostrados densamente (para localização espacial). Este estágio otimiza conjuntamente a varredura temporal global e a ancoragem espacial de granularidade fina, preparando o modelo para o formato de interação de dois turnos.
• Estágio 3 (GRPO de Dois Turnos): O modelo é otimizado usando Otimização de Política Relativa em Grupo (GRPO) com uma estratégia de inferência de dois turnos:
  • Turno 1: Varredura temporal global em uma sequência de quadros esparsa (4 fps) para ancorar a janela temporal anômala.
  • Turno 2: Ancoragem espacial de granularidade fina em um clipe amostrado densamente (8 fps) extraído da janela prevista para confirmar anomalias e outputar caixas delimitadoras.
  • Mecanismo de Recompensa: Além da precisão padrão, os autores introduzem recompensas de IoU Temporal, IoU Espacial e IoU de Atribuição. Essas recompensas de processo supervisionam os passos intermediários de localização, guiando o modelo em direção a um raciocínio espaço-temporal fundamentado e interpretável. Um fator de desconto de saliência é aplicado para lidar com dificuldades variáveis de reconhecimento.

3. Estratégia de Inferência

O processo de inferência espelha a estratégia de treinamento:

1. Varredura Global: O vídeo de entrada é subamostrado (4 fps) e analisado para detectar anomalias e prever uma janela temporal.
2. Concentração Local: A janela prevista é recortada e ressampleada densamente (8 fps). O modelo realiza raciocínio espacial de granularidade fina neste clipe para confirmar a anomalia e outputar caixas delimitadoras específicas.
3. Decisão: Se o segundo turno não confirmar a anomalia, o vídeo é conservadoramente classificado como normal.

Contribuições Principais

1. Conjunto de Dados: Construção do primeiro conjunto de dados em grande escala para anomalias esparsas em vídeos gerados, apresentando caixas delimitadoras por quadro, janelas temporais e rótulos de atribuição de granularidade fina para suportar síntese de CoT de alta qualidade e sinais de recompensa verificáveis.
2. Arquitetura do Modelo: Proposição do CaC, um modelo de recompensa de dois turnos de grossa para fina que utiliza foco espaço-temporal hierárquico para detectar anomalias sutis, convertendo julgamentos estruturados em feedback de recompensa acionável.
3. Paradigma de Treinamento: Desenvolvimento de um pipeline progressivo em três estágios. Notavelmente, o estágio de RL introduz recompensas de IoU Temporal, Espacial e de Atribuição para guiar o VLM em direção a um raciocínio CoT de anomalia interpretável e julgamentos estáveis, indo além de métricas de precisão simples.

Resultados

Experimentos extensivos demonstram a superioridade do CaC na detecção de anomalias esparsas e na melhoria da qualidade de geração de vídeo:

• Detecção de Anomalias: No benchmark CaC-Bench-Main, o CaC alcança 81,7% de precisão geral, uma melhoria absoluta de 25,7% sobre a linha de base mais forte.
• Sensibilidade a Anomalias Esparsas: Na divisão CaC-Bench-Hard (apresentando anomalias de duração mais curta e menor extensão espacial), o CaC supera as linhas de base por margens que variam de 14% a 38%, validando sua eficácia em defeitos altamente esparsos.
• Generalização: O CaC melhora a precisão em 19,9% em um subconjunto derivado do Skyra externo, demonstrando generalização fora de domínio.
• Alinhamento de Vídeo: Quando usado como sinal de recompensa para geração de vídeo a jusante (Wan-2.1-1.3B), o CaC reduz a taxa de anomalias anotada por especialistas em 11,7% (de 29,0% para 17,3%) enquanto melhora a consistência do sujeito e a qualidade da imagem, sem suprimir o movimento dinâmico.

Significado e Alegações

O artigo alega que o CaC aborda efetivamente o problema de "diluição de atenção" causado pela extrema esparsidade das anomalias de vídeo. Ao concentrar-se ativamente em quadros e regiões anômalos através de um processo de raciocínio estruturado e interpretável, o CaC fornece julgamentos mais confiáveis e fundamentados do que modelos de recompensa globais ou detectores existentes. Os autores afirmam que essa abordagem não apenas avança a avaliação de vídeos gerados, mas também fornece feedback acionável que melhora diretamente a qualidade dos modelos de geração de vídeo, reduzindo alucinações estruturais e temporais. O trabalho destaca que, à medida que a geração de vídeo amadurece, modelos de recompensa especializados e de granularidade fina são necessários para lidar com os modos de falha sutis remanescentes que avaliadores holísticos ignoram.