Resumo Técnico: CogOmniControl

1. Declaração do Problema

Modelos generativos de vídeo recentes baseados em difusão alcançaram progresso significativo em fotorealismo e fluidez de movimento. No entanto, eles permanecem frágeis quando confrontados com condições de controle abstratas, esparsas ou complexas, comuns em fluxos de trabalho de produção profissional (por exemplo, esboços de storyboard, renderizações em argila). Abordagens existentes tipicamente se enquadram em duas categorias:

1. Métodos baseados em adaptadores: Estes injetam condições por meio de módulos adicionais, mas frequentemente carecem da flexibilidade para lidar com restrições diversas e não alinhadas a pixels, levando a artefatos e deriva de identidade.
2. Métodos genéricos acoplados a LVMs: Estes integram Modelos Visão-Linguagem (VLMs) gerais para interpretar condições. No entanto, VLMs genéricos lutam para compreender intenções criativas subjacentes em contextos profissionais, frequentemente falhando em formular planos de geração fundamentados em conhecimento específico do domínio. Além disso, suas saídas de raciocínio podem introduzir ruído, e existe uma lacuna de desalinhamento entre o raciocínio abstrato do VLM e a geração final de vídeo em nível de pixel.

O desafio central é preencher a lacuna entre condições de usuário abstratas e a geração de vídeo controlável, fiel e de alta qualidade que esteja alinhada com a intenção criativa genuína.

2. Metodologia

Os autores propõem o CogOmniControl, um framework orientado a raciocínio que fatoriza a geração de vídeo controlável em dois estágios distintos: Cognição da Intenção Criativa e Geração. O framework consiste em dois componentes principais: CogVLM e CogOmniDiT.

2.1 CogVLM: Cognição da Intenção Criativa

CogVLM é um Modelo Visão-Linguagem especializado treinado para atuar como um "diretor profissional". Seu papel é ingerir entradas multimodais (Vídeo de Controle, Imagem de Referência, Descrição Textual) e cognizar a intenção criativa do usuário, transformando pistas esparsas em saídas de raciocínio lógico e denso.

• Estratégia de Treinamento: CogVLM passa por um processo de treinamento em duas etapas:
  1. Ajuste Fino Supervisionado (SFT): Treinado em dados autênticos de produção de anime (storyboards, renderizações em argila) para aprender fluxos de trabalho profissionais.
  2. Ajuste Fino por Reforço (RFT): Utiliza um mecanismo de Recompensa Holística e Recompensa de Verificação de Fatos (baseado em LLM-como-Juiz) para otimizar Intenção Criativa, Plausibilidade Física, Integridade da Informação e Descrição de Movimento. Isso garante que o raciocínio seja factualmente fundamentado e evite alucinações.
• Saída: CogVLM produz uma saída de raciocínio que detalha o plano de geração e, crucialmente, identifica um conjunto de avaliadores (ferramentas) de uma biblioteca predefinida, adequados às condições de entrada específicas.

2.2 CogOmniDiT: Geração de Vídeo Unificada

CogOmniDiT é um Transformer de Difusão de Vídeo (DiT) que unifica sinais de controle diversos dentro de uma única sequência.

• Sequência de Entrada: Ele concatena latentes ruidosos, latentes de imagem de referência, latentes de vídeo de controle e os embeddings semânticos de alto nível provenientes do CogVLM.
• Treinamento: Emprega uma estratégia de SFT em três estágios (geração em contexto, alinhamento de conector, treinamento conjunto) seguida por RFT. O RFT alinha a saída em nível de pixel do DiT com o raciocínio de alto nível do CogVLM, utilizando recompensas para seguimento de condições e qualidade de vídeo.
• Mecanismo: Ao aproveitar a aprendizagem em contexto, CogOmniDiT permite que condições e latentes se modeluem mutuamente via atenção própria, garantindo a injeção precisa de sinais de controle.

2.3 Verificação em Loop Fechado (Harness de Avaliadores)

Uma característica única do CogOmniControl é sua arquitetura "semelhante a um harness". Em vez de usar um conjunto fixo de avaliadores para todas as gerações, CogVLM seleciona dinamicamente avaliadores específicos (por exemplo, Consistência de Identidade, Dinâmica Física, Seguimento de Anotação de Storyboard) com base nas condições de entrada.

• Seleção Best-of-N: O sistema gera múltiplos candidatos de vídeo ($N$) e utiliza os avaliadores selecionados pelo CogVLM para pontuá-los. O candidato com a pontuação mais alta é selecionado, criando um pipeline fechado de Raciocínio-Geração-Verificação.

3. Benchmarks e Dados

Para abordar a falta de benchmarks para intenção criativa profissional, os autores introduzem dois novos conjuntos de dados derivados de pipelines reais de produção de animação profissional:

• CogReasonBench: Projetado para avaliar a capacidade do VLM de cognizar intenção criativa e realizar raciocínio a partir de entradas multimodais.
• CogControlBench: Projetado para avaliar a qualidade da geração de vídeo controlável e o seguimento de condições sob condições abstratas e esparsas.
  Diferentemente de benchmarks existentes que frequentemente utilizam dados simulados ou sintéticos, estes benchmarks utilizam dados nativos de fluxos de trabalho profissionais (storyboards, renderizações em argila) e seus vídeos finais correspondentes.

4. Resultados Experimentais

Experimentos foram conduzidos nos benchmarks propostos e comparados com modelos de código aberto state-of-the-art (por exemplo, VACE, VINO, OmniWeaving) e sistemas proprietários (por exemplo, Kling, Seedance).

• Desempenho do CogVLM: No CogReasonBench, o CogVLM treinado com RFT superou significativamente VLMs genéricos (por exemplo, Qwen3-VL-Thinking) em Intenção Multimodal, Integridade da Informação e Descrição de Movimento, demonstrando a necessidade de treinamento específico do domínio.
• Desempenho do CogOmniControl: No CogControlBench, CogOmniControl alcançou a pontuação média mais alta (0,727) entre modelos de código aberto, superando VINO (0,686) e VACE-Wan2.1 (0,665). Ele estreitou a lacuna de desempenho com o sistema proprietário mais forte, Seedance2.0 (0,750).
• Impacto do Best-of-N: Empregar a seleção Best-of-N com avaliadores escolhidos adaptativamente melhorou ainda mais o desempenho (0,742), validando a eficácia da arquitetura de harness em loop fechado.
• Resultados Qualitativos: Comparações visuais mostram que CogOmniControl produz vídeos com melhor consistência visual, movimento mais suave e aderência mais precisa a controles abstratos (como renderizações em argila) em comparação com métodos baseados em adaptadores, que frequentemente sofrem com artefatos e desalinhamento semântico.

5. Significado e Alegações

O artigo afirma que CogOmniControl representa uma mudança da simples injeção de condições para a geração orientada a raciocínio. Seu significado reside em:

1. Preenchendo a Lacuna Cognitiva: Ao treinar um CogVLM especializado em dados profissionais, o framework interpreta com sucesso condições abstratas e as alinha com intenção criativa de alto nível, uma tarefa onde VLMs genéricos falham.
2. Arquitetura em Loop Fechado: A integração de harnesses de avaliadores adaptativos permite um processo de geração auto-corretivo, habilitando seleção Best-of-N que é adaptada à intenção criativa específica de cada entrada.
3. Relevância Profissional: Ao utilizar dados e benchmarks de produção do mundo real, o framework aborda as necessidades específicas de fluxos de trabalho profissionais (storyboarding, renderização em argila) em vez de apenas tarefas gerais de texto-para-vídeo.

Os autores concluem que CogOmniControl supera consistentemente geradores de vídeo controláveis de código aberto existentes e demonstra que frameworks orientados a raciocínio podem lidar efetivamente com as complexidades da produção profissional de vídeo.