KD-CVG: A Knowledge-Driven Approach for Creative Video Generation

Resumo Técnico: KD-CVG

1. Problema e Contexto

A geração criativa (CG) tem avançado na criação de textos e imagens publicitários, mas a Geração de Vídeo Criativo (CVG) para e-commerce permanece subexplorada. Os modelos atuais de Texto-para-Vídeo (T2V) falham em cenários de publicidade devido a dois desafios principais:

• Alinhamento Semântico Ambíguo: Os textos de "pontos de venda" (selling points) em e-commerce são frequentemente vagos e não possuem uma correlação direta e explícita com o conteúdo visual. Por exemplo, um texto sobre "essência de hortelã natural" pode exigir uma representação visual sutil (como folhas de hortelã caindo), algo que os modelos T2V genéricos têm dificuldade em inferir.
• Adaptabilidade de Movimento Insuficiente: Os modelos T2V gerais carecem de conhecimento sobre movimentos específicos de produtos de e-commerce. Isso resulta em movimentos não físicos, distorções (ex: escovas de dente deformadas) e falha em destacar dinamicamente as características do produto.

2. Metodologia Proposta: KD-CVG

Para superar essas limitações, os autores propõem o KD-CVG, uma abordagem guiada por conhecimento que utiliza uma base de dados especializada e dois módulos principais.

A. Base de Conhecimento Criativo Publicitário (ACKB)

• Uma base de dados fundamental contendo 10.000 pares texto-vídeo de alta qualidade, coletados de uma plataforma de e-commerce.
• Abrange 377 tipos de produtos (ex: escovas de dente, máscaras faciais).
• Inclui textos de pontos de venda, descrições de roteiros (scripts) gerados por LLMs e vídeos limpos de marcas d'água.

B. Módulo de Recuperação Consciente de Semântica (SAR - Semantic-Aware Retrieval)

• Objetivo: Resolver o alinhamento semântico ambíguo.
• Mecanismo: Utiliza uma Rede de Atenção em Grafos (SC-GAT) para modelar as relações semânticas entre os textos de pontos de venda.
• Funcionamento:
  1. Os textos são codificados pelo CLIP e organizados em um grafo onde as arestas representam relações semânticas.
  2. O modelo calcula pesos de atenção para identificar os roteiros de vídeo mais relevantes na ACKB para um dado texto de entrada.
  3. O processo é otimizado via Aprendizado por Reforço (Policy Gradient) para maximizar a pontuação CIDEr (qualidade do roteiro gerado), garantindo que o modelo entenda a conexão entre o texto de venda e o vídeo criativo.

C. Módulo de Referência de Conhecimento Multimodal (MKR - Multimodal Knowledge Reference)

• Objetivo: Resolver a adaptabilidade de movimento e garantir realismo físico.
• Funcionamento: Utiliza os roteiros recuperados pelo SAR para extrair priors (conhecimentos prévios) semânticos e de movimento.
  1. Geração Progressiva de Roteiro: Decompõe roteiros de referência em sujeitos, cenas e padrões de movimento. Adapta os sujeitos e cenas ao produto alvo, mantendo os padrões de movimento originais.
  2. Destilação de Prior de Movimento: Introduz um esquema de codificação diferencial de movimento. Calcula vetores de movimento entre quadros latentes e aplica uma função de perda de destilação de movimento para alinhar os gradientes de movimento gerados com os padrões de referência.
  3. Adaptação Eficiente: Utiliza MR-LoRA (Low-Rank Adaptation para referência de movimento) nos blocos de atenção temporal da arquitetura ST-DiT, permitindo que o modelo aprenda novos movimentos sem re-treinar todo o modelo.

3. Principais Contribuições

1. Novo Framework (KD-CVG): Primeiro sistema capaz de converter automaticamente textos de pontos de venda em vídeos publicitários criativos (ACVs) para e-commerce, superando a lacuna de conhecimento dos modelos T2V gerais.
2. Base de Dados ACKB: Liberação de um conjunto de dados abrangente e curado especificamente para análise de vídeo de e-commerce.
3. Módulo SAR: Uma abordagem baseada em Grafos e Aprendizado por Reforço para melhorar a compreensão semântica e mitigar o desalinhamento texto-vídeo.
4. Módulo MKR: Uma arquitetura de duas etapas que integra priors multimodais para gerar movimentos fisicamente plausíveis e alinhados com o produto.

4. Resultados Experimentais

Os experimentos foram realizados comparando o KD-CVG com modelos State-of-the-Art (SOTA) como Open Sora, Show-1 e VideoCrafter2.

• Métricas Quantitativas:
  • O KD-CVG alcançou a melhor pontuação geral (81.80 no Min-Max Score), superando significativamente os concorrentes.
  • Destacou-se em Alinhamento Textual (30.68%) e Suavidade de Movimento (98.65%).
  • A ablação mostrou que a combinação de SAR e MKR é essencial; remover qualquer um degrada drasticamente a performance.
• Estudo com Usuários:
  • Participantes avaliaram o KD-CVG como superior em Alinhamento de Texto (3.74/5), Qualidade de Vídeo (3.70/5), Regularidade de Movimento (3.81/5) e Grau de Destaque (3.89/5).
  • O modelo foi particularmente elogiado pela capacidade de evitar distorções físicas comuns em outros modelos.
• Eficiência:
  • O tempo de inferência foi de 102 segundos, um equilíbrio eficiente entre qualidade e velocidade (mais rápido que Show-1 e Show-1, mas com qualidade superior).

5. Significado e Impacto

O trabalho KD-CVG representa um avanço significativo na interseção entre IA Generativa e E-commerce. Ao introduzir uma abordagem guiada por conhecimento que utiliza bases de dados específicas e mecanismos de recuperação semântica, o método resolve o problema fundamental de como traduzir conceitos de marketing abstratos em vídeos dinâmicos e realistas.

• Aplicabilidade Prática: Oferece uma solução viável para a automação de criação de conteúdo publicitário em escala, reduzindo a necessidade de gravação manual e edição.
• Avanço Científico: Demonstra que a integração de priors de movimento e alinhamento semântico baseado em grafos é crucial para superar as limitações dos modelos T2V genéricos em cenários de nicho.

Em suma, o KD-CVG estabelece um novo padrão para a geração de vídeos publicitários, provando que a incorporação de conhecimento de domínio específico é essencial para a qualidade e o realismo na geração de vídeo criativo.