KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

Resumo Técnico do KGEdit: Grafos de Conhecimento Conscientes de Ambiguidade para Geração e Edição de Vídeo Precisos sem Treinamento

Declaração do Problema
Avanços recentes em geração de vídeo sem treinamento expandiram as capacidades dos modelos de difusão texto-para-vídeo (T2V). No entanto, os métodos existentes lutam ao processar instruções textuais complexas devido a ambiguidades inerentes na linguagem natural. Abordagens atuais frequentemente dependem de codificação semântica holística, manipulação de atenção cruzada ou orientação baseada em inversão, que falham em capturar explicitamente atributos-chave e relações semânticas. Consequentemente, os modelos são propensos a ambiguidade semântica, ligação incorreta de conceitos (por exemplo, interpretar "banco" como uma instituição financeira em vez de uma margem de rio) e inconsistência entre quadros (piscamento temporal e deriva). Alcançar geração de vídeo precisa e temporalmente estável sem treinamento adicional do modelo permanece um desafio significativo, particularmente quando as instruções envolvem identidade, aparência, movimento ou controle multi-atributo.

Metodologia
Os autores propõem o KGEdit, um framework unificado e sem treinamento projetado para aprimorar a interpretabilidade e a controlabilidade ao estruturar a própria condição textual em vez de aumentar as modalidades de entrada. O framework opera através de três componentes principais:

1. Grafo de Conhecimento Consciente de Ambiguidade (AAKG):

   • Desambiguação de Sentido: O sistema primeiro identifica palavras polissêmicas no prompt de entrada e seleciona o sentido mais consistentemente contextual usando uma fonte de conhecimento externa e o contexto do prompt.
   • Construção e Agrupamento do Grafo: As semânticas desambiguadas são organizadas em um grafo estruturado $G=(V, E)$. Este grafo é decomposto em quatro grupos semânticos distintos:
     • Identidade ($T_{id}$): Definições de entidades centrais.
     • Relação ($T_{rel}$): Relações entre entidades.
     • Atributo ($T_{attr}$): Descrições detalhadas de aparência e propriedades.
     • Restrições Negativas ($T_{neg}$): Exclusões explícitas para suprimir ligações incompatíveis (por exemplo, "não uma instituição financeira").

2. Módulo de Injeção Semântica Estruturada (SSIM):

   • Em vez de depender exclusivamente de embeddings globais, o SSIM injeta os embeddings desentrelaçados dos quatro grupos semânticos diretamente nas camadas intermediárias do Transformer de Difusão (DiT).
   • O módulo formula um problema de otimização multi-objetivo baseado em mapas de atenção cruzada para impor consistência. Ele define termos de perda específicos para identidade, restrições relacionais, atributos e negativas, bem como um termo de consistência temporal.
   • Essas perdas são combinadas em um objetivo de orientação unificado $L_{total}(t)$, que direciona o processo reverso latente via orientação baseada em gradiente durante a inferência.

3. Controle Semântico Consciente de Temporalidade (TASC):

   • Reconhecendo que diferentes componentes semânticos são críticos em diferentes estágios do processo de remoção de ruído, o TASC agenda dinamicamente o peso dos objetivos semânticos.
   • Estágio Inicial: Peso alto em Identidade ($\lambda_{id}$) e restrições Negativas ($\lambda_{neg}$) para estabelecer a estrutura global e suprimir conceitos incorretos.
   • Estágio Médio: Peso máximo em Relações ($\lambda_{rel}$) para guiar a composição espacial inter-entidade.
   • Estágio Final: Peso crescente em Atributos ($\lambda_{attr}$) para refinar detalhes e texturas de alta granularidade.
   • Este agendamento dinâmico previne a interferência de restrições estruturais do estágio inicial com o refinamento de detalhes do estágio final, melhorando assim a estabilidade temporal.

Principais Contribuições

• Framework KGEdit: Uma abordagem unificada e sem treinamento para controle semântico estruturado em geração e edição de vídeo que melhora a precisão e a estabilidade temporal sem exigir treinamento adicional do modelo.
• AAKG e SSIM: A introdução de um Grafo de Conhecimento Consciente de Ambiguidade para decompor prompts em tripletos estruturados (identidade, relação, atributo, negativo) e um Módulo de Injeção Semântica Estruturada para injetar esses sinais em camadas-chave do DiT, aprimorando o alinhamento semântico e a precisão da geração.
• Módulo TASC: Um mecanismo de Controle Semântico Consciente de Temporalidade que agenda dinamicamente objetivos semânticos de acordo com as características por estágio do processo de remoção de ruído, melhorando significativamente a consistência temporal.
• Validação Empírica: Extensos experimentos demonstrando que o KGEdit supera métodos existentes sem treinamento e frameworks unificados (como o VACE) no benchmark VBench, alcançando resultados state-of-the-art em múltiplas métricas.

Resultados Experimentais
Os autores avaliaram o KGEdit no benchmark VBench usando o backbone de difusão de vídeo Wan 2.1 1.3B.

• Desempenho Quantitativo: O KGEdit alcançou a pontuação média mais alta (79,62) entre sete métricas automáticas, superando o framework unificado VACE e outras bases como EIDT-V e Free-Bloom.
• Consistência Temporal: O método se destacou em métricas temporais, alcançando 99,20% de Consistência do Sujeito, 99,19% de Suavidade de Movimento e 98,89% de Consistência de Fundo. Isso destaca a eficácia do TASC em prevenir piscamento e deriva semântica.
• Melhorias Qualitativas: Em estudos com usuários e comparações visuais, o KGEdit demonstrou capacidade superior de lidar com prompts complexos envolvendo movimento rápido, múltiplos atributos e termos ambíguos. Diferentemente de bases que exibiram vazamento de atributos ou deriva semântica (por exemplo, mudar cores de roupas ou interpretar mal "banco"), o KGEdit manteve ligação precisa de atributos e alinhamento semântico ao longo da sequência de vídeo.
• Estudos de Ablação: Remover qualquer componente (AAKG, grupos específicos de tripletos ou TASC) levou à degradação do desempenho. Notavelmente, remover a Identidade ($T_{id}$) causou a maior queda na precisão semântica, enquanto remover Restrições Negativas ($T_{neg}$) impactou severamente a resolução de ambiguidades. O peso temporal uniforme (sem TASC) resultou em quedas significativas na consistência temporal, confirmando a necessidade de agendamento dinâmico.

Significado e Alegações
O artigo alega que o KGEdit aborda as limitações fundamentais dos métodos atuais de geração de vídeo sem treinamento ao deslocar o foco de adicionar modalidades de controle para melhorar a interpretabilidade e controlabilidade da própria condição textual. Ao estruturar a linguagem natural ambígua em componentes semânticos explícitos e agendar sua influência ao longo do tempo, o framework permite geração de vídeo precisa, estável e coerente sob instruções complexas. Os autores posicionam este trabalho como um passo em direção a sistemas práticos de criação de vídeo de alta qualidade que não exigem retratamento custoso de modelos, tornando o controle semântico estruturado acessível para diversas aplicações em publicidade, animação e jogos.

Limitações
Os autores reconhecem limitações atuais, incluindo a dependência de Modelos de Linguagem de Grande Escala (LLMs) para construção de grafos, o uso de camadas de injeção fixas e agendas temporais projetadas manualmente. Trabalhos futuros são sugeridos para explorar construção adaptativa de grafos, mecanismos de agendamento aprendidos e estratégias de orientação leves.