KGEdit: Ambiguity-Aware Knowledge Graphs for Training-Free Precise Video Generation and Editing

Résumé Technique de KGEdit : Graphes de Connaissance Sensibles à l'Ambiguïté pour une Génération et un Édition Vidéo Précises sans Entraînement

Énoncé du Problème
Les récents progrès dans la génération vidéo sans entraînement ont élargi les capacités des modèles de diffusion texte-vers-vidéo (T2V). Cependant, les méthodes existantes peinent à traiter des instructions textuelles complexes en raison des ambiguïtés inhérentes au langage naturel. Les approches actuelles reposent souvent sur un encodage sémantique holistique, une manipulation de l'attention croisée ou un guidage basé sur l'inversion, qui échouent à capturer explicitement les attributs clés et les relations sémantiques. Par conséquent, les modèles sont sujets à l'ambiguïté sémantique, à une liaison incorrecte des concepts (par exemple, interpréter « banque » comme une institution financière plutôt que comme un bord de rivière) et à une incohérence inter-image (scintillement temporel et dérive). Réaliser une génération vidéo précise et temporellement stable sans entraînement supplémentaire du modèle reste un défi majeur, en particulier lorsque les instructions impliquent l'identité, l'apparence, le mouvement ou un contrôle multi-attributs.

Méthodologie
Les auteurs proposent KGEdit, un cadre unifié et sans entraînement conçu pour améliorer l'interprétabilité et la contrôlabilité en structurant la condition textuelle elle-même plutôt qu'en augmentant les modalités d'entrée. Le cadre fonctionne à travers trois composants principaux :

1. Graphe de Connaissance Sensible à l'Ambiguïté (AAKG) :

   • Désambiguïsation des Sens : Le système identifie d'abord les mots polysémiques dans l'invite d'entrée et sélectionne le sens le plus cohérent avec le contexte en utilisant une source de connaissances externe et le contexte de l'invite.
   • Construction et Regroupement du Graphe : Les sémantiques désambiguïsées sont organisées en un graphe structuré $G=(V, E)$. Ce graphe est décomposé en quatre groupes sémantiques distincts :
     • Identité ($T_{id}$) : Définitions des entités principales.
     • Relation ($T_{rel}$) : Relations entre les entités.
     • Attribut ($T_{attr}$) : Descriptions détaillées de l'apparence et des propriétés.
     • Contraintes Négatives ($T_{neg}$) : Exclusions explicites pour supprimer les liaisons incompatibles (par exemple, « pas une institution financière »).

2. Module d'Injection Sémantique Structurée (SSIM) :

   • Au lieu de s'appuyer uniquement sur des embeddings globaux, le SSIM injecte les embeddings désintriqués des quatre groupes sémantiques directement dans les couches intermédiaires du Transformer de diffusion (DiT).
   • Le module formule un problème d'optimisation multi-objectif basé sur les cartes d'attention croisée pour imposer la cohérence. Il définit des termes de perte spécifiques pour l'identité, les relations, les attributs et les contraintes négatives, ainsi qu'un terme de cohérence temporelle.
   • Ces pertes sont combinées en un objectif de guidage unifié $L_{total}(t)$, qui oriente le processus inverse latent via un guidage basé sur le gradient lors de l'inférence.

3. Contrôle Sémantique Sensible au Temps (TASC) :

   • Reconnaissant que différents composants sémantiques sont critiques à différentes étapes du processus de débruitage, le TASC planifie dynamiquement le poids des objectifs sémantiques.
   • Phase Précoce : Poids élevé sur l'Identité ($\lambda_{id}$) et les Contraintes Négatives ($\lambda_{neg}$) pour établir la structure globale et supprimer les concepts incorrects.
   • Phase Intermédiaire : Poids maximal sur les Relations ($\lambda_{rel}$) pour guider la composition spatiale inter-entités.
   • Phase Tardive : Poids croissant sur les Attributs ($\lambda_{attr}$) pour affiner les détails fins et les textures.
   • Cette planification dynamique empêche l'interférence des contraintes structurelles de la phase précoce avec l'affinement des détails de la phase tardive, améliorant ainsi la stabilité temporelle.

Contributions Clés

• Cadre KGEdit : Une approche unifiée et sans entraînement pour le contrôle sémantique structuré dans la génération et l'édition vidéo, améliorant la précision et la stabilité temporelle sans nécessiter d'entraînement supplémentaire du modèle.
• AAKG et SSIM : L'introduction d'un Graphe de Connaissance Sensible à l'Ambiguïté pour décomposer les invites en triplets structurés (identité, relation, attribut, négatif) et d'un Module d'Injection Sémantique Structurée pour injecter ces signaux dans les couches clés du DiT, améliorant l'alignement sémantique et la précision de la génération.
• Module TASC : Un mécanisme de Contrôle Sémantique Sensible au Temps qui planifie dynamiquement les objectifs sémantiques selon les caractéristiques par étapes du processus de débruitage, améliorant considérablement la cohérence temporelle.
• Validation Empirique : Des expériences extensives démontrant que KGEdit surpasse les méthodes sans entraînement existantes et les cadres unifiés (tels que VACE) sur le benchmark VBench, atteignant des résultats de l'état de l'art sur plusieurs métriques.

Résultats Expérimentaux
Les auteurs ont évalué KGEdit sur le benchmark VBench en utilisant le modèle de diffusion vidéo Wan 2.1 1.3B comme base.

• Performance Quantitative : KGEdit a obtenu le score moyen le plus élevé (79,62) sur sept métriques automatiques, surpassant le cadre unifié VACE et d'autres bases comme EIDT-V et Free-Bloom.
• Cohérence Temporelle : La méthode excellait dans les métriques temporelles, atteignant 99,20 % de cohérence des sujets, 99,19 % de fluidité du mouvement et 98,89 % de cohérence de l'arrière-plan. Cela met en évidence l'efficacité du TASC pour prévenir le scintillement et la dérive sémantique.
• Améliorations Qualitatives : Dans les études utilisateurs et les comparaisons visuelles, KGEdit a démontré une capacité supérieure à gérer des invites complexes impliquant un mouvement rapide, plusieurs attributs et des termes ambigus. Contrairement aux bases qui présentaient une fuite d'attributs ou une dérive sémantique (par exemple, changer les couleurs des vêtements ou interpréter mal « banque »), KGEdit a maintenu une liaison précise des attributs et un alignement sémantique tout au long de la séquence vidéo.
• Études d'Ablation : La suppression de n'importe quel composant (AAKG, groupes de triplets spécifiques ou TASC) a entraîné une dégradation des performances. Notamment, la suppression de l'Identité ($T_{id}$) a causé la plus forte baisse de précision sémantique, tandis que la suppression des Contraintes Négatives ($T_{neg}$) a gravement affecté la résolution de l'ambiguïté. Un poids temporel uniforme (sans TASC) a entraîné une baisse significative de la cohérence temporelle, confirmant la nécessité d'une planification dynamique.

Signification et Revendications
L'article revendique que KGEdit adresse les limitations fondamentales des méthodes actuelles de génération vidéo sans entraînement en déplaçant l'accent de l'ajout de modalités de contrôle vers l'amélioration de l'interprétabilité et de la contrôlabilité de la condition textuelle elle-même. En structurant le langage naturel ambigu en composants sémantiques explicites et en planifiant leur influence dans le temps, le cadre permet une génération vidéo précise, stable et cohérente sous des instructions complexes. Les auteurs positionnent ce travail comme une étape vers des systèmes de création vidéo pratiques et de haute qualité qui ne nécessitent pas de réentraînement coûteux des modèles, rendant le contrôle sémantique structuré accessible pour diverses applications dans la publicité, l'animation et le jeu vidéo.

Limites
Les auteurs reconnaissent les limitations actuelles, notamment la dépendance aux Grands Modèles de Langage (LLM) pour la construction du graphe, l'utilisation de couches d'injection fixes et des planifications temporelles conçues à la main. Des travaux futurs sont suggérés pour explorer la construction adaptative de graphes, des mécanismes de planification appris et des stratégies de guidage légères.