What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

Énoncé du problème

Les modèles génératifs vidéo récents reposent de plus en plus sur des modèles vision-langage (VLM) couplés à des transformateurs de diffusion (DiT) pour effectuer des éditions vidéo basées sur des instructions. Le paradigme dominant consiste à utiliser un module de connecteur (généralement un MLP) pour aligner les capacités de raisonnement riches et multi-modales d'un VLM (par exemple, Qwen2.5-VL) avec l'espace d'incorporation textuel d'origine du DiT. Cette conception suppose que le connecteur peut transférer de manière transparente la compréhension sémantique du VLM au DiT, potentiellement augmentée par des jetons de requête apprenables pour le raffinement.

Cependant, les auteurs émettent l'hypothèse que cet alignement agit comme un goulot d'étranglement sémantique sévère. Bien que les VLM puissent comprendre avec succès des instructions d'édition complexes, le connecteur peut dégrader les variables structurelles fines — telles que les emplacements spatiaux spécifiques, les valeurs d'attributs cibles et les rôles d'objets — avant qu'elles n'atteignent le DiT. Les benchmarks d'évaluation de bout en bout actuels échouent à isoler ce problème, car ils confondent les échecs d'alignement avec les erreurs de débruitage ou d'attention propres au DiT. De plus, les ensembles de données vidéo naturels manquent des annotations désintriquées nécessaires pour sonder ces variables sémantiques spécifiques.

Méthodologie

1. TRACE-Edit : Un benchmark diagnostique

Pour investiguer rigoureusement cette hypothèse, les auteurs introduisent TRACE-Edit, un benchmark diagnostique contrôlé conçu pour isoler les sémantiques structurelles de l'édition.

• Construction : L'ensemble de données est construit via un pipeline de composition. D'abord, des vidéos « atomiques » à objet unique sont générées et vérifiées par un VLM pour garantir la clarté du sujet, de la catégorie et des attributs. Ces vidéos sont ensuite composées en grilles vidéo 2x2.
• Formulation de la tâche : Les instructions sont relationnelles, exigeant que le modèle modifie un objet dans un emplacement (par exemple, en haut à gauche) pour correspondre à un attribut (couleur, matériau ou action) d'un objet dans un autre emplacement (par exemple, en bas à droite).
• Vérité terrain : Chaque exemple inclut des étiquettes exactes pour l'emplacement édité ($y_{slot}$), la valeur cible ($y_{tgt}$), l'objet édité ($y_{editobj}$) et l'objet de référence ($y_{refobj}$).
• Échelle : L'ensemble de données contient 5 524 vidéos composites générant 11 048 exemples d'édition relationnelle dans les domaines de la couleur, du matériau et de l'action.

2. Protocole diagnostique

Les auteurs évaluent quatre modèles représentatifs (variantes de UniVideo, Kiwi-Edit et un Wan-Query personnalisé) en utilisant un cadre diagnostique multi-étapes plutôt qu'un classement standard :

• Analyse géométrique : Mesure des changements dans le rang effectif, la variance des caractéristiques et l'alignement du noyau centré (CKA) entre les représentations pré-connecteur (VLM) et post-connecteur (face au DiT).
• Sondage linéaire : Entraînement de classificateurs linéaires sur les caractéristiques pré- et post-connecteur pour mesurer l'accessibilité de variables spécifiques (type d'attribut, emplacement édité, valeur cible, rôles d'objets).
• Décomposition du routage des jetons : Dans les modèles utilisant des jetons de requête, les auteurs analysent où réside la preuve sémantique (vue texte uniquement, requête uniquement ou mixte) et calculent les contributions marginales au niveau des jetons.
• Routage de l'attention : Analyse de la façon dont le DiT alloue l'attention aux jetons de condition (texte vs requête) à travers les étapes et les couches de débruitage.
• Analyse des échecs au niveau de la sortie : Utilisation d'un VLM en tant que juge pour catégoriser les échecs de vidéos générées en « sous-édition » (conservateur) vs « erreurs structurelles » (mauvais emplacement, mauvais liaison, mauvaise cible).

Résultats clés

1. Dégradation sémantique au niveau du connecteur

• Transformation géométrique : L'alignement du connecteur n'est pas une projection passive ; il reconfigure substantiellement la géométrie de l'espace des caractéristiques. Bien que certains modèles montrent une augmentation du rang effectif, ils souffrent souvent d'effondrements sévères de la variance des caractéristiques.
• Préservation sélective : L'intention grossière (par exemple, « changer la couleur ») est préservée avec une précision quasi parfaite. Cependant, les sémantiques structurelles fines se dégradent considérablement :
  • Emplacement édité : La précision chute d'environ 92 % à environ 74 % dans U-Query après alignement.
  • Valeur cible : L'accessibilité chute pour tous les modèles (par exemple, d'environ 51 % à environ 49 % dans U-Query).
  • Rôles d'objets : La décodabilité des objets édité par rapport à l'objet de référence varie, certains modèles perdant complètement cette information.
• Changement de routage des jetons : Dans les modèles basés sur des requêtes, bien que les jetons de texte conservent des sémantiques fortes, le connecteur déplace la preuve sémantique réelle loin des jetons de requête. Cependant, le DiT continue d'allouer une attention dominante à ces jetons de requête, créant une déconnexion entre le routage de l'information et l'allocation de l'attention.

2. Les échecs de sortie sont structurels, non conservateurs

• L'analyse des vidéos générées révèle que les erreurs structurelles (mauvais emplacement, mauvaise liaison, mauvaise cible) constituent le mode d'échec principal (40,9 %–61,9 % des erreurs), dépassant largement la sous-édition (11,1 %–14,6 %).
• Cela confirme que les modèles tentent souvent une édition mais échouent à préserver les liaisons correctes emplacement–valeur–rôle, ce qui correspond directement à la dégradation sémantique observée dans le connecteur.

3. Limites des conceptions actuelles

• Jetons de requête : Ajouter simplement des jetons de requête ne résout pas le problème ; si le connecteur échoue à préserver les informations d'emplacement-valeur-rôle le long de la route de la requête, le DiT ne peut pas les utiliser efficacement.
• Force de l'architecture de base : Remplacer l'architecture de base du DiT (par exemple, échanger HunyuanVideo contre Wan) ne permet pas de récupérer les variables structurelles perdues lors de l'alignement VLM-to-DiT, indiquant que le goulot d'étranglement réside dans le connecteur, et non dans le générateur.

Contributions clés

1. TRACE-Edit : Un benchmark synthétique contrôlé qui isole les variables d'emplacement, de valeur et de rôle d'objet pour diagnostiquer les sémantiques structurelles dans l'édition vidéo, surmontant les limites des benchmarks vidéo naturels non structurés.
2. Protocole diagnostique : Un cadre complet pour sonder l'alignement VLM-to-DiT, analysant la géométrie de l'espace de condition, l'accessibilité sémantique, le routage des jetons et l'allocation de l'attention.
3. Preuve empirique du goulot d'étranglement : Une étude rigoureuse démontrant que les conceptions actuelles VLM-to-DiT souffrent d'une dégradation sémantique, identifiant le connecteur comme un goulot d'étranglement principal qui fracture les programmes d'édition relationnels.

Signification et affirmations

L'article remet en question l'hypothèse répandue selon laquelle les connecteurs agissent comme des adaptateurs sémantiques sans perte. Les auteurs affirment que les sémantiques structurelles fines sont sévèrement dégradées lors de l'alignement, renversant la croyance selon laquelle l'utilisation simple d'un VLM puissant et d'un connecteur suffit pour une édition vidéo complexe.

La signification de ce travail réside dans :

• Recadrage du problème : Déplacer l'accent de la qualité vidéo de bout en bout vers la qualité de la représentation intermédiaire du connecteur.
• Identification du goulot d'étranglement : Pointer l'alignement VLM-to-DiT comme le point d'échec critique pour les variables structurelles, plutôt que la capacité de débruitage du DiT.
• Voies futures : Les auteurs soutiennent que les éditeurs vidéo futurs doivent traiter la conception du connecteur comme un problème de préservation sémantique. Ils proposent que les modèles reposant sur des jetons de requête doivent signaler des diagnostics sur la question de savoir si les variables d'emplacement, de valeur et de rôle d'objet restent accessibles après le connecteur, plutôt que de se fier uniquement aux métriques de qualité de génération finale.

L'article conclut que sans remédier à l'incapacité du connecteur à préserver les liaisons relationnelles fines, même les VLM et DiT les plus avancés échoueront à exécuter une édition vidéo précise basée sur des instructions.