Résumé Technique : RVEDiT – Raisonnement Implicite dans les Transformers de Diffusion pour l'Édition Vidéo

Énoncé du Problème

L'édition vidéo basée sur des instructions nécessite de transformer une vidéo source conformément à une instruction en langage naturel, tout en préservant le contenu non pertinent et en maintenant la cohérence temporelle. Les auteurs soutiennent que les éditeurs actuels basés sur des Transformers de Diffusion (DiT) peinent à accomplir cette tâche en raison de deux limitations structurelles dans les pipelines actuels :

1. Conditionnement Indifférencié : Dans les DiT standards, les instructions textuelles et les tokens visuels sont concaténés en une seule séquence conjointe traitée uniformément par chaque bloc de transformateur. Cela force un unique flux de tokens à encoder simultanément l'intention d'édition de haut niveau et les cibles visuelles de bas niveau, ne laissant aucun « espace de travail » dédié au raisonnement.
2. Raisonnement Interne Non Supervisé : Les motifs d'attention croisée qui régissent l'édition ne sont supervisés qu'indirectement par des pertes de reconstruction au niveau des pixels (par exemple, l'appariement de flux). Par conséquent, la trace de raisonnement interne du modèle (les cartes d'attention codant quels tokens textuels lisent quelles régions visuelles) est sous-contrainte. Le modèle apprend à minimiser l'erreur de reconstruction mais n'est pas explicitement enseigné à établir les correspondances fines requises pour des éditions fidèles aux instructions.

L'article postule que l'édition vidéo basée sur des instructions est fondamentalement un problème de raisonnement latent qui doit être résolu nativement au sein de l'architecture DiT, plutôt que de déléguer le raisonnement à des Modèles de Langage Multimodaux (MLLM) externes susceptibles d'introduire des hallucinations, ou de traiter l'architecture de base comme une boîte noire.

Méthodologie : RVEDiT

Les auteurs proposent RVEDiT (Reasoning Video Editing DiT), un cadre conçu pour structurer le flux de conditionnement et superviser le processus de raisonnement interne. Il se compose de deux composantes complémentaires :

1. Conditionnement de Tokens Routé par Granularité (GRTC)

Cette composante adresse le goulot d'étranglement du conditionnement indifférencié en introduisant un mécanisme de routage sensible à la profondeur :

• Tokens d'Édition Apprenables : Un ensemble de $K$ tokens d'édition apprenables ($X_e$) est distillé à partir d'un MLLM (spécifiquement Qwen2.5-VL) à partir de la vidéo source et de l'instruction. Ces tokens agissent comme un vecteur abstrait et contextualisé globalement de l'intention d'édition.
• Routage Basé sur la Profondeur : Les tokens sont acheminés vers différentes couches du DiT en fonction de leur granularité sémantique :
  • Couches Superficielles ($\ell_{idx} \le L_s$) : Atteignent uniquement les tokens d'édition apprenables ($X_e$). Cela permet aux premiers blocs d'établir une intention d'édition globale sans être dilués par des milliers de tokens au niveau des pixels.
  • Couches Profondes ($\ell_{idx} > L_s$) : Atteignent la séquence complète $[X_e; X_v; X_\ell]$, où $X_v$ sont les tokens visuels natifs et $X_\ell$ les tokens textuels. Cela permet aux blocs plus profonds d'ancrer l'intention globale dans des régions, textures et mouvements spécifiques.
• Effet : Cela crée un processus d'édition du grossier au fin au sein de l'architecture de base, séparant la formation de l'intention globale du raffinement local.

2. Alignement d'Attention Ancré par Référence (RAAA)

Cette composante adresse le goulot d'étranglement du raisonnement non supervisé en introduisant un régularisateur au moment de l'entraînement qui n'engendre aucun coût d'inférence :

• Branche de Référence : Pendant l'entraînement, un deuxième passage avant est effectué à travers le même DiT (avec des poids partagés) conditionné par la vidéo cible de vérité terrain ($v^*$) et son légende ($\ell^*$). Cette branche génère une trace de raisonnement « réussie » (cartes d'attention croisée) qui sert d'ancrage.
• Maximisation de l'Information Mutuelle : La méthode maximise l'information mutuelle entre les caractéristiques d'attention croisée de la branche d'édition (conditionnée par source + instruction) et la branche de référence (conditionnée par la cible).
• Objectif : En utilisant un estimateur InfoNCE symétrique, le modèle est encouragé à aligner la géométrie de l'attention de la branche d'édition avec celle de la branche de référence à une profondeur échantillonnée aléatoirement. Cela enseigne au modèle où et comment porter son attention pour refléter une édition réussie, plutôt que de simplement minimiser l'erreur de reconstruction des pixels.
• Inférence : La branche de référence est écartée après l'entraînement, n'ajoutant aucune surcharge computationnelle au déploiement.

L'objectif final d'entraînement combine la perte standard d'appariement de flux ($\mathcal{L}_{fm}$) avec le terme d'alignement ($\mathcal{L}_{align}$) :
$$\mathcal{L} = \mathcal{L}_{fm} + \lambda_{align} \mathcal{L}_{align}$$

Contributions Clés

1. Formulation du Problème : L'article identifie et formalise deux goulots d'étranglement structurels dans les pipelines DiT existants (conditionnement indifférencié et raisonnement non supervisé) qui entravent le raisonnement implicite dans l'édition vidéo.
2. Cadre RVEDiT : Un cadre natif DiT qui internalise le raisonnement grâce à :
   • Conditionnement de Tokens Routé par Granularité : Établit un processus d'édition du grossier au fin en acheminant les tokens dérivés de MLLM vers les couches superficielles et les tokens natifs vers les couches profondes.
   • Alignement d'Attention Ancré par Référence : Supervise activement la voie de raisonnement en maximisant l'information mutuelle entre les traces d'attention d'édition et de référence.
3. Validation Empirique : Des expériences extensives démontrent que RVEDiT surpasse les références open-source de l'état de l'art, en particulier dans les éditions localisées, compositionnelles et sensibles à la fidélité.

Résultats Expérimentaux

Les auteurs ont évalué RVEDiT sur le OpenVE-Bench contre des références incluant VACE, OmniVideo, ICVE, Lucy-Edit, DITTO et Kiwi-Edit. L'évaluation a été réalisée en utilisant un protocole MLLM-comme-juge (Gemini-3.1-Pro et Qwen3.5-VL-35B) notant trois axes : Conformité à l'Instruction (IC), Fidélité de la Cohérence (CF) et Qualité Visuelle (VQ).

• Performance Quantitative : RVEDiT a obtenu les meilleurs scores globaux sous les deux juges (77,42 avec Qwen3.5-VL-35B et 62,48 avec Gemini-3.1-Pro).
• Gains Spécifiques : Le modèle a montré des performances particulièrement fortes sur les tâches Ajout Local et Changement Local, qui nécessitent une modification précise et la préservation du contenu environnant. Il a également bien performé sur le transfert de Style Global.
• Études d'Ablation :
  • La suppression de GRTC a dégradé les performances sur les tâches nécessitant une intention globale claire (Ajout Local, Style Global).
  • La suppression de RAAA a causé une baisse dans les tâches nécessitant une correspondance positionnelle fine (Ajout Local, métriques CF et VQ).
  • La suppression des deux composantes a entraîné un échec significatif, en particulier dans les tâches de Suppression Locale (IC a chuté de près de 17 points par rapport au modèle complet).
• Analyse Mécanistique : L'analyse de la masse d'attention a confirmé que les couches superficielles se concentrent sur les tokens d'édition (intention globale) tandis que les couches plus profondes se tournent vers les tokens natifs (raffinement local), validant la conception du grossier au fin.

Importance et Revendications

L'article revendique que RVEDiT démontre avec succès que façonner explicitement le processus de raisonnement interne des architectures de base génératives est une voie viable vers une édition vidéo robuste et contrôlable. En traitant la tâche comme un problème de raisonnement latent et en s'attaquant aux goulots d'étranglement structurels des DiT standards, la méthode atteint :

• Fidélité aux Instructions : Meilleure adhésion aux instructions complexes en langage naturel.
• Préservation de la Source : Meilleure rétention du contenu non édité et de la structure de la scène.
• Cohérence Temporelle : Réduction du scintillement et des artefacts entre les images.

Les auteurs soulignent que ces améliorations sont obtenues sans modules de planification externes ni coûts d'inférence supplémentaires, suggérant que les passes génératives de bout en bout peuvent être dotées de capacités de raisonnement implicite grâce à la conception architecturale et à des objectifs d'entraînement ciblés.