Résumé technique : Préserver, Révéler, Étendre : Édition vidéo 4D fidèle avec conditionnement conscient des régions

1. Énoncé du problème : Inadéquation Preuve-Rôle

Les modèles de diffusion vidéo 4D existants excellent dans la génération de vidéos plausibles conditionnées par des représentations de scènes 4D (par exemple, mouvement de la caméra, trajectoires d'objets). Cependant, l'édition vidéo 4D fidèle présente un défi distinct : le modèle doit simultanément préserver les régions observées à la source (en conservant l'identité, la texture et les détails temporels) et synthétiser du contenu nouvellement visible, désocclu ou hors champ.

Les auteurs identifient un mode de défaillance critique nommé Inadéquation Preuve-Rôle. Dans les approches actuelles, un signal de conditionnement unique (généralement un proxy 4D rendu grossier) entremêle trois types d'informations distincts :

1. Preuves fiables : Observations étayées par la source qui doivent être préservées.
2. Indices non fiables : Indices rendus pour les régions désocclues qui manquent de support de vérité terrain.
3. Régions non étayées : Zones en dehors du champ de vue original nécessitant une extrapolation.

Traiter ces éléments de manière uniforme force le modèle de diffusion à inférer implicitement la fiabilité des preuves et les rôles d'édition, entraînant une dérive de préservation (dégradation du contenu source), des fantômes (fuite de preuves invalides dans les zones révélées) et une extrapolation instable dans les vues étendues.

2. Méthodologie : Le cadre PREX

Pour remédier à l'Inadéquation Preuve-Rôle, l'article propose PREX (Préserver, Révéler, Étendre), un cadre conscient des régions qui décompose le volume spatio-temporel cible en trois rôles distincts basés sur le support d'observation et l'étendue de la scène.

2.1 Décomposition des régions

Pour chaque image cible, les pixels sont catégorisés en :

• Préserver ($M^P$) : Pixels soutenus par des observations sources valides après l'édition. Ceux-ci doivent conserver l'apparence originale et le comportement temporel.
• Révéler ($M^R$) : Pixels non étayés à l'intérieur de l'étendue de la scène originale (par exemple, désocclusions causées par la suppression ou le mouvement d'objets). Ceux-ci nécessitent une complétion cohérente avec la scène.
• Étendre ($M^E$) : Zones nouvellement visibles en dehors du champ de vue original. Ceux-ci nécessitent une extrapolation cohérente hors champ.

2.2 Conditionnement d'apparence étayé par l'observation

Au lieu d'utiliser l'apparence 4D rendue brute comme condition RGB directe, PREX construit un champ d'apparence étayé par l'observation ($C_{rgb}$) :

• Pour les régions Préserver, il récupère l'apparence à partir d'images sources voisines en utilisant des vérifications de visibilité, de profondeur, d'instance et de cohérence vue-temps.
• Pour les régions Révéler et Étendre, il traite les pixels comme non étayés, fournissant uniquement un conditionnement faible ou de faible confiance pour permettre au modèle de diffusion de synthétiser du contenu.

2.3 Confiance géométrique

Une carte de confiance continue ($C_{conf}$) est estimée pour mesurer la fiabilité du support 4D projeté. Cette carte est dérivée de la couverture de projection, de la cohérence des instances et de la variation locale de profondeur. Une haute confiance est attribuée aux preuves stables et géométriquement cohérentes ; une faible confiance est attribuée aux régions éparses ou ambiguës.

2.4 Adaptateur conscient des régions

PREX emploie un Adaptateur conscient des régions pour injecter ces contrôles dans un squelette de diffusion vidéo figé (Wan2.1-I2V-14B).

• L'adaptateur encode l'apparence étayée par l'observation ($z_{rgb}$), les cartes de confiance et les masques de région ($M^R, M^E$) en jetons de contrôle.
• Ces jetons sont injectés sous forme d'indices résiduels dans des couches sélectionnées du squelette figé.
• Cette conception permet au modèle d'apprendre des comportements spécifiques aux rôles (préservation vs synthèse) sans réentraîner l'ensemble du squelette, maintenant une forte qualité visuelle tout en s'adaptant aux contraintes d'édition.

2.5 Entraînement par curriculum de tâche proxy

Puisque les données appariées (vidéo source + scène 4D éditée + vérité terrain vidéo éditée) sont rares, PREX utilise un curriculum de tâche proxy entraîné sur des vidéos non éditées. Le curriculum simule les trois rôles :

1. Préservation : Entraîner le modèle à conserver les régions soutenues par des observations fiables.
2. Révéler : Entraîner le modèle à compléter synthétiquement les zones de la scène retenues.
3. Étendre : Entraîner le modèle à extrapoler du contenu au-delà de la fenêtre de vue observée.

3. PREBench : Un benchmark diagnostique

Les auteurs introduisent PREBench, un benchmark diagnostique conçu pour évaluer l'édition 4D fidèle avec des métriques conscientes des régions, allant au-delà des scores de qualité vidéo holistiques.

• Jeu de données : Curaté à partir de six jeux de données (DynPose-100K, UVO, PointOdyssey, etc.) avec 10 000 échantillons d'entraînement et 350 cas de test d'édition du monde réel (caméra uniquement et caméra-objet conjointe).
• Métriques :
  • Préserver : P-LPIPS, P-DISTS, P-TempDrift (mesurant la fidélité source et la stabilité temporelle).
  • Révéler : R-Ghost (mesurant la fuite de preuves invalides), R-Seam (continuité des frontières).
  • Étendre : E-Temp (stabilité temporelle), E-Seam, E-Copy (détection de la copie/déformation dégénérée des textures de frontière).
• Validation : Des études de préférence humaine confirment que des métriques comme R-Ghost et E-Copy s'alignent bien avec les jugements humains sur des artefacts spécifiques.

4. Résultats expérimentaux

Les expériences démontrent que PREX surpasse les références de l'état de l'art (par exemple, DaS, GEN3C, VerseCrafter, NeoVerse) tant en qualité globale qu'en fidélité spécifique aux régions.

• Qualité globale : PREX atteint le Score Global VBench le plus élevé (77,99), indiquant un réalisme perceptuel et une régularité temporelle compétitifs.
• Fidélité consciente des régions :
  • Préserver : PREX obtient l'erreur la plus faible en P-LPIPS (0,2137) et P-TempDrift, réduisant considérablement la dérive de préservation par rapport aux références.
  • Révéler : PREX obtient le score R-Ghost le plus bas (0,1374), supprimant efficacement les artefacts fantômes dans les zones désocclues.
  • Étendre : PREX affiche les meilleurs scores E-Temp (0,0615) et E-Copy (0,7085), indiquant une synthèse hors champ plus stable et non dégénérée.
• Précision du contrôle : PREX atteint les erreurs de rotation et de translation de caméra les plus faibles dans les deux configurations caméra uniquement et caméra-objet conjointe, démontrant une adhésion précise aux éditions 4D.
• Étude utilisateur : Dans une étude 2AFC, PREX a été préféré aux références dans 82,6 % des cas pour l'alignement du mouvement, 81,9 % pour la préservation du contexte d'entrée et 81,8 % pour la qualité visuelle perçue.

5. Importance et revendications

L'article revendique que séparer la fiabilité des preuves du rôle d'édition est fondamental pour l'édition vidéo 4D fidèle. En décomposant explicitement le problème en rôles Préserver, Révéler et Étendre, PREX résout l'Inadéquation Preuve-Rôle qui afflige les approches de conditionnement unifiées existantes.

• Contribution clé : L'introduction d'un cadre conscient des régions qui permet une préservation étayée par l'observation tout en autorisant une synthèse générative pour les régions non étayées, le tout au sein d'un seul squelette de diffusion figé.
• Valeur diagnostique : PREBench fournit un outil d'évaluation granulaire qui localise des modes de défaillance spécifiques (fantômes, dérive, copie) plutôt que de s'appuyer sur des scores agrégés, rendant les limites des méthodes d'édition 4D plus interprétables.
• Modestie : Les auteurs reconnaissent que PREX dépend de la précision de la reconstruction 4D en amont. Des erreurs dans la géométrie, les poses de caméra ou l'estimation de la visibilité peuvent se propager aux masques de région, et la méthode peut avoir des difficultés avec des occlusions dynamiques complexes, des mouvements non rigides ou des objets transparents où des preuves 4D fiables sont difficiles à obtenir.

En résumé, PREX fait avancer le domaine en changeant le paradigme de la « génération plausible » vers l'« édition fidèle », garantissant que les preuves sources sont préservées là où elles sont valides et synthétisées uniquement là où c'est nécessaire.