Résumé Technique : MoCam - Synthèse Unifiée de Nouvelles Vues via des Dynamiques de Débruitage Structurées

1. Énoncé du Problème

La synthèse générative de nouvelles vues fait face à un dilemme fondamental dans la réconciliation des priors géométriques avec les priors d'apparence.

• Priors Géométriques : Les méthodes s'appuyant sur une géométrie reconstruite (par exemple, cartes de profondeur, nuages de points) fournissent un alignement spatial essentiel pour les trajectoires de caméra cibles. Cependant, sous des changements de vue significatifs ou avec une entrée monoculaire, ces priors deviennent inévitablement clairsemés, incomplets et erronés en raison de la désocclusion et de l'imprécision de la profondeur.
• Priors d'Apparence : Les images ou vidéos sources offrent des détails visuels haute fidélité mais manquent de correspondance géométrique avec les nouvelles vues.
• Le Conflit : Les approches existantes soit propagent les erreurs géométriques tout au long du processus de génération (en s'appuyant uniquement sur des échafaudages), soit tentent de fusionner géométrie et apparence de manière statique. La fusion statique entraîne des conflits de signal où des indices d'apparence forts provoquent une dérive géométrique précoce dans la génération, ou où une géométrie défectueuse « cuit » définitivement des erreurs structurelles dans la sortie tardivement dans la génération. Cela se traduit par un effondrement géométrique, des artefacts visuels et une instabilité, en particulier dans les tâches de recaméra 4D (scènes dynamiques) et de reconstruction 3D à partir d'une seule image.

2. Méthodologie : MoCam

MoCam introduit un cadre qui unifie la synthèse de vues statiques et dynamiques en employant des dynamiques de débruitage structurées au sein d'un processus de diffusion. L'idée centrale est que les modèles de diffusion ont des besoins de représentation distincts à travers différentes phases de débruitage : les étapes précoces nécessitent un ancrage structurel grossier, tandis que les étapes ultérieures exigent un raffinement haute fréquence.

2.1 Vue d'ensemble du Pipeline

La méthode opère en trois étapes principales :

1. Génération d'Échafaudage : Un nuage de points dynamique est construit à partir de la vidéo d'entrée monoculaire (ou d'une seule image répliquée pour $N$ images) en utilisant un estimateur de profondeur et une projection de perspective inverse. Ce nuage de points est rendu le long de la trajectoire de caméra cible pour créer une « vidéo d'échafaudage » grossière ($x_{ren}^{tgt}$). Cet échafaudage est spatialement aligné avec le mouvement cible mais contient des artefacts significatifs (trous, distorsions).
2. Architecture à Double Conditionnement : Le modèle utilise deux signaux de conditionnement distincts :
   • Condition d'Échafaudage ($c_{ren}$) : Dérivée de la vidéo d'échafaudage rendue, fournissant des priors forts de mouvement et de structure.
   • Condition d'Apparence de Référence ($c_{src}$) : Dérivée de la vidéo source originale, fournissant une texture haute fidélité et des dynamiques d'objets.
3. Génération par Étapes : Au lieu de fusionner ces signaux de manière statique, MoCam les découple temporellement en fonction du pas de temps de débruitage $t$.

2.2 Dynamiques de Débruitage Structurées

Le processus de génération est régi par un contexte dépendant du temps $c(t)$, défini par un commutateur à un seuil prédéfini $T_{switch}$ (fixé empiriquement à 0,85) :

$$c(t) = \begin{cases} c_{ren} & \text{si } t > T_{switch} \quad (\text{Étape Précoce}) \\ c_{src} & \text{si } t \le T_{switch} \quad (\text{Étape Ultérieure}) \end{cases}$$

• Étape Précoce ($t > T_{switch}$) : Le modèle se conditionne uniquement sur l'échafaudage ($c_{ren}$). Puisque la variable latente est majoritairement du bruit, la tâche principale est d'établir une structure globale et une cohérence du mouvement. Le modèle est contraint de s'adhérer à la trajectoire de caméra cible, tolérant délibérément l'incomplétude géométrique de l'échafaudage pour ancrer la disposition de la scène.
• Étape Ultérieure ($t \le T_{switch}$) : Le modèle commute pour se conditionner uniquement sur l'apparence source ($c_{src}$). À ce stade, une structure basse fréquence cohérente est déjà établie. Le modèle utilise la vidéo de référence haute fidélité pour synthétiser des détails, raffiner les textures et corriger activement les erreurs géométriques et combler les régions désoccluses héritées de l'échafaudage. Cela empêche les défauts de l'échafaudage d'être cuits définitivement dans la sortie finale.

Le cadre est construit sur la base de modèles génératifs de vidéos latentes préentraînés (par exemple, Wan2.2), opérant dans un espace latent compressé via un Autoencodeur Variationnel (VAE).

3. Contributions Clés

1. Identification du Conflit de Signal : L'article identifie la tension fondamentale entre les priors géométriques et d'apparence dans la synthèse générative de vues, arguant que la fusion statique conduit à une interférence de signal et à une propagation d'erreurs.
2. Dynamiques de Débruitage Structurées : Les auteurs proposent une solution fondée sur des principes qui découple temporellement ces signaux. En alignant l'échafaudage avec un ancrage structurel précoce et l'apparence avec un raffinement tardif, la méthode atteint un désentanglement robuste géométrie-apparence.
3. Cadre Unifié : MoCam présente un cadre unique applicable à la fois à la reconstruction 3D à partir d'une seule image et au recaméra 4D vidéo. Il démontre que le conditionnement par étapes se généralise à travers les modalités d'entrée, abordant le défi de la synthèse de vues sous une géométrie peu fiable sans nécessiter d'optimisation par scène.

4. Résultats Expérimentaux

La méthode a été évaluée sur le jeu de données OpenVid-1M (vidéos monoculaires « in-the-wild ») et le jeu de données multi-vues iPhone.

• Performance Quantitative : MoCam surpasse nettement les méthodes de l'état de l'art (GEN3C, TrajCrafter, ReCam) sur plusieurs métriques :
  • Qualité Perceptuelle : Obtient des scores supérieurs dans les métriques VBench (Cohérence de l'arrière-plan, Cohérence du sujet, Qualité d'imagerie) et des scores FVD-V plus bas (par exemple, 255,16 contre 289,37 pour GEN3C en reconstruction 3D).
  • Précision de la Pose : Maintient les erreurs de rotation et de translation les plus faibles, démontrant un contrôle précis de la caméra.
  • Métriques Pixel par Pixel : Sur le jeu de données iPhone, MoCam atteint le PSNR et le SSIM les plus élevés, ainsi que les LPIPS et FVD les plus bas, indiquant une haute fidélité par rapport à la vérité terrain.
• Robustesse à la Dégradation Géométrique : Les expériences faisant varier l'amplitude du mouvement de la caméra (orbites de 30° à 90°) montrent que MoCam maintient une performance constante à mesure que la parcimonie géométrique augmente. Les concurrents souffrent d'une dérive catastrophique ou d'un effondrement structurel sous de grands changements de vue, alors que l'approche par étapes de MoCam empêche la dérive et corrige les erreurs clairsemées.
• Études d'Ablation :
  • Échafaudage-Seulement : Résulte en des métriques effondrées, confirmant qu'un conditionnement géométrique persistant cuit les erreurs.
  • Échafaudage-Précoce : Évite les pires artefacts mais produit des détails flous dans les régions désoccluses sans le signal d'apparence tardif.
  • Statique-Tous : Souffre d'une instabilité géométrique catastrophique (erreurs élevées de rotation/translation) en raison de l'interférence de signal, validant la nécessité d'un découplage temporel.
  • Généralisation : La méthode se comporte de manière cohérente à travers différentes architectures de base (Wan2.1 et Wan2.2).

5. Importance et Revendications

L'article revendique que MoCam aborde le défi sous-jacent de la synthèse de vues sous une géométrie peu fiable en transformant le processus de débruitage en une progression structurée allant de l'alignement au réalisme.

• Robustesse : La méthode atteint un désentanglement robuste géométrie-apparence, générant des résultats cohérents et photoréalistes même lorsque les nuages de points contiennent des trous ou des distorsions sévères.
• Correction d'Erreurs : Contrairement aux méthodes antérieures qui propagent les erreurs, le conditionnement d'apparence tardif de MoCam corrige activement les imprécisions géométriques.
• Approche Unifiée : Il met en évidence que le même principe de génération s'applique à la fois à la synthèse de vues statiques et dynamiques, offrant une solution unifiée pour la reconstruction 3D et le recaméra 4D sans besoin de données multi-vues denses ou d'optimisation par scène.

Les auteurs concluent que leur conception par étapes établit de nouvelles normes pour la synthèse de vues contrôlable en atténuant efficacement les limites des reconstructions monoculaires imparfaites.