Résumé Technique : StateFlow

Problématique

La prévisualisation (previs) est une étape intermédiaire cruciale dans le cinéma, le développement de jeux et la conception architecturale, permettant aux créateurs d'affiner de manière itérative les scènes, les actions, les caméras et la dynamique spatio-temporelle avant la production finale. Cependant, les méthodes génératives existantes pour la prévisualisation sont mal adaptées à ce processus itératif. Les approches actuelles reposent sur la synthèse d'images ou de vidéos en une seule étape (one-shot), où un seul prompt doit spécifier conjointement le contenu de la scène, la disposition, le mouvement et les paramètres de la caméra. Ces méthodes manquent d'un état de travail persistant, ce qui entraîne :

• Une faible contrôlabilité : Difficulté à effectuer des modifications locales ou à valider des choix de conception spécifiques sans régénérer l'intégralité de la sortie.
• Une incohérence : Incohérence spatio-temporelle, dérive d'identité et instabilité des détails lorsque le contenu est modifié, étendu ou observé sous différents angles.
• Un manque de structure : Elles traitent le monde comme une séquence de sorties visuelles isolées plutôt que comme un état partagé de géométrie, d'apparence et de configurations de caméra pouvant être réutilisé et recombiné.

L'article soutient que le composant manquant dans la prévisualisation générative est un état de travail explicite et persistant (un monde 3D structuré) qui sépare la définition du monde de son évolution et de son observation.

Méthodologie : StateFlow

StateFlow est un cadre centré sur l'état qui déplace l'objectif de la synthèse visuelle en une seule étape vers la construction, l'évolution et l'accès à des mondes 3D éditables. Il représente l'état du monde $W_t$ à n'importe quel instant $t$ comme une collection d'entités d'objets $o_i = (g_i, p_i, s_i)$, où $g$ est la géométrie, $p$ est la pose spatiale et $s$ les attributs sémantiques. Le cadre opère en trois étapes :

1. Construction de l'état

Cette étape initialise l'état du monde $W_0$ à partir de l'intention en langage naturel d'un utilisateur.

• Initialisation par double vue : Pour surmonter les limites de la génération à vue unique (qui sacrifie souvent soit la disposition globale, soit le détail des objets), le système génère deux vues complémentaires : une vue de face pour les actifs d'objets et l'apparence, et une vue de dessus (Bird's-Eye View - BEV) pour la disposition spatiale et le placement sur le plan au sol.
• Réconciliation sensible aux conflits : Puisque les deux vues sont générées indépendamment, elles peuvent présenter des conflits concernant le nombre d'objets ou les hypothèses spatiales. StateFlow utilise un modèle de langage-vision (VLM) doté de priors sémantiques et physiques pour détecter et résoudre ces conflits.
  • Objets correspondants : Les actifs de la vue de face sont placés selon les boîtes de disposition BEV.
  • Objets présents uniquement en BEV : Le VLM valide s'il s'agit d'éléments contextuels plausibles ou d'hallucinations.
  • Objets présents uniquement en vue de face : Traités comme des ancres sémantiques, avec des hypothèses de disposition provisoires déduites du prompt et du contexte.
• Élévation 3D et optimisation : Un opérateur d'élévation sensible à la mise en correspondance (grounding-aware) convertit les boîtes BEV en placements 3D. Une optimisation légère, sans entraînement, affine les boîtes 3D en minimisant les pertes liées à l'identité de la vue de face, à la disposition BEV, aux priors de mise en correspondance du VLM et aux contraintes physiques (ex: collisions).

2. Évolution de l'état

Cette étape met à jour l'état du monde $W_t$ vers $W_{t+1}$ en fonction de l'intention de l'utilisateur, évitant une régénération complète de la scène.

• Transition d'état structurée guidée par l'intention : Au lieu de simuler les dynamiques de manière implicite, un VLM interroge la table d'état structurée pour produire un plan de transition compact ($\Delta_t$).
• Mécanismes de mise à jour :
  • Au niveau de la scène : Supporte l'expansion globale (instanciation de nouvelles régions) et les changements de style (réécriture des descripteurs) tout en préservant le support spatial original et les identités des objets.
  • Au niveau de l'objet : Gère le mouvement rigide (mise à jour de $p_i$), l'évolution des personnages (mises à jour de la pose/trajectoire) et les événements discrets (ex: explosions) via la substitution d'actifs (remplacement de $g_i$ tout en conservant l'identité et le placement).
• Cette approche garantit que le monde reste éditable, conscient de sa mémoire et réutilisable.

3. Accès à l'état

Cette étape détermine comment le monde est accédé pour les tâches en aval, principalement via des trajectoires de caméra.

• Planification de caméra par état de monde : Le système combine le raisonnement sémantique basé sur le VLM avec le feedback géométrique.
• Réflexion par feedback de rendu :
  1. Le VLM propose une trajectoire de caméra initiale ($\pi^0$) basée sur l'intention du réalisateur et l'état du monde.
  2. La trajectoire est exécutée dans un moteur de rendu pour générer des observations.
  3. Le système évalue le résultat rendu pour identifier des problèmes tels que la visibilité, l'occlusion, le cadrage et les collisions.
  4. Un mécanisme de réflexion génère des candidats de réparation locale (ex: ajustement de la distance, des cibles de regard ou de l'azimut) pour corriger des problèmes spécifiques.
  5. Le processus itère jusqu'à ce qu'une trajectoire réalisable soit trouvée, garantissant que le plan de caméra est visuellement ancré sans nécessiter l'entraînement d'une politique de caméra spécifique.

Contributions clés

1. Nouvelle formulation : L'article propose de modéliser la prévisualisation générative comme une modélisation d'état de monde 3D persistant, déplaçant l'attention de la synthèse visuelle isolée vers la construction de mondes 3D éditables, évolutifs et réutilisables.
2. Cadre StateFlow : Un cadre unifié qui construit, fait évoluer et accède aux états de mondes 3D via :
   • Une initialisation par double vue guidée par des priors et sensible aux conflits.
   • Des transitions d'état structurées guidées par l'intention.
   • Une planification de caméra par réflexion de rendu.
3. Applications en aval : Le cadre supporte naturellement deux applications représentatives :
   • Création de vidéo : Incluant la génération de storyboards, la planification de plans et la production vidéo.
   • Prototypage de jeu 3D : Pour la conception et l'exploration de contenus interactifs.

Résultats expérimentaux

Les auteurs ont évalué StateFlow par rapport aux méthodes de génération 3D de pointe (SynCity, SAM3D, PartCrafter) et aux méthodes de génération de vidéo (Animaker, MovieAgent, Wan2.2, Seedance2.0).

• Performance quantitative :
  • Génération de scène : StateFlow a obtenu des scores supérieurs en CLIP-I (0,788) et CLIP-T (30,214) par rapport aux bases de référence, indiquant un meilleur alignement visuel et textuel. Il a également obtenu des scores élevés lors d'études utilisateurs pour la plausibilité de la disposition, la complétude et la qualité géométrique.
  • Génération de vidéo : Sur les métriques VBench, StateFlow a atteint le score moyen le plus élevé (0,8484), excellant particulièrement dans la cohérence des sujets, la cohérence de l'arrière-plan, la fluidité du mouvement et la réduction du scintillement (flicker).
• Analyse qualitative : Les comparaisons visuelles ont démontré que StateFlow produit des scènes avec des dispositions spatiales cohérentes et des identités d'objets stables. Contrairement aux modèles de base qui souffrent d'incohérence spatio-temporelle et de dérive d'identité lors du mouvement de la caméra, StateFlow maintient la cohérence géométrie-apparence.
• Études d'ablation : Le retrait de l'ancrage de la disposition BEV ou de la résolution des conflits a considérablement dégradé la disposition globale et les relations entre objets. Le retrait de la réflexion par feedback de rendu dans la planification de la caméra a entraîné des problèmes de visibilité et de collision, confirmant la nécessité des composants proposés.

Signification et affirmations

L'article affirme que StateFlow comble la lacune fondamentale de la prévisualisation générative en introduisant un état 3D explicite et persistant. Sa signification réside dans :

• L'enablement de flux de travail itératifs : En découplant l'état du monde de la sortie visuelle, les créateurs peuvent affiner les scènes, les actions et les caméras de manière itérative sans perdre la cohérence.
• Le pont entre génération et production : Le cadre sert de représentation intermédiaire entre les modèles génératifs et les flux de travail créatifs orientés production, supportant à la fois la création vidéo cinématographique et le prototypage de jeux interactifs.
• Génération consciente du monde : Il démontre que traiter la vidéo comme une observation d'un état de monde explicite produit des résultats plus contrôlables, structurés et physiquement plausibles que la synthèse vidéo directe.

Les auteurs notent que bien que la méthode accélère la prévisualisation de semaines en minutes, elle est actuellement limitée par la vitesse d'inférence des modèles tiers et ne supporte pas encore l'interaction entièrement en temps réel. Les travaux futurs visent à améliorer l'efficacité grâce à un déploiement de modèles plus rapide.