Résumé technique : GeoT2V-Bench

Problématique

Les modèles de texte-vers-vidéo (T2V) sont de plus en plus sollicités par des instructions de mouvement de caméra (par exemple, « orbiter autour d'une statue », « faire un travelling avant dans une pièce ») pour synthétiser des captures de caméras virtuelles. Alors que les benchmarks existants évaluent la plausibilité visuelle, la fluidité temporelle et l'alignement textuel, ils échouent à vérifier si les images générées constituent des preuves multi-vues cohérentes d'une scène 3D statique unique. Des vidéos visuellement plausibles peuvent néanmoins violer la cohérence 3D globale en présentant des textures dérivantes, des imitations de parallaxe 2D ou des déformations de scène non physiques. De plus, l'évaluation basée sur la reconstruction est intrinsèquement fragile : l'estimation de la pose de la caméra peut échouer en raison d'une faible parallaxe, et la reconstruction 3D statique peut échouer si les images ne correspondent pas à une scène stable. Les métriques actuelles confondent souvent les échecs de génération de vidéo avec les échecs du backend de reconstruction ou reposent sur une cohérence géométrique locale (par exemple, GeCo) qui ne garantit pas l'explicabilité d'une scène statique globale.

Méthodologie : GeoT2V-Bench

Les auteurs introduisent GeoT2V-Bench, un benchmark de diagnostic basé sur la reconstruction qui évalue les sorties T2V commandées par caméra comme des acquisitions de scènes statiques synthétiques. Plutôt que de produire un label scalaire succès/échec, le benchmark génère un profil de reconstruction continu.

Aperçu du pipeline

Le pipeline d'évaluation traite une vidéo générée $V$ et un prompt $p$ à travers les étapes suivantes :

1. Estimation de la caméra (VGGT) :
   Le système estime les intrinsèques ($K_t$) et les poses ($T_t$) par image en utilisant VGGT [33], un estimateur de géométrie de type feed-forward. Cela établit une trajectoire de caméra candidate. Le pipeline vérifie d'abord la présence de « preuves d'acquisition active » (mouvement apparent suffisant et trajectoire cohérente) pour s'assurer que la vidéo n'est pas trivialement statique.

2. Ajustement flexible (DeformableGS) :
   En utilisant les caméras estimées, le système ajuste une représentation DeformableGS [40] sur-paramétrée. Ce modèle 4D flexible peut absorber les incohérences (par exemple, repentiement dépendant de la vue, dérive non physique) sous forme de variations temporelles. L'erreur de rendu de cet ajustement ($E_{fit}$) sert de base pour déterminer dans quelle mesure la vidéo peut être expliquée par n'importe quelle géométrie variable dans le temps.

3. Proxy statique (MedianGS) :
   Pour tester l'explicabilité de la scène statique, le système dérive un proxy MedianGS ($G_{med}$) en appliant une agrégation de la médiane temporelle aux paramètres de DeformableGS (décalages de position, de rotation et d'échelle). Cela crée une représentation 3D statique qui représente la composante temporellement stable de la séquence.

4. Comparaison à même caméra :
   Le proxy MedianGS est rendu le long de la trajectoire de caméra originale estimée par VGGT. Le système compare ce rendu statique à la vidéo générée pour mesurer à quel point une scène statique explique les observations.

Métriques clés

Le benchmark rapporte un profil de diagnostics continus :

• $E_{LPIPS}^{med}$ (Erreur de rendu statique MedianGS) : Mesure la différence d'apparence par image entre la vidéo générée et le rendu statique MedianGS.
• CEMR (Ratio de mouvement expliqué par la caméra) : Compare le flux optique de la vidéo générée avec le flux optique induit par le rendu statique MedianGS. Un CEMR élevé indique que la scène statique explique le mouvement temporel ; un CEMR faible ou négatif indique que le mouvement n'est pas expliqué par la géométrie statique.
• $\Delta_{stat}$ (Écart statique-flexible) : Défini comme $E_{LPIPS}^{med} - E_{LPIPS}^{fit}$. Un écart important indique qu'une représentation flexible et variable dans le temps explique la vidéo de manière nettement plus efficace qu'une représentation statique, suggérant des changements de scène non physiques.
• Énergie de déformation ($E_{deform}$) : Quantifie l'ampleur des décalages temporels dans l'ajustement DeformableGS, fournissant un contexte pour l'écart statique-flexible.
• Descripteurs de preuve active : Comprend la magnitude moyenne du flux optique ($\bar{F}_{orig}$) et le virage cumulé lissé de la caméra ($\Theta_s$) pour valider la présence de preuves d'acquisition.

ControlBench

Pour interpréter ces diagnostics, les auteurs introduisent ControlBench, une suite de tests de stress utilisant de réelles acquisitions statiques et des transformations réellement dérivées (vidéo figée, zoom numérique, déformation latérale, repentiement de texture, déformation de premier plan). Cette suite valide si les métriques répondent de manière plausible aux changements géométriques et d'apparence connus.

Configuration expérimentale

• Dataset : 3 840 clips générés à partir de 80 prompts de scènes statiques contrôlées (issues de GeCo-Eval [9]) à travers 12 configurations de modèles en open-weight (incluant CogVideoX, HunyuanVideo, LTX-Video, MAGI-1, Open-Sora, SkyReels, Wan) et 4 graines de génération.
• Format : Tous les clips sont standardisés à 49 images, résolution 256×256, 8 fps.
• Comparaison : Les résultats sont comparés à GeCo [9], un travail antérieur se concentrant sur la cohérence géométrique locale.

Résultats clés

L'évaluation révèle que les classements à scalaire unique sont trompeurs et que différents modes de défaillance sont souvent orthogonaux :

• Modes de défaillance divergents : Les modèles ayant une faible erreur de rendu statique (ex: MAGI-1) échouent souvent au test de preuve active ou présentent un CEMR médiocre (mismatch du mouvement temporel). Inversement, les modèles avec un mouvement actif (ex: HunyuanVideo-1.5) peuvent présenter des erreurs de rendu statique élevées et une énergie de déformation élevée.
• Complémentarité avec GeCo : GeoT2V-Bench capture des modes de défaillance que GeCo manque. Un clip peut avoir une faible incohérence géométrique locale (bon score GeCo) mais échouer à l'audit de reconstruction globale (mauvais CEMR ou écart statique-flexible élevé), indiquant que la cohérence locale ne garantit pas une trajectoire de caméra globale cohérente ou une scène statique.
• Interdépendance des métriques : Un faible LPIPS par image ne garantit pas la cohérence temporelle. Le CEMR est crucial pour distinguer les clips qui paraissent simplement statiques de ceux qui soutiennent véritablement une explication 3D statique sous mouvement de caméra.

Signification et revendications

L'article affirme que GeoT2V-Bench déplace le paradigme d'évaluation de la « plausibilité vidéo » vers des « preuves multi-vues reconstruisables ». Ses principales contributions sont :

1. Formulation : Définir l'évaluation T2V commandée par caméra comme un test pour savoir si une vidéo peut être expliquée comme les observations d'une scène statique unique le long d'un chemin de caméra estimé.
2. Caractérisation par étapes de difficulté : Souligner que l'estimation de la pose de la caméra et la reconstruction 3D sont deux étapes fragiles qui peuvent échouer en raison des incohérences mêmes qui sont mesurées.
3. Profil de diagnostic : Introduire un profil continu (erreur MedianGS, CEMR, écart statique-flexible) qui sépare les preuves actives, le comportement de reconstruction statique et l'explication du mouvement temporel, évitant la confusion des différents types de défaillances.
4. Diagnostics complémentaires : Démontrer que les diagnostics basés sur la reconstruction révèlent des modes de défaillance (incohérence de trajectoire globale, changements de scène non physiques) que les métriques de géométrie locale comme GeCo ne détectent pas.

Les auteurs insistent sur le fait que le benchmark est un outil de diagnostic, et non un classificateur de qualité visuelle. Des résidus faibles peuvent indiquer une faible preuve d'acquisition plutôt qu'une haute qualité, et des résidus élevés peuvent découler de limitations du backend ou d'un mouvement complexe plutôt que d'un échec de génération. Le travail soutient l'interprétation de ces diagnostics via les tests de stress ControlBench.