💻 computer science

Epipolar Geometry Improves Video Generation Models

Cet article démontre que l'intégration de contraintes de géométrie épipolaire classique via une optimisation basée sur les préférences améliore considérablement la cohérence géométrique et la stabilité du mouvement des modèles de diffusion vidéo modernes, réduisant l'erreur épipolaire de 31 % et améliorant la cohérence évaluée par l'humain à 72 % sans compromettre la qualité visuelle.

Auteurs originaux : Orest Kupyn, Théo Uscidda, Marta Tintore Gazulla, Fabian Manhardt, Federico Tombari, Christian Rupprecht

Publié 2026-06-19

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Orest Kupyn, Théo Uscidda, Marta Tintore Gazulla, Fabian Manhardt, Federico Tombari, Christian Rupprecht

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un artiste très talentueux mais légèrement maladroit. Cet artiste peut peindre de magnifiques images animées (vidéos) basées sur vos descriptions. Il sait peindre une voiture, un arbre ou une personne. Mais lorsqu'il essaie de faire bouger la caméra autour de ces objets, les choses deviennent bizarres. La voiture peut soudainement s'étirer comme du taffy, l'arrière-plan peut se déformer, ou la caméra peut tressauter d'une manière qui semble physiquement impossible. L'artiste sait ce que les choses représentent, mais il ne comprend pas tout à fait les règles de fonctionnement de l'espace 3D.

Ce document présente une façon d'enseigner à cet artiste les « règles de la route » de l'espace 3D, en utilisant un ensemble d'instructions très anciennes et très fiables appelé géométrie épipolaire.

Voici une décomposition simple de la manière dont ils ont procédé :

1. Le problème : La « caméra vacillante »

Même si les modèles de vidéo IA modernes sont entraînés sur des millions de vidéos, ils éprouvent encore des difficultés avec la cohérence 3D.

Le problème : Si vous regardez une vidéo où la caméra se déplace, les objets de la scène devraient bouger d'une manière prévisible et mathématique les uns par rapport aux autres. S'ils ne le font pas, la vidéo semble fausse, glitchée ou « onirique » de manière négative.
L'analogie : Imaginez regarder un film où les acteurs marchent sur une scène, mais où le sol de la scène ondule comme de l'eau. Cela brise l'illusion que vous regardez un lieu réel.

2. La solution : « La règle graduée de la vieille école »

Au lieu d'essayer d'enseigner à l'IA une nouvelle façon complexe de comprendre l'espace 3D à partir de zéro, les chercheurs ont utilisé un outil classique des années 1980 appelé géométrie épipolaire.

Qu'est-ce que c'est ? Considérez cela comme un livre de règles géométriques strictes. Si vous prenez deux photos de la même scène sous des angles différents, il existe une ligne mathématique (une « ligne épipolaire ») que tout point correspondant doit suivre.
La métaphore : Imaginez que vous jouez à un jeu de « points à relier » avec deux photos différentes. Si les points ne s'alignent pas selon les règles strictes de la perspective, l'image est brisée. Ce document utilise ce livre de règles strictes comme un arbitre.

3. La méthode : « Choisir le meilleur, ignorer le reste »

Les chercheurs n'ont pas essayé de forcer l'IA à apprendre les mathématiques directement (ce qui est difficile car les mathématiques sont « non différentiables », ce qui signifie que c'est comme essayer d'apprendre à un ordinateur à comprendre une règle physique en utilisant uniquement du code logiciel). À la place, ils ont utilisé une technique appelée optimisation de préférence.

Voici comment le cycle d'entraînement a fonctionné :

Le prompt : Ils ont donné un prompt à l'IA (ex : « Une caméra survolant une ville »).
Le lot (Batch) : L'IA a généré trois vidéos différentes pour ce même prompt.
L'arbitre : Ils ont passé les vidéos au travers de la « règle graduée de la vieille école » (le test de géométrie épipolaire).
- Vidéo A : La caméra se déplace de manière fluide et les bâtiments restent rigides. (Réussit le test).
- Vidéo B : Les bâtiments se déforment et la caméra tressaille. (Échoue au test).
La leçon : L'IA a été informée : « Tu as mieux réussi sur la Vidéo A que sur la Vidéo B. Souviens-toi de ce sentiment. »
Le résultat : Avec le temps, l'IA a appris à générer plus de vidéos comme la A et moins comme la B, simplement en essayant de satisfaire les règles géométriques.

4. La partie délicate : Statique vs Dynamique

Il y avait un piège. Les règles géométriques fonctionnent parfaitement lorsque la caméra se déplace mais que les objets restent immobiles (comme un paysage urbain). Mais qu'en est-il si la vidéo contient un chien qui court ou un oiseau qui vole ? Les règles deviennent confuses car le chien bouge de lui-même.

Pour résoudre cela, les chercheurs ont utilisé une astuce ingénieuse :

Entraînement : Ils n'ont entraîné l'IA que sur des vidéos où la caméra se déplaçait mais le monde était statique.
La magie : Même s'ils ne lui ont appris qu'à gérer des mondes statiques, l'IA a appris le prinième général de la façon dont une caméra doit se déplacer. Lorsqu'ils ont testé l'IA sur des vidéos avec des objets en mouvement (comme des gens qui courent), l'IA appliquait toujours ces règles de caméra fluides et stables.
L'analogie : C'est comme apprendre à un conducteur à conduire parfaitement sur une autoroute droite et déserte. Lorsqu'on le met dans le trafic, il sait toujours diriger son véhicule avec fluidité parce qu'il a appris la compétence fondamentale de la direction, et pas seulement comment éviter les autres voitures.

5. Les résultats : Plus fluide, plus réel, meilleur

Le document affirme qu'en utilisant ces règles géométriques simples plutôt que des scores complexes « à la manière humaine », ils ont obtenu de meilleurs résultats :

Moins de bugs : Les artefacts de type « vacillement » ont considérablement chuté.
Une meilleure sensation de 3D : Les vidéos ressemblent beaucoup plus à des espaces 3D réels.
Approbation humaine : Lorsque les humains ont regardé les vidéos, ils ont préféré la nouvelle version 72 % du temps par rapport à l'ancienne version (qui n'était cohérente qu'à 54 %).
Pas de perte de créativité : L'IA n'a pas cessé de créer des vidéos cool ; elle les a simplement rendues physiquement plausibles.

Résumé

Ce document dit essentiellement : « Ne réinventez pas la roue. »
L'IA moderne est excellente pour apprendre des motifs à partir de données, mais elle oublie parfois les lois fondamentales de la physique et de la géométrie. En ajoutant un simple « arbitre » mathématiquement strict (la géométrie épipolaire) au processus d'entraînement, l'IA a appris à générer des vidéos qui ne sont pas seulement jolies, mais aussi géométriquement stables et réalistes, sans avoir besoin d'apprendre la reconstruction 3D complexe à partir de zéro.

Résumé technique : La géométrie épipolaire améliore les modèles de génération de vidéo

Énoncé du problème

Les modèles modernes de génération de vidéo, en particulier ceux basés sur des transformeurs de diffusion latente entraînés avec des techniques de flux rectifié (rectified flow), ont réalisé des progrès significatifs dans la génération de contenus réalistes à partir de conditions textuelles et d'images. Cependant, ces modèles sont confrontés à des incohérences géométriques fondamentales, une instabilité du mouvement et des artefacts visuels qui brisent l'illusion de scènes 3D réalistes. Malgré un entraînement sur de vastes ensembles de données intrinsèquement cohérents en 3D, les modèles ne parviennent pas à capturer les principes géométriques de base, produisant souvent des contenus avec une géométrie imparfaite et des défauts de perspective.

Les approches existantes pour améliorer la cohérence 3D font face à plusieurs limitations :

Optimisation du bruit : Les méthodes reposant sur l'optimisation du bruit ou sur un guidage explicite via des nuages de points peuvent restreindre les capacités de génération.
Optimisation dans l'espace latent : Le calcul de pertes géométriques directes dans l'espace latent est difficile.
Alignement subjectif : L'alignement post-entraînement utilisant des données de préférence humaine (par exemple, via l'apprentissage par renforcement) introduit des signaux bruyants, est coûteux à collecter et peut échouer à capturer les principes géométriques objectifs requis pour la cohérence 3D. Les jugements humains sont intrinsèquement subjectifs et ne s'alignent pas nécessairement sur les contraintes géométriques mathématiques.

Méthodologie

Les auteurs proposent une méthode pour combler le fossé entre les modèles de diffusion vidéo modernes et les algorithmes de vision par ordinateur classiques. Au lieu d'incorporer un guidage 3D explicite pendant la génération ou de compter sur des annotations humaines subjectives, l'approche utilise des contraintes géométriques établies et non différentiables comme signaux de récompense au sein d'un cadre d'optimisation basé sur les préférences.

Approche centrale : Optimisation de la géométrie épipolaire

La méthode exploite la géométrie épipolaire pour évaluer la cohérence 3D entre les images d'une vidéo. La logique centrale est la suivante :

Échantillonnage : Plusieurs vidéos sont générées conditionnées par le même prompt, ce qui produit diverses trajectoires de caméra avec des degrés variables de cohérence géométrique.
Calcul de la métrique : Pour des paires de cadres, des correspondances de points sont établies (en utilisant SIFT ou des descripteurs appris). Une matrice fondamentale est estimée via RANSAC, et l'erreur de Sampson est calculée. Cette erreur quantifie la mesure dans laquelle les points correspondants satisfont la contrainte épipolaire ( $x'^\top F x = 0$ ). Une erreur de Sampson plus faible indique une meilleure adhérence à la géométrie projective et une cohérence 3D plus élevée.
Construction des préférences : Les vidéos générées à partir du même prompt sont classées selon leur erreur de Sampson moyenne. La vidéo présentant l'erreur la plus faible est désignée comme l'échantillon préféré ( $x_w$ ), et celle présentant l'erreur la plus élevée comme l'échantillon moins préféré ( $x_l$ ).
Optimisation (Flow-DPO) : Le modèle est affiné à l'aide de l'optimisation de préférence directe (Direct Preference Optimization - DPO) adaptée aux modèles de flux rectifié (Flow-DPO). Cet objectif nécessite uniquement des préférences par paires plutôt que des valeurs de récompense absolues, contournant ainsi le besoin de fonctions de récompense différentiables. La fonction de perte minimise l'erreur de prédiction de la vitesse pour les échantillons préférés par rapport aux moins préférés, guidée par les métriques épipolaires.

Résolution des défis clés

Le document identifie et traite deux défis principaux :

Compromis entre mouvement et cohérence : Un modèle pourrait théoriquement atteindre une cohérence 3D parfaite en générant des vidéos statiques (répétant une seule image). Pour empêcher cette solution dégénérée, une pénalité de variation temporelle ( $L_{temp}$ ) est ajoutée à la fonction d'objectif. Ce terme pénalise la faible variance à travers la dimension temporelle, encourageant le modèle à maintenir le mouvement tout en améliorant la cohérence.
Généralisation aux scènes dynamiques : Les contraintes épipolaires supposent des scènes statiques avec un mouvement de caméra ; les objets dynamiques violent cette hypothèse. Pour garantir que le modèle se généralise au contenu dynamique malgré un entraînement sur des scènes statiques :
- Adaptation de bas rang (LoRA) : Seul un adaptateur de bas rang est affiné, préservant la capacité du modèle de base à produire un contenu dynamique diversifié.
- Divergence KL implicite : L'objectif Flow-DPO maintient naturellement le modèle affiné proche de la distribution de référence, empêchant le surapprentissage aux caractéristiques de scènes statiques.
- Pondération adaptative des timestamps : La perte est pondérée par l'étape temporelle (timestep), attribuant des poids plus faibles aux étapes précoces où le mouvement général de la scène est encodé, et des poids plus élevés aux étapes ultérieures où les détails spatiaux fins (et les violations géométriques potentielles) sont générés.

Principales contributions

Optimisation de la géométrie épipolaire : L'introduction d'une méthode pour affiner les modèles de diffusion vidéo en utilisant les contraintes de géométrie épipolaire (spécifiquement la distance de Sampson) comme signaux de récompense. Cette approche impose une cohérence 3D sans nécess avoir besoin de différentiabilité de bout en bout ou de supervision 3D explicite.
Analyse des défis d'alignement : Le document analyse le compromis entre mouvement et cohérence ainsi que le défi de la généralisation aux scènes dynamiques. Il propose des solutions simples et efficaces (pénalité temporelle, LoRA, régularisation KL et pondération adaptative) pour répondre à ces problèmes.
Cadre d'évaluation complet : Les auteurs développent un protocole d'évaluation étendu mesurant la qualité perceptuelle, la cohérence 3D, la stabilité du mouvement et la généralisation. Ils publient un ensemble de données de 162 000 vidéos générées avec des annotations de cohérence géométrique pour faciliter la recherche ultérieure.
Démonstration de l'utilité de la vision par ordinateur classique : Ce travail démontre qu'une contrainte géométrique de base (Sampson, 1982) peut restaurer des capacités que les modèles de grande échelle basés sur les données échouent à apprendre, jetant un pont entre l'apprentissage fondé sur les données et la vision par ordinateur classique.

Résultats

La méthode proposée a été évaluée sur le modèle Wan-2.1 (1,3 milliard de paramètres) et comparée à des bases de référence et d'autres stratégies d'alignement.

Cohérence 3D : Le modèle aligné par épipolaire a réduit l'erreur de Sampson de 31 % (passant de 0,190 à 0,131). En termes de reconstruction de scène 3D (via le Gaussian Splatting), il a amélioré le PSNR de 3,6 % et le SSIM de 3,2 %.
Évaluation humaine : Les évaluateurs humains ont étiqueté 71,8 % des vidéos du modèle aligné comme étant géométriquement cohérentes, une amélioration significative par rapport aux 54,1 % du modèle de base. Dans les comparaisons par paires, le modèle aligné a été préféré au modèle de base dans 60,4 % des cas de contenu incohérent, tout en préservant la qualité pour le contenu déjà cohérent.
Qualité du mouvement : Le modèle a obtenu un taux de victoire de 53,2 % dans la préférence humaine pour la qualité du mouvement, indiquant une amélioration de la stabilité et une réduction des tremblements, malgré une légère réduction du degré de dynamisme (que les auteurs considèrent comme un compromis nécessaire pour la stabilité).
Qualité visuelle : La méthode a amélioré les scores de qualité esthétique et de cohérence de l'arrière-plan. Elle a obtenu un taux de victoire de 72,0 % dans les évaluations de qualité visuelle de VideoReward.
Généralisation : Malgré un entraînement exclusivement sur des scènes statiques avec des caméras dynamiques, le modèle s'est généralisé efficacement aux scènes dynamiques (benchmarks VBench 2.0, MiraData, VideoReward), atteignant des taux de victoire de 57,9 %, 58,5 % et 58,5 % respectivement.
Comparaison avec les alternatives : L'approche a surpassé l'apprentissage supervisé par affinement sur des jeux de données multi-vues et d'autres méthodes d'alignement (Flow-RWR, DRO), qui soit souffraient de surapprentissage sur les spécificités des jeux de données, soit échouaient à apprendre l'écart entre les trajectoires cohérentes et incohérentes.

Signification

Le papier affirme que les contraintes géométriques classiques fournissent des signaux d'optimisation plus stables et plus fiables que les mesures apprises modernes (telles que celles issues des VLM ou des annotations humaines), qui peuvent être bruyantes ou subjectives. En alignant les modèles sur des principes géométriques fondamentaux via l'optimisation de préférence, les auteurs démontrent qu'il est possible d'améliorer considérablement la cohérence 3D et la stabilité du mouvement des modèles de génération de vidéo sans compromettre leur flexibilité créative ni nécessiter de supervision 3D explicite. Ce travail souligne qu'une contrainte mathématique simple et fondée peut efficacement compléter l'apprentissage profond, répondant ainsi aux limites inhérentes aux approches purement fondées sur les données.