🤖 AI

CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation

Le papier propose CRePE, une nouvelle méthode de codage positionnel qui exploite les attentes de rayons courbes et un adaptateur d'attention géométrique pour permettre un contrôle unifié et stable de la caméra ainsi qu'une conditionnement géométrique externe dans la génération vidéo, résolvant efficacement les limitations des codages basés sur le sténopé pour les objectifs grand angle et fisheye.

Auteurs originaux : Seonghyun Jin, Youngmin Kim, Sunwoo Park, Jong Chul Ye

Publié 2026-05-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seonghyun Jin, Youngmin Kim, Sunwoo Park, Jong Chul Ye

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un artiste-robot comment peindre une scène vidéo en mouvement. Vous voulez indiquer au robot exactement comment la caméra doit se déplacer (balayer vers la gauche, zoomer, tourner sur elle-même) et quel type d'« objectif » utiliser (comme une caméra standard, un grand-angle qui étire les bords, ou un objectif fisheye qui donne à tout l'aspect d'une bulle).

Le problème avec les artistes-robots précédents est qu'ils ne comprenaient que la direction dans laquelle la caméra regardait, mais pas à quelle distance se trouvaient les objets dans cette direction. C'est comme donner à quelqu'un une boussole qui indique « Nord » sans préciser si une montagne est à 1 mile ou à 100 miles. Lorsque la caméra bouge, le robot se perd quant à l'emplacement des objets, surtout avec des objectifs étranges comme le fisheye qui déforment le monde.

Ce papier présente un nouvel outil appelé CRePE (Curved Ray Expectation Positional Encoding) pour résoudre ce problème. Voici comment il fonctionne, en utilisant des analogies simples :

1. La « Lampe torche floue » vs Le « Pointeur laser »

Les anciennes méthodes agissaient comme un pointeur laser. Elles traçaient une ligne droite de la caméra vers un point spécifique de l'image et affirmaient : « Ce pixel est exactement ici. » Cela fonctionnait raisonnablement bien pour les caméras normales, mais échouait avec les objectifs grand-angle ou fisheye, car ces lentilles courbent la lumière comme un miroir de maison de plaisanterie. La ligne droite ne correspond pas à la réalité courbée.

CRePE agit comme une lampe torche floue. Au lieu de dire : « Ce pixel est exactement au point X », il dit : « Ce pixel se trouve quelque part le long de cette trajectoire courbe, probablement entre ces distances. » Il crée un « nuage de probabilités » indiquant où l'objet pourrait se trouver le long de la ligne de visée. Cela permet au robot de comprendre que, avec un objectif fisheye, le chemin vers un objet n'est pas une ligne droite ; c'est une courbe.

2. Le « GPS intelligent » pour les jetons vidéo

Dans la génération vidéo par IA, l'image est découpée en minuscules pièces de puzzle appelées « jetons ».

L'ancienne méthode : Le robot savait dans quelle direction chaque pièce de puzzle était orientée, mais pas à quelle profondeur elle se trouvait dans la scène.
La méthode CRePE : CRePE attribue à chaque pièce de puzzle une étiquette « GPS intelligent ». Il prédit une distance et une marge d'incertitude pour cette pièce. Il indique au robot : « Cette partie de la rue se trouve probablement à 5 mètres, plus ou moins 1 mètre. »

3. La stratégie du « Cadre intermédiaire »

Les chercheurs ont testé où placer ce nouveau « GPS intelligent » dans le cerveau du robot (qui est un vaste réseau de neurones).

Ils ont constaté que le placer au tout début ou à la toute fin du processus ne fonctionnait pas bien.
Le point idéal : Ils ont découvert que les couches intermédiaires du cerveau sont le meilleur endroit pour cette information. C'est comme avoir un cadre intermédiaire qui connaît les détails du projet (la géométrie) et peut organiser les travailleurs (les jetons) parfaitement avant que le produit final ne soit terminé.

4. Les « Roues d'entraînement » (Pseudo-supervision)

Pour enseigner cette nouvelle compétence au robot, les chercheurs ont utilisé un système de « roues d'entraînement ». Ils ont utilisé une IA séparée et préexistante (un « modèle de fondation géométrique ») pour estimer les distances dans les vidéos d'entraînement.

Ils n'ont pas forcé le robot à copier ces estimations parfaitement.
Au lieu de cela, ils ont utilisé ces estimations comme un filet de sécurité. Si l'estimation du robot était radicalement erronée, le filet de sécurité le ramenait vers la réalité. Si l'estimation du filet de sécurité était mauvaise (comme en regardant un ciel flou), le robot avait le droit de se fier à son propre jugement.

5. Le résultat : De meilleurs films avec des objectifs courbés

Lorsqu'ils ont testé CRePE :

Meilleur contrôle de la caméra : Les vidéos suivaient les mouvements de caméra demandés beaucoup plus précisément, en particulier avec les objectifs grand-angle et fisheye.
Meilleure géométrie : Les objets dans la vidéo restaient à la bonne place lorsque la caméra bougeait, sans se déformer ni flotter de manière étrange.
Fonctionnalité bonus : Parce que le robot comprend maintenant si bien la « distance », vous pouvez en fait remplacer une carte de distance par celle d'une autre vidéo. Cela vous permet de prendre le mouvement d'une vidéo et la forme du monde d'une autre, créant ainsi de nouvelles scènes qui n'existaient pas auparavant.

En résumé :
CRePE est une nouvelle façon d'enseigner aux générateurs vidéo par IA de comprendre la profondeur et les objectifs courbés. Au lieu de simplement savoir dans quelle direction regarder, l'IA sait maintenant à quelle distance se trouvent les choses, lui permettant de créer des vidéos fluides et réalistes, même avec des objectifs de caméra fous et déformés.

Résumé technique : CRePE pour la génération vidéo unifiée contrôlée par caméra

Énoncé du problème

La génération vidéo conditionnée par la caméra nécessite que les modèles synthétisent des vidéos respectant des trajectoires de caméra et des configurations d'objectifs spécifiques. Bien que les approches récentes se soient orientées vers un encodage positionnel au niveau de l'attention pour modéliser les relations relatives entre les tokens sous des changements de vue, les méthodes existantes présentent des limitations significatives :

Limitations du seul rayon : Des méthodes comme UCPE encodent la direction du rayon de vue mais ne spécifient pas la position du contenu de la scène le long de ce rayon. Cela est insuffisant pour modéliser les correspondances de tokens lorsque la caméra se déplace, car ces correspondances dépendent à la fois de la direction du rayon et de la profondeur de la scène.
Biais de l'obturateur : De nombreux encodages existants reposent sur la géométrie de la caméra à sténopé, ce qui échoue à capturer la géométrie de projection non linéaire inhérente aux objectifs grand-angle et fisheye (Modèle de Caméra Unifié ou UCM).
Absence de conscience de la profondeur : Les encodages positionnels actuels n'intègrent pas efficacement la géométrie de la scène, limitant ainsi la capacité du modèle à gérer divers modèles d'objectifs et à affiner les relations entre les tokens lors des changements de vue.

Méthodologie : CRePE

Les auteurs proposent l'Encodage Positionnel par Attente de Rayon Courbé (CRePE), un encodage positionnel compatible avec le Modèle de Caméra Unifié (UCM) qui représente chaque token d'image non seulement par son rayon de vue, mais comme une distribution positionnelle consciente de la profondeur le long de ce rayon.

Composants principaux

RoPE attendue de rayon courbé :
- Au lieu de supposer un seul point de terminaison, CRePE modélise la position du token comme une distribution uniforme en distance radiale logarithmique ( $z = \log r$ ), définie par un centre prédit ( $\mu$ ) et une largeur d'intervalle ( $\sigma$ ).
- Cette distribution est discrétisée en $K$ points de rupture. Chaque point de rupture est élevé le long du rayon UCM source, transformé dans le référentiel de la caméra de requête, puis projeté vers l'avant.
- Étant donné que la projection UCM induit un chemin courbe dans la vue de requête pour un intervalle de rayon source, CRePE intègre analytiquement le phasor de l'Encodage Positionnel Rotatif (RoPE) sur ce chemin courbe par morceaux linéaires. Cela produit un coefficient de modulation attendu qui capture l'incertitude de la position du rayon sous une projection non sténopé.
- Le paramétrage par défaut utilise $K=5$ points de rupture pour équilibrer la précision géométrique et l'efficacité computationnelle.
Adaptateur d'attention géométrique :
- CRePE est implémenté via un Adaptateur d'Attention Géométrique ajouté à un Transformateur de Diffusion Vidéo (DiT) figé.
- Une tête de géométrie partagée ( $g_\phi$ ) prédit les paramètres de distance radiale logarithmique ( $\mu, \sigma$ ) à partir des caractéristiques des tokens côté clé.
- Ces prédictions sont converties en coefficients de modulation RoPE attendus, qui modulent les caractéristiques de clé dans les couches intermédiaires sélectionnées du DiT.
- La conception préserve le signal de caméra « rayon uniquement » stable dans les couches initiales et finales (en utilisant UCPE standard) tout en injectant une modulation de chemin projeté consciente de la profondeur dans les couches intermédiaires où l'information de distance radiale est la plus récupérable.
Supervision de la distance radiale et Radial MixForcing :
- Pour stabiliser la prédiction de géométrie, le modèle est supervisé par des cartes de distance radiale pseudo générées par un modèle fondation de géométrie monoculaire (UniK3D).
- Un filtre de validité exclut les prédictions peu fiables (par exemple, valeurs non finies, distances > 20 m).
- Radial MixForcing : Un algorithme de substitution d'enseignant pendant l'entraînement permet au modèle d'accepter des cartes radiales fournies externement lors de l'inférence. Si une carte externe est valide, elle remplace la distribution prédite ; sinon, le modèle revient à sa propre prédiction. Cela permet un contrôle de la géométrie externe sans réentraînement.

Contributions clés

Encodage positionnel conscient de la profondeur : CRePE introduit un encodage positionnel qui prend en compte non seulement la direction du rayon mais aussi les positions possibles de la scène le long du rayon, permettant un encodage conscient de la profondeur pour la géométrie de chemin projeté courbé sous le Modèle de Caméra Unifié.
Implémentation basée sur adaptateur : Les auteurs appliquent CRePE à des DiT vidéo figés via un Adaptateur d'Attention Géométrique, intégrant la distance de scène token par token dans les mécanismes d'attention et stabilisant les prédictions grâce à une supervision par distance radiale pseudo.
Contrôle de géométrie externe : En étendant le chemin d'encodage positionnel, CRePE prend en charge le contrôle externe par carte radiale pour la génération conditionnée par la géométrie de la scène et le transfert de mouvement de vidéo source via Radial MixForcing.

Résultats expérimentaux

Les auteurs ont évalué CRePE par rapport à des bases de référence incluant ReCamMaster (contrôle de trajectoire externe) et UCPE (encodage de rayon de caméra unifié) sur le jeu de données PanShot, qui couvre les configurations sténopé, grand-angle et fisheye.

Contrôle de caméra et géométrie : CRePE surpasse significativement les bases de référence sur les métriques de contrôlabilité de la caméra (CamMC, erreur de rotation, erreur de translation) et les métriques de distorsion d'objectif ( $k_1, k_2$ ), en particulier dans les conditions grand-angle et fisheye où les hypothèses sténopé échouent.
Études d'ablation : En comparant CRePE à une base de référence de type PE de point de terminaison RayRoPE (qui approxime l'intervalle de rayon avec seulement deux points de terminaison), CRePE obtient un meilleur rang moyen global. Cela confirme que l'intégration sur le chemin projeté courbé (via $K>2$ points de rupture) apporte des avantages au-delà des simples approximations par point de terminaison.
Qualité vidéo : Bien que CRePE améliore les métriques conscientes de la géométrie et perceptuelles (VBench, qualité esthétique), il reste compétitif sur les métriques standards de qualité vidéo (FVD, FID). Dans certaines métriques de qualité vidéo complète (par exemple, FVD, Score Inception), la base de référence « rayon uniquement » (UCPE) reste légèrement supérieure, suggérant un compromis entre l'adhésion géométrique stricte et la qualité distributionnelle de la vidéo.
Placement des couches : Les expériences montrent que l'application de CRePE aux 10 blocs intermédiaires du DiT offre le meilleur compromis entre contrôle géométrique et qualité de génération, surpassant son application à toutes les couches ou uniquement aux couches initiales/finales.

Importance et revendications

L'article revendique que CRePE représente une étape significative vers un contrôle de caméra unifié robuste à travers diverses configurations d'objectifs, y compris les objectifs non sténopé. En passant d'un encodage « rayon uniquement » à une attente de rayon courbé, la méthode capture mieux la géométrie de projection non linéaire des caméras grand-angle et fisheye.

Les auteurs positionnent CRePE comme un bloc de construction pour la génération vidéo contrôlable par caméra et consciente de la géométrie. Ils soulignent que la méthode améliore la capacité du modèle à suivre les trajectoires de caméra et à maintenir la cohérence de la scène lors des changements de vue, sans nécessiter de vidéos sources ou d'images de référence lors de l'inférence. De plus, l'extension au Radial MixForcing démontre une voie vers l'unification du contrôle de caméra et du contrôle externe de la géométrie de la scène au sein d'un seul cadre d'adaptateur, permettant des tâches telles que le transfert de mouvement et la manipulation de la disposition de la scène via des cartes radiales externes.

Le travail est présenté sous forme de prépublication, et les auteurs reconnaissent des limitations, telles que la dépendance à la qualité de la pseudo-supervision provenant des modèles de géométrie monoculaires et l'accent actuel mis sur les modèles de caméra centrale (UCM) plutôt que sur les obturateurs roulants ou les modèles non centraux.