💻 computer science

Cambrian-P: Pose-Grounded Video Understanding

L'article présente Cambrian-P, un modèle de langage multimodal vidéo qui intègre la pose de la caméra par image comme signal d'apprentissage léger pour améliorer considérablement le raisonnement spatial et la compréhension générale des vidéos en modélisant la scène 3D persistante plutôt qu'en traitant les images comme des instantanés 2D isolés.

Auteurs originaux : Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Saining Xie

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jihan Yang, Zifan Zhao, Xichen Pan, Shusheng Yang, Junyi Zhang, Bingyi Kang, Hu Xu, Saining Xie

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : La Caméra « Amnésique »

Imaginez que vous regardez une vidéo de quelqu'un marchant dans une maison. Pour une IA standard (un Grand Modèle de Langage Multimodal, ou LLM), cette vidéo ressemble à une pile de cartes postales déconnectées. L'IA voit une image d'une cuisine, puis une image d'un couloir, puis une image d'une chambre.

Le problème est que l'IA ne sait pas comment la caméra s'est déplacée entre ces images. Elle ne sait pas si la caméra a tourné à gauche, avancé ou fait un tour sur elle-même. Sans cette « carte de mouvement », l'IA peine à répondre à des questions comme : « Si je me tiens au lavabo, le réfrigérateur est-il à ma gauche ou à ma droite ? » C'est comme essayer de résoudre un puzzle où vous avez toutes les pièces mais aucune idée de la façon dont elles s'assemblent dans l'espace 3D.

La Solution : Donner un « GPS » à l'IA

Les chercheurs derrière Cambrian-P ont réalisé que la pièce manquante était la Pose de la Caméra. En termes simples, la « pose » est juste une façon élégante de dire : « Où se trouve la caméra et vers quelle direction pointe-t-elle ? »

Ils ont construit une nouvelle version de leur IA appelée Cambrian-P qui ne se contente pas de regarder l'image ; elle calcule également les coordonnées GPS et la direction de la boussole de la caméra pour chaque image individuelle.

L'Analogie :
Imaginez une IA vidéo standard comme un touriste qui prend une photo à chaque arrêt mais oublie d'écrire le nom de la rue ou la direction dans laquelle il se trouvait. Il se retrouve avec un album photo mais sans carte.
Cambrian-P est comme ce touriste portant une montre GPS intelligente. À chaque fois qu'il prend une photo, la montre enregistre automatiquement : « Je suis à la 5e rue et Main, face au Nord. » Soudain, le touriste peut regarder son album photo et dire : « Ah, j'ai marché 15 mètres vers l'avant et tourné à gauche pour arriver à cette photo suivante. »

Comment Ça Marche (Les Ingrédients Magiques)

Les chercheurs n'ont pas eu besoin de reconstruire toute l'IA à partir de zéro. Ils ont ajouté deux outils très petits et légers :

Le « Token de Pose » (L'Étiquette GPS) : Pour chaque image de la vidéo, ils attachent une petite étiquette numérique invisible qui contient l'emplacement et la direction de la caméra. C'est comme coller un post-it sur chaque photo de l'album indiquant « Face au Nord ».
La « Tête de Pose » (La Boussole) : Ils ont ajouté un petit module cérébral supplémentaire qui regarde la vidéo et devine les coordonnées GPS.

Le Défi de l'Entraînement :
Entraîner cette nouvelle IA était délicat car la « Réponse aux Questions sur Vidéo » (répondre à des questions) et l'« Estimation de Pose » (deviner le GPS) veulent apprendre de manières différentes.

La Réponse aux Questions sur Vidéo aime voir l'histoire entière de manière uniforme (comme lire un chapitre de livre après l'autre).
L'Estimation de Pose a besoin de voir des sauts aléatoires et des mouvements spécifiques pour apprendre comment fonctionne le mouvement (comme pratiquer des pas de danse).

Si vous les mélangez mal, l'IA se confond. Les chercheurs ont résolu cela avec une Stratégie d'Entraînement Entrelacée. Imaginez une routine de gym où vous alternez entre « Cardio » (Réponse aux Questions sur Vidéo) et « Musculation » (Estimation de Pose) à différents jours, plutôt que d'essayer de faire les deux exactement à la même seconde. Cela a permis à l'IA de maîtriser les deux compétences sans que l'une ne gâche l'autre.

Qu'Ont-ils Découvert ?

Les résultats ont été étonnamment puissants :

Meilleur Raisonnement Spatial : Lors des tests où l'IA devait deviner des distances, des directions ou des tailles de pièces, Cambrian-P a obtenu des scores nettement meilleurs (une amélioration de 4,5 % à 6,5 %). Il a arrêté de deviner au hasard et a commencé à comprendre la disposition 3D.
Ça Marche sur des Vidéos « Sauvages » : Même lorsqu'ils ont entraîné l'IA sur des vidéos provenant d'Internet qui ne disposaient pas de données GPS parfaites (en utilisant des « pseudo-annotations » ou des hypothèses générées par l'IA), le modèle est devenu plus intelligent. Cela a prouvé que savoir comment la caméra bouge aide l'IA à comprendre le monde, même si les données ne sont pas parfaites.
C'est Rapide : Habituellement, ajouter un suivi 3D ralentit les choses. Mais parce que Cambrian-P est construit sur une base très efficace, il peut estimer le trajet de la caméra presque aussi vite que la vidéo se joue, ce qui le rend adapté à une utilisation en temps réel.

La Conclusion

Le papier soutient que la Pose de la Caméra est la « sauce secrète » qui manquait à l'IA vidéo. En enseignant à l'IA à suivre son propre mouvement à travers une scène, elle se transforme d'un observateur passif d'images 2D en un compreneur actif de l'espace 3D.

En résumé : Cambrian-P donne à l'IA vidéo un sens de la direction et de la distance, transformant une pile de photos plates en un monde cohérent et navigable.

Résumé Technique : Cambrian-P : Compréhension Vidéo Ancrée sur la Pose

Énoncé du Problème

Les Modèles de Langage Multimodaux de Grande Taille (MLLM) actuels excellent dans la compréhension sémantique des vidéos — telle que la reconnaissance d'actions et le résumé narratif — mais peinent systématiquement face aux tâches exigeant une intelligence spatiale visuelle. La limitation fondamentale identifiée réside dans le fait que les MLLM standards traitent les images vidéo comme des instantanés 2D isolés, déconnectés de la structure spatiale 3D persistante de la scène. Sans une ancrage explicite dans la géométrie 3D, les modèles échouent à raisonner sur les relations spatiales, le mouvement de la caméra et la cohérence globale de la scène. Bien que la pose de la caméra (position et orientation) ait longtemps été une pierre angulaire de la vision 3D et de la robotique (par exemple, Structure from Motion, SLAM), elle reste largement absente des signaux d'entraînement des MLLM vidéo.

Méthodologie : Cambrian-P

Les auteurs introduisent Cambrian-P, un MLLM vidéo enrichi de capacités natives de prédiction de pose de caméra. L'approche est conçue pour être légère, nécessitant des modifications architecturales minimales aux MLLM existants tout en introduisant un nouveau paradigme d'entraînement.

1. Architecture

Modèle de Base : Construit sur l'architecture Cambrian-S, qui associe un encodeur de vision SigLIP2-SO400m à un LLM Qwen2.5 via un projecteur MLP.
Jetons de Pose de Caméra : Pour permettre l'estimation de pose dans l'espace de caractéristiques du LLM, le modèle ajoute un petit ensemble de jetons de pose de caméra apprenables aux jetons visuels de chaque image avant qu'ils n'entrent dans le LLM.
- Deux requêtes apprenables distinctes sont utilisées : $c_{first}$ pour la première image et $c_{rest}$ pour toutes les images suivantes. Cela permet au modèle de distinguer la première image et de représenter toutes les poses par rapport au système de coordonnées de la première caméra.
- Ces jetons sont placés après les jetons visuels mais avant les embeddings de texte pour respecter le mécanisme d'attention causale.
Tête de Pose : Un projecteur léger mappe l'état caché du jeton de pose du LLM vers une dimension de caractéristiques de pose. Une tête de caméra dédiée (inspirée de VGGT), composée de quatre couches d'auto-attention suivies d'une couche linéaire, régresse les paramètres finaux de la caméra.

2. Objectif d'Entraînement

La fonction de perte totale combine la prédiction standard du prochain jeton (NTP) pour les VQA avec une perte d'estimation de pose de caméra :
$\mathcal{L} = \mathcal{L}_{NTP} + \lambda_{pose} \cdot \mathcal{L}_{pose}$

Perte de Pose ( $\mathcal{L}_{pose}$ ) : Supervise l'encodage de pose prédit (translation $t$ $t$ , quaternion de rotation $q$ $q$ , et champ de vision $f$ $f$ ) par rapport à la vérité terrain en utilisant une perte L1 pondérée.
- Normalisation d'Échelle : Pour gérer les jeux de données avec des échelles physiques variables (métriques vs non-métriques), la perte de translation est normalisée par la longueur de la trajectoire. Pour les données non-métriques, un facteur d'échelle par moindres carrés sous forme close est calculé pour aligner la forme de la trajectoire prédite avec la vérité terrain sans effondrer l'échelle.
Stratégie d'Entraînement Entrelacé : Les auteurs identifient un conflit entre les dynamiques d'entraînement de la VQA et de l'estimation de pose :
- La VQA utilise généralement un échantillonnage uniforme d'images et évite les augmentations lourdes pour préserver l'exactitude factuelle.
- L'Estimation de Pose nécessite un échantillonnage temporel aléatoire, des intervalles dynamiques et des augmentations lourdes (par exemple, jitter de couleur, flou) pour apprendre des caractéristiques géométriques robustes.
- Solution : Un schéma d'entraînement entrelacé mélange trois types de lots :
  1. VQA uniquement : Échantillonnage uniforme standard avec perte NTP.
  2. Pose uniquement : Échantillons avec échantillonnage dynamique/aléatoire et augmentations lourdes, supervisés uniquement par la perte de pose (omission de la perte VQA pour éviter les hallucinations sur un contexte incomplet).
  3. Joint : Échantillons avec les deux pertes.
Jitter Aléatoire : Pour empêcher le modèle de mémoriser des correspondances fixes image-pose dans l'échantillonnage uniforme, un jitter aléatoire est appliqué aux indices d'images pendant l'entraînement VQA.

3. Mise à l'Échelle des Données

Vérité Terrain : L'entraînement utilise des données annotées en pose provenant de VSI-590K (ScanNet, ScanNet++, ARKitScenes) et MapAnything.
Pseudo-Annotation : Pour aller au-delà des données GT limitées, les auteurs utilisent VIPE (un moteur de pose vidéo en flux direct feed-forward) pour générer des pseudo-annotations de pose pour des vidéos de domaine général (par exemple, issues du corpus Cambrian-S-3M). Ces pseudo-étiquettes sont filtrées pour la qualité et utilisées dans la recette d'entraînement entrelacé.

Contributions Clés

MLLM Ancré sur la Pose : Démontre que l'introduction de la pose de caméra comme signal de supervision léger améliore considérablement les capacités de raisonnement spatial des MLLM.
Efficacité Architecturale : Atteint des résultats de pointe avec une surcharge minimale (seulement des jetons apprenables et une petite tête), évitant les conceptions lourdes à double encodeur ou les backbones 3D spécialisés.
Dynamiques d'Entraînement : Propose une stratégie d'entraînement entrelacé et un échantillonnage avec jitter aléatoire pour concilier les exigences conflictuelles de la VQA et de l'estimation de pose.
Double Capacité : Le modèle atteint une estimation de pose de caméra en flux direct compétitive (surpassant des modèles spécialisés comme StreamVGGT et CUT3R sur ScanNet) tout en améliorant simultanément les performances de VQA Vidéo.
Généralisation : Montre que la supervision par la pose améliore les benchmarks généraux de VQA vidéo (par exemple, MVBench, EgoSchema) même lorsqu'entraîné sur des données spécifiques à l'espace, suggérant que la pose est un signal fondamental pour la compréhension du monde physique.

Résultats

Raisonnement Spatial (VQA)

VSI-Bench : Cambrian-P atteint une précision de 73,7 %, surpassant son homologue sans pose (Cambrian-S) de 4,5 % et dépassant d'autres modèles spécialisés dans l'espace.
VSTemporalI-Bench : Montre une amélioration de 20 % sur la sous-tâche de direction du mouvement de la caméra par rapport à la base sans pose.
Hors Distribution (OOD) : Des améliorations sont observées sur huit benchmarks (incluant MindCube, MVBench, EgoSchema) malgré un entraînement principalement sur VSI-590K.
Mise à l'Échelle par Pseudo-Pose : L'ajout de données de pose pseudo-annotées issues de vidéos générales booste davantage les performances sur les benchmarks VQA généraux tout en maintenant les gains sur les tâches spatiales.

Estimation de Pose de Caméra

ScanNet (Flux Direct) : Atteint une erreur de trajectoire absolue (ATE) de pointe de 0,078 parmi les modèles en flux direct, surpassant StreamVGGT (0,127) et CUT3R (0,096).
Efficacité : Bien qu'ayant 8,2 milliards de paramètres (plus que les modèles spécialisés), Cambrian-P atteint une latence inférieure (0,02 s par image en mode hors ligne) grâce à l'encodeur SigLIP compact et à l'architecture de transformateur causale.

Lois de Mise à l'Échelle

Taille du Modèle : Les performances en VQA et en estimation de pose s'améliorent de manière cohérente à mesure que la taille du modèle passe de 0,5B à 7B.
Taille des Données : L'augmentation de la fraction de données annotées en pose conduit à des améliorations monotones de la précision sur VSI-Bench et de l'erreur d'estimation de pose.
Itérations d'Entraînement : L'augmentation des itérations d'entraînement spécifiques à la pose améliore la précision de la pose sans dégrader les performances de VQA.

Importance et Revendications

L'article postule que la pose de caméra est un signal fondamental pour les modèles vidéo raisonnant sur le monde physique. En ancrant les pixels dans un cadre de coordonnées 3D partagé, la supervision par la pose :

Impose une Cohérence Globale : Elle connecte les images isolées en une scène 3D cohérente, permettant au modèle de dissocier le mouvement de la caméra des dynamiques de la scène.
Améliore le Raisonnement Spatial : Elle permet aux MLLM de raisonner de manière plus globale, comme en témoignent les gains de performance significatifs sur les questions impliquant des objets spatialement éloignés et la planification d'itinéraires.
Synergie : Il existe un bénéfice bidirectionnel ; une meilleure alignement vidéo-langage (via le pré-entraînement VQA) améliore l'estimation de pose, et la supervision par la pose améliore la VQA.

Les auteurs concluent que Cambrian-P fait progresser les MLLM vers une compréhension vidéo ancrée dans le monde réel, positionnant la pose de caméra non pas simplement comme un indice auxiliaire, mais comme un biais inductif fondamental pour la prochaine génération de modèles vidéo.