Résumé Technique : OmniSpace

Problématique

Les modèles de langage de grande taille multimodaux (MLLM) ont démontré des performances solides dans les tâches visuelles 2D, mais peinent avec l'intelligence géométrique requise pour les applications de véhicules autonomes (AV). Les approches actuelles se divisent généralement en deux catégories :

1. MLLM 2D purs : Ils traitent les tâches d'AV comme des problèmes autoregressifs 2D standards. Bien qu'efficaces, ils manquent de transparence géométrique explicite, enfouissant des informations critiques telles que la profondeur, l'échelle, la pose de la caméra et la correspondance inter-vues au sein des jetons d'image.
2. MLLM avec modèles 3D externes : Ils intègrent des modèles géométriques 3D auxiliaires (par exemple, des estimateurs de profondeur) au moment de l'inférence. Bien qu'efficaces, cela introduit une complexité de pipeline, augmente le coût computationnel et crée un risque de défaillances en cascade si le modèle 3D externe est peu performant.

Les auteurs identent que les MLLM actuels sont limités par deux déficiences géométriques spécifiques : une faible estimation de la profondeur (incapacité à inférer la structure métrique de la scène) et une mauvaise correspondance inter-vues (incapacité à associer les éléments de la scène à travers différentes vues de caméra). Une analyse diagnostique révèle une forte corrélation entre la performance sur ces tâches géométriques et les capacités de planification et de détection de risques en aval pour l'AV.

Méthodologie : OmniSpace

OmniSpace est proposé comme un cadre d'adaptation plug-and-play sensible à la géométrie qui améliore le raisonnement spatial directement au sein du MLLM sans dépendre de modèles 3D externes lors de l'inférence. Il se compose de trois composants principaux :

1. Injecteur de Pose de Caméra

Pour injecter des priors spatiaux dans les jetons visuels, les auteurs introduisent un mécanisme qui encode chaque jeton de carte de caractéristiques avec sa représentation de rayon de Plücker correspondante.

• Mécanisme : Au lieu de représenter naïvement un rayon par un centre de caméra et une direction (ce qui est redondant), le modèle utilise la coordonnée de Plücker $P = (o \times d, d) \in \mathbb{R}^6$. Cette représentation est invariante au choix du point le long du rayon, assurant la cohérence géométrique.
• Implémentation : La carte de rayons de Plücker est projetée via un MLP léger et ajoutée aux caractéristiques visuelles. Le projecteur est initialisé à zéro, permettant au modèle de se comporter comme le MLLM de base initialement et d'apprendre progressivement à injecter la géométrie de la caméra.

2. Attention Épipolaire Multi-vues

Pour imposer une cohérence inter-vues, les auteurs remplacent l'attention cross-view globale standard par une attention contrainte par l'épipolaire.

• Mécanisme : Pour un jeton dans une vue, le modèle calcule les lignes épipolaires sur les autres vues en se basant sur la calibration de la caméra. L'attention est restreinte aux jetons situés sur ces lignes épipolaires (plus une dilatation 3x3 pour la robustesse).
• Effet : Cela force le modèle à associer les éléments de scène correspondants à travers les vues sur la base de la plausibilité géométrique plutôt que par simple similitude de caractéristiques arbitraires, tout en préservant une auto-attention non restreinte au sein d'une seule vue. Comme l'injecteur, ce module est ajouté via une connexion résiduelle initialisée à zéro.

3. Distillation Géométrique 3D avec Agrégation Temporelle

Pour doter le modèle d'une compréhension de la profondeur, OmniSpace utilise un modèle de fondation 3D (VGGT) comme enseignant, mais uniquement pendant l'entraînement.

• Défi : Appliquer directement des modèles de fondation 3D à des scènes d'AV mono-images produit une supervision bruitée en raison de la faible superposition inter-vues et des objets dynamiques.
• Solution : Les auteurs introduisent une agrégation géométrique temporelle. Une fenêtre temporelle symétrique de cadres multi-vues ($2K+1$) est injectée dans l'enseignant 3D. Les caractéristiques de l'enseignant résultantes sont moyennées le long de la dimension temporelle pour créer une cible géométrique stable et de haute qualité.
• Distillation : Les jetons visuels de l'étudiant MLLM sont projetés vers la dimension de caractéristiques de l'enseignant et entraînés pour minimiser la distance L2 entre les caractéristiques de l'étudiant et de l'enseignant agrégé. L'enseignant 3D est entièrement écarté lors de l'inférence.

Contributions Clés

1. Investigation Diagnostique : Les auteurs ont identifié l'estimation de la profondeur et la correspondance inter-vues comme les principaux goulots d'étranglement géométriques pour les MLLM dans les tâches d'AV et ont validé leur corrélation avec la performance en aval via un nouveau benchmark (Geo-Bench).
2. Cadre OmniSpace : Une nouvelle architecture intégrant l'Injection de Pose de Caméra, l'Attention Épipolaire Multi-vues et la Distillation Géométrique 3D. Cette approche internalise la conscience géométrique sans nécessiter de modules 3D externes lors de l'inférence.
3. Validation Empirique : Des expériences approfondies démontrent qu'OmniSpace améliore la précision de la planification, la détection des risques et la compréhension du langage à travers de multiples benchmarks (nuScenes, Bench2Drive, nuInstruct, OmniDrive, DriveBench) tout en maintenant l'efficacité d'inférence des MLLM 2D purs.

Résultats Expérimentaux

Le papier évalue OmniSpace sur cinq benchmarks de conduite autonome :

• Planification en boucle ouverte (nuScenes) : OmniSpace surpasse systématiquement les MLLM de base et les méthodes reposant sur des modèles 3D au moment du test (ex: SpaceDrive, VGGDrive) en termes d'erreur de trajectoire (L2), de taux de collision et de taux d'intersection. Notamment, il atteint ces gains avec un débit (FPS) nettement plus élevé que les méthodes utilisant des modèles 3D externes.
• Planification en boucle fermée (Bench2Drive) : OmniSpace atteint un score de conduite (Driving Score) de 79,65 et un taux de succès de 60,15 % (en utilisant Qwen2.5-VL), surpassant les méthodes de pointe précédentes. La variante Qwen3-VL obtient la meilleure performance parmi les méthodes basées sur les MLLM sur ce benchmark.
• Détection de Risques (nuInstruct) : Le modèle affiche une performance supérieure en perception de risque (MAP et précision les plus élevés, MAE le plus bas) sans modèles 3D auxiliaires, répondant à une faiblesse connue des MLLM standards.
• Compréhension du Langage (OmniDrive) : OmniSpace améliore la qualité du légendage (CIDEr, ROUGE) par rapport aux bases, confirmant que la distillation géométrique améliore le raisonnement spatial sans dégrader les capacités linguistiques.
• Généralisation (DriveBench) : Le fine-tuning sur DriveLM et les tests sur DriveBench montrent qu'OmniSpace généralise mieux que les bases à travers des scénarios complexes.

Les études d'ablation confirment que chaque composant (Injecteur de Pose, Attention Épipolaire, Distillation) contribue de manière unique à la performance. Plus précisément, l'encodage de rayon de Plücker surpasse l'encodage de rayon naïf, et l'attention épipolaire surpasse l'attention cross-view classique. L'agrégation temporelle avec $N=4$ cadres est jugée comme le compromis optimal entre la qualité de la supervision géométrique et le coût computationnel.

Signification et Revendications

Le papier affirme qu'OmniSpace offre un paradigme simple mais efficace pour obtenir un raisonnement spatial conscient de la géométrie dans les MLLM. Sa principale importance réside dans :

• Découplage de la Complexité d'Inférence de la Conscience Géométrique : En internalisant les priors géométriques durant l'entraînement via la distillation, OmniSpace évite la surcharge computationnelle et les risques de déploiement associés aux modèles 3D externes lors de l'inférence.
• Amélioration Directe de l'Intelligence Spatiale : Il démontre que les MLLM peuvent acquérir une compréhension robuste de la scène 3D (profondeur et correspondance inter-vues) directement, plutôt que de dépendre de l'autorepression visuelle 2D ou de pipelines externes.
• Compromis Efficacité/Performance : Le cadre fournit un compromis précision-efficacité compétitif ou supérieur, faisant de lui une solution viable pour les systèmes de conduite autonome réels où la sécurité (précision géométrique) et la latence (vitesse d'inférence) sont toutes deux critiques.

Les auteurs reconnaissent des limites, notant que la méthode suppose une calibration de caméra précise et repose sur un enseignant 3D spécifique (VGGT), suggérant que les travaux futurs pourraient explorer l'agrégation sensible au mouvement de l'ego (ego-motion-aware) et des modèles de fondation 3D pré-entraînés pour l'AV.