💻 computer science

RADIO-ViPE: Online Tightly Coupled Multi-Modal Fusion for Open-Vocabulary Semantic SLAM in Dynamic Environments

RADIO-ViPE est un système SLAM multimodal étroitement couplé en ligne qui permet l'ancrage sémantique à vocabulaire ouvert et conscient de la géométrie dans des environnements dynamiques en opérant directement sur des vidéos RGB monoculaires brutes sans nécessiter d'entrées calibrées, de capteurs de profondeur ou d'initialisation préalable de la pose.

Auteurs originaux : Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

Publié 2026-04-30

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zaid Nasser, Mikhail Iumanov, Tianhao Li, Maxim Popov, Jaafar Mahmoud, Sergey Kolyubin

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchez dans une pièce animée et en constante évolution avec un ami. Vous souhaitez construire une carte mentale de la pièce qui non seulement connaît l'emplacement des murs et des chaises, mais comprend aussi ce qu'ils sont (par exemple, « c'est une chaise rouge », « c'est une table basse ») et peut répondre à des questions comme : « Où se trouve la tasse bleue ? »

Maintenant, imaginez faire cela alors que :

Personne ne vous a donné de plan : Vous ne savez pas comment vos yeux (la caméra) sont formés ni à quelle distance se trouvent les objets.
La pièce est chaotique : Des gens passent, et quelqu'un vient de déplacer un canapé du coin au milieu de la pièce.
Vous devez le faire en temps réel : Vous ne pouvez pas vous arrêter pour réfléchir pendant des heures ; vous devez continuer à avancer et à cartographier au fur et à mesure.

C'est exactement ce que fait RADIO-ViPE. C'est un « cerveau » de robot qui construit une carte 3D du monde à partir d'une simple caméra vidéo, comprend ce que sont les objets en utilisant le langage naturel, et ignore le chaos des objets en mouvement.

Voici comment cela fonctionne, décomposé avec des analogies simples :

1. Les « Lunettes Magiques » (Aucune calibration nécessaire)

La plupart des systèmes robotiques sont comme une personne qui doit porter des lunettes parfaitement ajustées avant de pouvoir voir. Si les lunettes sont légèrement décalées, le robot se perd. RADIO-ViPE est différent. Il enfile des « lunettes intelligentes » qui déterminent leur propre forme et leur propre mise au point en regardant autour d'elles. Il n'a pas besoin d'une carte pré-mesurée ni de capteurs spéciaux (comme des lasers de profondeur) ; il a juste besoin d'une caméra vidéo standard. Il apprend la géométrie de la pièce simplement en observant le mouvement de la vidéo.

2. Le « Bibliothécaire Super-Intelligent » (Vocabulaire ouvert)

Les anciennes cartes robotiques étaient comme une bibliothèque avec des livres étiquetés uniquement « Chaise 1 », « Chaise 2 », « Table 1 ». Si vous demandiez « la chaise cassée », le robot ne savait pas ce que vous vouliez dire.

RADIO-ViPE utilise un « Bibliothécaire Super-Intelligent » (basé sur d'énormes modèles d'IA appelés modèles de fondation). Ce bibliothécaire a lu tout l'internet. Il ne voit pas seulement des formes ; il comprend des concepts. Vous pouvez demander : « Montrez-moi la lampe vintage », et le robot sait exactement à quoi cela ressemble, même s'il n'a jamais été spécifiquement enseigné cette lampe particulière auparavant. Il relie vos mots directement aux objets 3D dans la carte.

3. Le « Filtre de Piste de Danse » (Gestion des environnements dynamiques)

C'est le plus grand tour de force de l'article. Imaginez que vous essayiez de prendre une photo de groupe d'une pièce, mais que des gens entrent et sortent, et que quelqu'un vient de réarranger les meubles. Si vous essayez de assembler ces photos, le résultat sera un flou confus.

RADIO-ViPE possède un « Filtre de Piste de Danse » spécial. Il observe la pièce dans le temps et demande :

« Cet objet reste-t-il immobile ? » (Comme un mur ou une table fixe).
« Cet objet bouge-t-il parce qu'une personne est passée devant ? » (Comme une personne).
« Cet objet bouge-t-il parce que je l'ai déplacé ? » (Comme une chaise qu'on a poussée).

Si le système voit quelque chose bouger ou changer d'une manière qui ne correspond pas au modèle de « pièce statique », il dit essentiellement : « Ignorez cela pour la carte », afin que la carte ne soit pas corrompue. Il utilise un filet de sécurité mathématique spécial (appelé noyau robuste adaptatif) pour décider quelles parties de la vidéo sont fiables et lesquelles ne sont que du bruit.

4. L'« Équipe Soudée » (Fusion étroitement couplée)

Habituellement, les robots font les choses par étapes : d'abord déterminer où vous êtes, puis déterminer ce que sont les objets, puis les combiner. C'est comme une course de relais où le bâton pourrait être laissé tomber.

RADIO-ViPE est plus comme un groupe de jazz où tout le monde joue ensemble en même temps. Il combine :

Géométrie : Où se trouvent les objets dans l'espace 3D.
Vision : À quoi ressemblent les objets.
Langage : Comment les objets sont nommés.

Il ajuste les trois simultanément. Si les données visuelles sont floues, l'indice linguistique aide à corriger la géométrie. Si la géométrie est instable, les données visuelles aident à la stabiliser. Ils s'aident tous mutuellement en temps réel.

Les Résultats : Qu'ont-ils prouvé ?

Les auteurs ont testé ce système de deux manières principales :

Le Test « Pièce en Mouvement » (TUM-RGBD) : Ils l'ont testé sur des vidéos de pièces où des gens marchaient et où des objets bougeaient. RADIO-ViPE a mieux performé que presque tous les autres systèmes existants pour maintenir la précision de la carte et ne pas se confondre avec les personnes en mouvement.
Le Test « Moteur de Recherche » (Replica) : Ils ont testé si le robot pouvait construire une carte puis répondre à des questions textuelles à son sujet (par exemple, « Où est le canapé ? »). Même sans capteurs de profondeur parfaits ni caméras pré-calibrées, il a performé presque aussi bien que les systèmes qui avaient ces avantages coûteux. Il s'est classé dans le top 3 par rapport à des systèmes hors ligne beaucoup plus complexes.

En Bref

RADIO-ViPE est un système qui permet à un robot de regarder une vidéo brute, non calibrée, d'une pièce désordonnée et en mouvement, et de construire instantanément une carte 3D qui comprend l'anglais. Il ignore les personnes en mouvement et les meubles réarrangés pour garder la carte propre, permettant à un humain de demander : « Où est le café ? » et d'obtenir une réponse 3D précise, le tout sans avoir besoin de capteurs coûteux ni de règles préétablies.

1. Énoncé du problème

L'article comble une lacune critique dans la perception robotique : l'absence de systèmes de SLAM sémantique à vocabulaire ouvert, sans calibration et en ligne, capables de fonctionner dans des environnements dynamiques.

Limitations actuelles : Les systèmes de SLAM sémantique existants nécessitent généralement :
- Des capteurs calibrés (RGB-D ou intrinsèques connues).
- Des hypothèses de scène statique (échouant lorsque les objets bougent ou que le mobilier est réarrangé).
- Des catégories d'objets prédéfinies (ensemble fermé), limitant la flexibilité.
- Un traitement hors ligne, les rendant inadaptés à la robotique en temps réel.
Le défi : Les environnements réels impliquent des vidéos monoculaires non calibrées, des agents dynamiques (personnes) et des changements quasi-statiques (mobilier déplacé). Les méthodes actuelles peinent à distinguer la géométrie statique des perturbations dynamiques tout en ancrant simultanément des requêtes en langage naturel libres dans l'espace 3D.

2. Méthodologie

RADIO-ViPE (Reduce All Domains Into One — Video Pose Engine) est un système en ligne qui traite des flux vidéo bruts monoculaires RGB non calibrés. Il unifie la vision, le langage et la géométrie au sein d'un cadre d'optimisation de graphe de facteurs à fenêtre glissante.

A. Pipeline du système

Initialisation : Les intrinsèques de la caméra sont amorcées à partir d'images échantillonnées uniformément en utilisant GeoCalib, sans nécessiter de cibles de calibration.
Sélection d'images clés : Les images sont sélectionnées sur la base d'un flot optique dense pondéré.
Extraction de caractéristiques multi-modales :
- Utilisation de RADSeg (basé sur le modèle fondamental agglomératif RADIO) pour extraire des embeddings visuels denses alignés sur le langage.
- Les caractéristiques sont compressées via ACP (jusqu'à 256 dimensions) pour une efficacité mémoire.
- La profondeur est estimée à l'aide de modèles de profondeur monoculaires fondamentaux et convertie en profondeur inverse (décalage).
Initialisation du flot sémantique : Pour gérer les surfaces sans texture, le système fusionne des priors de flot optique géométrique avec un terme de correspondance sémantique dérivé des caractéristiques RADIO. Cela crée un champ de flot initial robuste.
Ajustement de faisceaux (BA) étroitement couplé :
- Optimise conjointement les poses de la caméra ( $T_i$ ), les intrinsèques ( $K_q$ ) et les cartes de décalage denses ( $d_i$ ).
- Minimise une fonction d'énergie pondérée combinant le flot photométrique et la similarité des embeddings sémantiques.
- Connectivité du graphe de facteurs : Au-delà de la proximité géométrique, des arêtes sont ajoutées basées sur la co-visibilité basée sur les embeddings (correspondance des descripteurs globaux des images clés via similarité cosinus).

B. Innovations techniques clés

Fusion Vision-Langage-Géométrie :
- Le système introduit un nouveau Terme de similarité des embeddings dans l'ajustement de faisceaux. Il impose un alignement des caractéristiques entre les vues en projetant les embeddings source sur les images cibles et en minimisant la distance cosinus entre eux.
- Cela permet à l'optimisation géométrique d'être guidée par la cohérence sémantique, garantissant que la carte 3D reste cohérente avec les caractéristiques visuelles du langage.
Noyau robuste adaptatif temporellement cohérent :
- Pour gérer les environnements dynamiques, le système distingue les surfaces statiques, les objets mobiles (ex. : mobilier déplacé) et les agents en mouvement actif (ex. : personnes).
- Il calcule un Champ de stabilité temporelle ( $S_i(u)$ ) en analysant la moyenne et la variance des similarités d'embeddings à travers plusieurs arêtes temporelles.
- Ce champ se mappe sur un paramètre de forme de perte de Barron ( $\alpha$ ) :
  - $\alpha \approx 2$ (perte $\ell_2$ ) pour les surfaces statiques.
  - $\alpha \approx 1$ (perte de Huber) pour les objets mobiles.
  - $\alpha \to 0$ (perte de Cauchy) pour les agents en mouvement actif.
- Ce noyau adaptatif réduit le poids des régions dynamiques lors de l'optimisation, empêchant leur corruption de la carte.
Ancrage à vocabulaire ouvert :
- Les points 3D sont décodés à partir des caractéristiques Radio compressées et projetés dans l'espace latent SigLip.
- Cela permet au système de faire correspondre des requêtes en langage naturel arbitraires à des régions 3D localisées en temps réel, sans supervision spécifique à une catégorie.

3. Contributions principales

Fusion Vision-Langage-Géométrie via ajustement de faisceaux dense : Un cadre étroitement couplé novateur qui intègre directement des caractéristiques de modèles fondamentaux de haut niveau dans la boucle d'optimisation géométrique, assurant la cohérence de la carte à travers les modalités.
Noyau robuste adaptatif temporellement cohérent : Un schéma d'optimisation conscient du dynamique qui utilise une analyse de stabilité temporelle pour sélectionner automatiquement la fonction de perte appropriée ( $\ell_2$ , Huber ou Cauchy) pour différents éléments de la scène, supprimant efficacement le bruit dynamique.
SLAM à vocabulaire ouvert en ligne sans calibration : Le premier système à unifier ces capacités dans un pipeline en ligne unique qui ne nécessite ni capteurs de profondeur, ni priors de pose, ni calibration de caméra, opérant directement sur des vidéos monoculaires brutes.

4. Résultats expérimentaux

Le système a été évalué sur deux benchmarks : TUM-RGBD (SLAM dynamique) et Replica (segmentation sémantique à vocabulaire ouvert).

Performance SLAM (TUM-RGBD) :
- RADIO-ViPE a obtenu des résultats State-of-the-Art (SOTA) sur le benchmark dynamique TUM-RGBD.
- La variante avec le noyau robuste adaptatif (RADIO-ViPE $^{ark}$ ) a atteint une erreur de trajectoire absolue (ATE) moyenne de 1,63 cm, surpassant des méthodes de SLAM dynamique spécialisées comme Dyna-SLAM (2,00 cm) et ViPE (2,17 cm).
- Il a démontré une robustesse supérieure aux objets en mouvement et aux réarrangements de scène par rapport aux méthodes existantes.
Segmentation sémantique (Replica) :
- Évalué sur la segmentation sémantique à vocabulaire ouvert (mIoU, f-mIoU, Précision).
- RADIO-ViPE s'est classé dans le top-3 parmi toutes les approches comparées, y compris des méthodes hors ligne comme ConceptGraphs et RayFronts.
- Efficacité : Malgré l'utilisation de caractéristiques compressées par ACP (256D) et l'absence de profondeur/pose de vérité terrain, il a maintenu des performances dans une fourchette de 1–2 % de la variante de vérité terrain (RADIO-ViPE $^{GT}$ ), prouvant l'efficacité de son apprentissage géométrique auto-supervisé.
- Contrairement aux concurrents, il fonctionne en ligne et sans calibration.

5. Signification et impact

Déploiement dans le monde réel : RADIO-ViPE comble le fossé entre les modèles fondamentaux théoriques et la robotique pratique. En éliminant le besoin de calibration et de capteurs de profondeur, il permet l'utilisation de vidéos non contraintes "in-the-wild" (par exemple, à partir de smartphones ou de caméras égocentriques) pour la cartographie 3D.
Robustesse dynamique : Le mécanisme de noyau adaptatif fournit une solution robuste au problème de la "scène dynamique", permettant aux robots de naviguer et de cartographier des environnements où le mobilier est déplacé ou où des personnes se promènent, sans échouer.
Flexibilité à vocabulaire ouvert : En ancrant des requêtes en langage arbitraires dans l'espace 3D, il permet aux robots à usage général de comprendre et d'interagir avec des environnements basés sur des instructions en langage naturel plutôt que sur des taxonomies d'objets rigides.
Efficacité des ressources : Le système fonctionne à 8–10 FPS sur du matériel standard (Intel Xeon + RTX 4090), le rendant adapté aux applications en temps réel en RA/RV et en navigation autonome.

En résumé, RADIO-ViPE représente une avancée significative dans la SLAM sémantique, intégrant avec succès les capacités des modèles fondamentaux avec une optimisation géométrique robuste pour créer un système de perception 3D flexible, sans calibration et conscient du dynamique.