SemanticXR: Low Power and Real-time Queryable Semantic Mapping with an Object-Level Device-Cloud Architecture

Résumé Technique : SemanticXR

Problématique

Le déploiement d'une cartographie sémantique à vocabulaire ouvert et en temps réel sur des dispositifs de Réalité Étendue (XR) mobiles fait face à un conflit fondamental entre les exigences algorithmiques et les contraintes système. Bien que les avancées récentes des modèles de fondation 2D permettent la reconnaissance de catégories d'objets auparavant inconnues, les élever dans des cartes sémantiques 3D persistantes est extrêmement intensif en termes de calcul, nécessitant généralement des GPU de classe serveur. Les dispositifs XR mobiles, contraints par des budgets énergétiques, des limites de mémoire et de bande passante stricts, ne peuvent pas exécuter ces modèles localement.

Les approches existantes qui tentent de déporter cette tâche vers le cloud échouent à traiter les défis spécifiques au niveau du système à la frontière entre l'appareil et le cloud :

1. Représentations monolithiques : De nombreux systèmes fusionnent la sémantique dans des cartes volumétriques globales, liant les coûts de calcul, de mémoire et de bande passante à la taille totale de la scène. Cela les rend incompatibles avec un déploiement appareil-cloud où la complexité de la scène varie.
2. Robustesse du réseau : L'interrogation purement basée sur le cloud laisse les appareils incapables de répondre aux requêtes de l'utilisateur lors de chutes de réseau, un événement courant dans la XR mobile.
3. Surcharge de bande passante et de mémoire : Maintenir une copie locale d'une carte sémantique pour l'interrogation hors ligne nécessite souvent de transférer l'état complet de la scène, ce qui fait que la bande passante descendante et la mémoire de l'appareil augmentent proportionnellement à la taille totale de la scène plutôt qu'aux changements de la carte.
4. Latence : Même avec des GPU serveurs puissants, les pipelines existants induisent souvent des latences de cartographie par trame élevées, ne parvenant pas à satisfaire les exigences du temps réel.

Aucun système existant ne parvient à partitionner la cartographie sémantique entre l'appareil et le cloud tout en gérant la communication, l'exécution et l'empreinte mémoire pour satisfaire les contraintes de la XR.

Méthodologie : SemanticXR

SemanticXR introduit le premier système de bout en bout appareil-cloud pour la cartographie et l'interrogation sémantique à vocabulaire ouvert en temps réel sous les contraintes de la XR. Son idée centrale est d'élever les objets sémantiquement identifiables au rang d'unités de conception de premier ordre. Au lieu de traiter la scène comme un bloc monolithique, le système organise la communication, l'exécution et la gestion de la mémoire autour d'objets discrets.

L'architecture du système consiste en un dispositif XR diffusant des données synchronisées RGB, de profondeur et de pose vers un serveur, où s'exécute le pipeline de cartographie sémantique. L'appareil maintient une carte locale parcelle pour une interrogation robuste au réseau.

Innovations Systèmes Clés

1. Côté Serveur : Parallélisme au niveau de l'objet et sous-échantillonnage géométrique (Sec. 3.1)

• Parallélisme : Plutôt que de traiter les trames séquentiellement, SemanticXR effectue la segmentation et l'extraction de caractéristiques de langage-vision de manière indépendante pour chaque objet détecté dans une trame. Cela maximise l'utilisation du GPU et réduit la latence par trame.
• Sous-échantillonnage géométrique : Puisque l'association d'objets repose sur la proximité spatiale et la similitude sémantique plutôt que sur une géométrie de haute fidélité, le système limite le nombre de points par objet. Cela borne le calcul par objet et améliore la latence de cartographie sans dégrader la qualité sémantique.

2. Côté Appareil : Carte locale parcelle avec mises à jour incrémentielles (Sec. 3.2)

• Carte locale parcelle : L'appareil maintient une carte locale composée d'entrées par objet. Chaque entrée stocke un plongement (embedding) sémantique et un nuage de points fortement sous-échantillonné. Cela garantit que l'utilisation de la mémoire est bornée par le nombre d'objets conservés, et non par la complexité de la scène.
• Mises à jour incrémentielles : Au lieu de transférer la scène complète, le serveur n'envoie que les objets nouvellement créés ou modifiés. Cela découple la bande passante descendante de la taille totale de la scène, la rendant proportionnelle au nombre de changements.
• Priorisation des mises à jour : Pour maintenir la carte locale dans les budgets de mémoire, le système priorise les mises à jour en fonction de la pertinence sémantique, de la proximité spatiale et des classes de priorité déclarées par l'application. Les objets de priorité inférieure sont évincés lorsque le budget est atteint.

3. Bande Passante Montante : Co-conception avec la cartographie de profondeur (Sec. 3.3)

• Plutôt que de compter uniquement sur la compression, SemanticXR co-conçoit la transmission de la profondeur avec les décisions de cartographie. Les trames de profondeur sont sous-échantillonnées avant transmission. Le serveur diffère ensuite l'intégration des objets ayant une profondeur peu fiable (ex: objets petits ou lointains) jusqu'à ce que des observations supplémentaires améliorent la fiabilité. Cela réduit considérablement la bande passante montante avec un surcoût négligeable côté appareil.

4. Compromis Configurables (Sec. 3.4)

• Le système expose des paramètres permettant aux applications de troquer l'utilisation des ressources (calcul, mémoire, bande passante) contre la qualité sémantique par objet ou catégorie. Cette adaptabilité permet au système de fonctionner sous diverses conditions de réseau et d'exigences applicatives sans modifier le pipeline de perception sous-jacent.

Évaluation et Résultats

SemanticXR a été évalué par rapport à une base de référence appareil-cloud contrôlée utilisant les mêmes modèles de perception (légendage zero-shot, détection, segmentation et embedding) mais sans l'organisation systémique par objet. L'évaluation a utilisé le jeu de données Replica et un NVIDIA Jetson Orin configuré en mode basse consommation pour simuler un dispositif XR.

• Latence de Cartographie : SemanticXR améliore la latence de cartographie côté serveur de 2,2× (passant d'environ 570 ms à ~260 ms par trame) par rapport à la base de référence, atteignant ~20 FPS à qualité sémantique équivalente.
• Bande Passante Montante : Grâce à la co-conception profondeur-cartographie (sous-échantillonnage 5×), la bande passante montante est réduite d'environ 90 % (de ~26,4 Mbps à 2,5 Mbps) avec seulement une légère baisse de la qualité sémantique (F-mIoU).
• Latence d'Interrogation et Robustesse Réseau :
  • En cas de chute de réseau, l'appareil bascule sur la carte locale parcelle.
  • La latence d'interrogation locale reste inférieure à 100 ms pour des cartes contenant jusqu'à 10 000 objets.
  • Le système supporte jusqu'à 50 000 objets dans une empreinte mémoire de 500 Mo sur l'appareil.
• Bande Passante Descendante : La bande passante évolue avec les changements de la carte plutôt qu'avec la taille totale de la scène. À mesure que l'exploration converge, la taille des mises à jour diminue, alors qu'une mise à jour complète de la scène de base reste constante.
• Consommation Électrique :
  • Exécuter le pipeline complet sur l'appareil nécessite ~50W, confirmant la nécessité du déport (offloading).
  • En fonctionnement normal (cartographie serveur + interrogation locale), SemanticXR n'ajoute que ~2 % à la consommation électrique au repos de l'appareil (environ 8,7W contre 8,6W au repos).
  • Même sous une interrogation continue intense (14,7 requêtes/sec), la consommation de crête reste dans l'enveloppe des dispositifs XR contemporains (~13,2W).

Signification et Revendications

L'article affirme que SemanticXR est le premier système permettant une cartographie et une interrogation sémantique à vocabulaire ouvert en temps réel dans les contraintes de puissance, de bande passante et de mémoire des dispositifs XR mobiles.

Sa contribution primaire est l'identification de l'objet comme abstraction système centrale pour la cartographie sémantique appareil-cloud. En traitant les objets comme des unités de premier ordre pour la communication, l'exécution et la gestion de la mémoire, SemanticXR comble le fossé entre les modèles de fondation puissants et le matériel mobile aux ressources limitées. Le système démontre que :

1. L'organisation par objet est essentielle pour atteindre des performances en temps réel sur les GPU côté serveur.
2. La gestion par objet des mises à jour et du stockage local est nécessaire pour maintenir la robustesse réseau et une mémoire/bande passante bornée sur l'appareil.
3. Ces innovations de niveau système sont orthogonales aux optimisations de niveau modèle (comme la quantification) et se généralisent à tout pipeline produisant des représentations persistantes par objet.

Les auteurs soulignent que leur approche ne dépend pas de modèles de fondation spécifiques, mais plutôt de l'organisation du système requise pour gérer l'état produit par ces modèles à travers une frontière appareil-cloud. Une étude de cas de déploiement sur un prototype d'iPad valide également la faisabilité de bout en bout du système avec de vrais capteurs.