Résumé Technique : VEOcc - Prédiction d'Occupation Sémantique en Ligne Centrée sur les Voxels

1. Définition du Problème

L'article aborde le défi de la prédiction d'occupation 3D en ligne et de la cartographie pour l'intelligence incarnée. Cette tâche exige que les robots construisent de manière incrémentale des représentations spatiales denses et cohérentes d'une scène tout en explorant, afin de soutenir la prise de décision de haut niveau dans des environnements nouveaux.

Les auteurs identifient deux limitations critiques des méthodes actuelles de l'état de l'art, en particulier celles reposant sur des représentations centrées sur les Gaussiennes 3D (par exemple, SplatSSC, RoboOcc) :

1. Fidélité Structurelle : Les primitives gaussiennes ont tendance à se regrouper dans des régions saillantes, entraînant des représentations clairsemées dans les zones faiblement texturées. Leur nature ellipsoïdale lisse peine à modéliser les discontinuités géométriques telles que les limites, les coins et les structures fines.
2. Contraintes Opérationnelles : Les méthodes centrées sur les Gaussiennes reposent souvent sur des a priori prédéfinis concernant la taille de la scène. Elles nécessitent généralement une phase d'exploration initiale pour estimer l'échelle de la scène afin d'initialiser les Gaussiennes, suivie d'une phase de raffinement en deuxième passage. Cela limite leur capacité à effectuer une cartographie incrémentale véritablement ouverte, sans connaissance préalable de l'étendue de l'environnement.

Le défi central consiste à développer un système garantissant une prédiction locale précise par image, permettant une expansion de la carte sans limites prédéfinies, et intégrant de manière robuste des observations bruitées sur de longues horizons temporels.

2. Méthodologie : Cadre VEOcc

Les auteurs proposent VEOcc, un cadre centré sur les voxels formulé comme un paradigme récursif de perception et d'assimilation. Le système traite une séquence d'images monoculaires pour prédire l'occupation locale par image et assimiler incrémentalement ces données dans une carte globale.

A. Réseau de Prédiction d'Occupation Locale

VEOcc utilise un prédicteur local léger opérant sur des grilles de voxels régulières pour préserver les détails géométriques fins :

• Extraction de Caractéristiques : Utilise un backbone EfficientNet-B7 avec un Réseau de Pyramide de Caractéristiques (FPN) pour extraire des caractéristiques 2D multi-échelles.
• Estimation de la Profondeur : S'appuie sur un modèle fondamental de profondeur pré-entraîné (Depth Anything V2) pour prédire des cartes de profondeur denses.
• Projection 2D vers 3D : Adopte un transformateur de vue Lift-Splat-Shoot (LSS). Ce dernier intègre explicitement les intrinsèques et extrinsèques de la caméra pour projeter les caractéristiques d'image 2D dans un volume de caractéristiques 3D ($V_t$), réduisant ainsi la charge du raisonnement géométrique implicite.
• Prédiction : Un backbone 3D ResNet et un FPN agrègent le contexte, suivis d'une tête d'occupation 3D légère qui prédit les logits sémantiques par voxel.

B. Stratégie de Mise à Jour en Ligne Sensible Spatio-Temporellement

Pour pallier le goulot d'étranglement de la fusion temporelle et le bruit dans les espaces de voxels discrets, VEOcc introduit une stratégie à trois modules pour mettre à jour l'état d'occupation global ($O_t$) :

1. Agrégation de Logits Inter-Temporels (TLA) :

   • Objectif : Imposer une cohérence temporelle et gérer le désalignement spatial entre la grille globale discrète et le cadre égo-centrique en mouvement.
   • Mécanisme : Pour les voxels visibles à la fois dans l'image courante ($t$) et l'image précédente ($t-1$), le système les projette dans un espace local continu. Il construit des caractéristiques paires combinant les représentations courante et précédente, ainsi que leurs différences et leurs encodages de position spatiale.
   • Fusion : Un MLP léger prédit des poids de fusion adaptatifs basés sur les écarts de caractéristiques et de position spatiale, effectuant une agrégation pondérée des logits sémantiques pour produire des prédictions améliorées.

2. Modulation de Confiance Sensible à la Fiabilité (RCM) :

   • Objectif : Calibrer les incertitudes spatiales inhérentes aux configurations monoculaires (par exemple, indices faibles aux bords de l'image, ambiguïté de profondeur à grande distance).
   • Mécanisme : Calcule un score de confiance pour chaque voxel basé sur des fonctions de décroissance Sensibles à la Profondeur et Sensibles aux Bords.
   • Formule : La confiance est modulée par la profondeur du voxel ($d_{i,t}$) et la proximité aux bords de l'image ($b_{i,t}$), garantissant que les prédictions provenant de régions lointaines ou périphériques soient pondérées à la baisse. Ce module ne nécessite pas d'entraînement et utilise des paramètres fixés empiriquement.

3. Mise à Jour de l'État Incrémentale Pilotée par la Confiance (CSU) :

   • Objectif : Assimiler l'état global de manière robuste sur de longues horizons tout en empêchant la dérive de la variance des logits.
   • Mécanisme : Au lieu de fusionner directement les logits bruts, le système convertit les logits améliorés en probabilités sémantiques normalisées via Softmax.
   • Règle de Mise à Jour : Pour les voxels existants, l'état global est mis à jour en utilisant une moyenne pondérée des probabilités historiques et courantes, où les poids sont déterminés par les scores de confiance et le nombre d'observations. Les nouveaux voxels sont initialisés avec leur probabilité et leur confiance actuelles. Cela garantit que les observations fiables dominent la carte globale tandis que les prédictions bruitées sont progressivement supprimées.

3. Contributions Clés

1. Cadre VEOcc : Une approche centrée sur les voxels pour la prédiction d'occupation 3D en ligne qui élimine le besoin d'estimation initiale de l'échelle, permettant une expansion incrémentale de la carte sans limites prédéfinies.
2. Stratégie de Mise à Jour en Ligne Sensible Spatio-Temporellement : Un mécanisme de fusion novateur comprenant les modules TLA, RCM et CSU qui adressent de manière synergique la cohérence temporelle, l'étalonnage des incertitudes spatiales et l'assimilation robuste de l'état global.
3. Performance de l'État de l'Art : La méthode établit de nouveaux benchmarks dans les contextes locaux et incarnés, surpassant significativement les références centrées sur les Gaussiennes.
4. Généralisation Zero-Shot : Démontre une performance robuste hors distribution sur des séquences vidéo réelles collectées en interne, sans ajustement fin ni a priori sur la scène.

4. Résultats Expérimentaux

Les auteurs ont évalué VEOcc sur Occ-ScanNet (prédiction locale) et EmbodiedOcc-ScanNet (prédiction incarnée).

• Prédiction Locale (Occ-ScanNet) : VEOcc a obtenu 64,55 IoU et 55,49 mIoU sur l'ensemble complet des données, surpassant la référence gaussienne la plus forte (SplatSSC) de +1,72 IoU et +3,66 mIoU. Sur le mini-ensemble, les améliorations étaient encore plus marquées (+6,41 IoU).
• Prédiction Incarnée (EmbodiedOcc-ScanNet) : VEOcc a atteint 62,21 IoU et 53,00 mIoU, surpassant RoboOcc avec une marge significative (+8,91 IoU / +8,95 mIoU). Crucialement, il a présenté une baisse de performance plus faible lors de la transition de la prédiction locale à la prédiction globale par rapport aux méthodes antérieures, indiquant une meilleure correction d'erreurs lors de l'intégration à long terme.
• Efficacité : Malgré la complexité ajoutée de la stratégie de mise à jour, VEOcc maintient une latence d'inférence comparable aux méthodes gaussiennes tout en nécessitant nettement moins de paramètres de modèle (177,1M contre 231,5M) et une utilisation mémoire réduite.
• Analyse Qualitative : Les visualisations montrent une reconstruction supérieure des limites structurelles, des objets fins et des régions occluses par rapport aux méthodes basées sur les Gaussiennes.
• Validation en Monde Réel : Le déploiement zero-shot sur des vidéos de smartphones collectées en interne a permis de reconstruire avec succès des cartes sémantiques globales cohérentes dans des environnements intérieurs non vus, s'alignant sur les reconstructions éparses de COLMAP.

5. Importance et Revendications

L'article revendique que VEOcc fournit une solution précise et hautement efficace pour l'exploration autonome. Son importance principale réside dans le changement de paradigme des représentations centrées sur les Gaussiennes vers des représentations centrées sur les voxels pour la cartographie en ligne.

• Surmonter les Limitations Antérieures : En abandonnant les a priori prédéfinis sur la taille de la scène, VEOcc permet une exploration véritablement ouverte où la carte s'étend naturellement à mesure que de nouvelles zones sont observées.
• Robustesse : La stratégie de mise à jour proposée supprime efficacement le bruit inter-vues et calibre les incertitudes, assurant un état sémantique global cohérent même en présence d'observations bruitées et d'une intégration à long terme.
• Praticité : Le cadre est conçu pour des applications incarnées réelles, offrant un équilibre entre haute performance, efficacité computationnelle et capacité à se généraliser à des environnements totalement inédits sans réentraînement.

Les auteurs concluent que leur travail comble un vide dans la recherche sur les représentations denses centrées sur les voxels pour la prédiction d'occupation en ligne, démontrant leurs avantages distincts par rapport aux approches basées sur les Gaussiennes dans les scénarios intérieurs. Un travail futur est noté pour explorer l'extension de ce cadre afin de gérer des éléments dynamiques dans des environnements complexes et ouverts.