Résumé Technique : OccAnyScene

Énoncé du Problème

La prédiction d'occupation sémantique 3D est essentielle pour une compréhension holistique des scènes dans la conduite autonome et l'IA incarnée. Cependant, les méthodes existantes sont principalement spécifiques à une scène, conçues pour des protocoles fixes concernant les plages spatiales, les résolutions de voxels, les configurations de caméras et les taxonomies sémantiques. Cette spécialisation entrave le développement d'une perception 3D à usage général.

L'article introduit la Prédiction d'Occupation Sémantique 3D Cross-Scene, un nouveau cadre de tâche exigeant qu'un modèle unique puisse gérer simultanément des scènes intérieures et extérieures hétérogènes. Ce cadre présente un défi fondamental : parvenir à un levage de l'image vers la 3D qui soit à la fois métriquement cohérent et adaptatif à la scène.

• Incohérence Métrique : Les scènes intérieures (ex: pièces) nécessitent une perception à grain fin et à courte portée, tandis que les scènes extérieures (ex: rues) nécessitent une perception à grain grossier et à longue portée.
• Difficulté de Paramétrage : Les méthodes existantes basées sur les Gaussiennes peinent car les décalages (offsets) et les échelles absolus requis pour la complétion de l'occlusion varient considérablement d'un domaine à l'autre. Un paramétrage absolu partagé est difficile à apprendre en raison des différences d'intrinsèques de caméra et de profondeurs de scène.

Méthodologie : OccAnyScene

Pour relever ces défis, les auteurs proposent OccAnyScene, un cadre de Gaussiennes centré sur le frustum de pixel, construit sur un modèle de fondation de profondeur pré-entraîné (ex: DepthAnythingV2/V3). Le cadre traite le frustum 3D fini associé à chaque pixel de caractéristique comme l'unité de base pour construire une représentation de scène continue, plutôt que de s'appuyer sur des grilles de voxels fixes ou des rayons uniques.

L'architecture se compose de deux modules principaux :

1. Agrégation de Caractéristiques de Frustum Alignées sur le Pixel (PFFA)

Ce module construit une requête de frustum sensible à la caméra pour chaque pixel de caractéristique afin de raisonner sur les régions occultées.

• Entrée : Il prend des caractéristiques géométriques denses ($F_{geo}$) provenant de la tête DPT du modèle de fondation de profondeur et des jetons visuels de son encodeur ViT.
• Initialisation : Une requête de pixel est initialisée à l'aide d'indices géométriques et de la direction du rayon de la caméra dérivée des intrinsèques.
• Agrégation de Contexte : Le module restaure les jetons ViT séquentiels en une grille 2D et effectue une attention croisée déformable alignée sur le pixel. Cela agrège les indices sémantiques et structurels environnants autour du pixel de caractéristique, produisant une requête de frustum qui encode la géométrie de la surface visible, la géométrie de vue et le contexte local.

2. Construction de Gaussiennes Paramétrées par Frustum (FPGC)

Ce module décode chaque requête de frustum en plusieurs primitives Gaussiennes ($K$ Gaussiennes par pixel) avec des positions et des échelles contraintes par la profondeur de pixel prédite et la géométrie du frustum.

• Ancrage de Profondeur : Pour assurer la cohérence métrique entre des jeux de données ayant des intrinsèques variables, le modèle prédit une profondeur de surface de la caméra canonique ($D_{surf}$) en utilisant un MLP léger. Cela sert d'ancre de profondeur commune.
• Positionnement :
  • Incréments de Profondeur ($\Delta d_{p,k}$) : Au lieu de placer toutes les Gaussiennes sur la surface, le modèle prédit des incréments de profondeur pour étendre la représentation des surfaces visibles vers les régions occultées.
  • Décalages de Sous-pixel ($\Delta u_{p,k}$) : Pour tenir compte de la nature grossière des pixels de caractéristiques sous-échantillonnés, des décalages de sous-pixel bornés permettent aux centres des Gaussiennes de se déplacer latéralement à l'intérieur du frustum de pixel correspondant.
• Paramétrage d'Échelle : Pour éviter d'apprendre des échelles absolues instables, le modèle utilise une échelle relative au frustum. Il calcule une référence d'échelle de frustum scalaire ($b_{p,k}$) basée sur la section transversale métrique du frustum à la profondeur de la Gaussienne. Le décodeur prédit ensuite une échelle relative sans dimension ($\hat{s}_{p,k}$), qui est multipliée par la référence pour déterminer la taille finale de la Gaussienne. Cela adapte automatiquement les supports spatiaux aux différents paramètres de caméra et étendues de scène.
• Sortie : Les Gaussiennes résultantes sont mappées vers des taxonomies sémantiques spécifiques à la scène via des matrices de taxonomie apprenables et sont projetées (splattées) sur la grille de voxels cible.

Principales Contributions

1. Définition de la Tâche : L'article introduit formellement la Prédiction d'Occupation Sémantique 3D Cross-Scene, un cadre où un seul modèle doit apprendre conjointement à partir de scènes intérieures et extérieures hétérogènes avec des protocoles différents.
2. Conception du Cadre : La proposition d'OccAnyScene, un cadre de Gaussiennes centré sur le pixel-frustum. Il unifie la prédiction d'occupation via :
   • PFFA : Pour la construction de requêtes de frustum qui raisonnent sur les occlusions.
   • FPGC : Pour une construction de Gaussiennes adaptative à la scène qui paramètre les positions et les échelles par rapport à la géométrie du frustum, permettant la stabilité à travers différentes échelles et intrinsèques.
3. Performance : Des expériences approfondies démontrent qu'OccAnyScene atteint des résultats de pointe (SOTA) sur les benchmarks intérieurs (Occ-ScanNet) et extérieurs (SurroundOcc-nuScenes). Crucialement, le modèle cross-scene est comparable aux modèles spécifiques à une scène entraînés séparément, prouvant qu'un modèle unifié peut gérer des environnements divers sans dégradation significative des performances.

Résultats Expérimentaux

• Intérieur (Occ-ScanNet) : Le modèle atteint 59,51 % de mIoU dans le cadre cross-scene en utilisant l'encodeur DAv3, égalant presque la performance spécifique à la scène (59,92 % de mIoU) et surpassant les autres adaptations cross-scene (ex: SplatSSC† chute significativement).
• Extérieur (SurroundOcc-nuScenes) : Le modèle atteint 22,87 % de mIoU dans le cadre cross-scene en utilisant l'encodeur DAv3, à nouveau comparable à son homologue spécifique à la scène (23,06 % de mIoU) et supérieur aux baselines adaptées.
• Efficacité : OccAnyScene-DAv2 démontre une haute efficacité avec 98,2 millions de paramètres, un temps d'inférence de 86,4 ms et une utilisation de mémoire de 670 MiB sur une RTX 4090, réduisant l'utilisation de la mémoire de plus de 80 % par rapport aux travaux précédents comme EmbodiedOcc et SplatSSC.
• Études d'Ablation :
  • Supprimer PFFA ou FPGC entraîne des chutes de performance significatives, confirmant la nécessité de l'agrégation de caractéristiques basée sur le frustum et du paramétrage.
  • L'« échelle relative au frustum » et les « incréments de profondeur » sont critiques pour gérer les variations métriques et la complétion de l'occlusion.
  • Augmenter le nombre de Gaussiennes par pixel ($K$) de 1 à 3 ne produit que des gains marginaux, suggérant que la complétion de l'occlusion est largement réalisée par la contribution collective des pixels voisins plutôt que par un empilement profond au sein d'un seul frustum.

Signification et Revendications

L'article affirme qu'OccAnyScene répond avec succès à la difficulté de la prédiction d'occupation cross-scene en s'éloignant des représentations spatiales fixes vers une référence géométrique qui s'adapte à la géométrie de la caméra et à l'étendue de la scène.

Les auteurs affirment que leur approche permet la consolidation de la prédiction d'occupation à l'échelle d'une pièce et à l'échelle d'une rue dans un modèle unique de type feed-forward. Cela élimine la nécessité de maintenir et de basculer entre des modèles distincts pour différents environnements, simplifiant ainsi le déploiement et la mise à l'échelle pour les systèmes autonomes opérant dans des contextes divers. Le travail démontre qu'avec le bon paramétrage géométrique (centré sur le pixel-frustum), un modèle unifié peut atteindre des performances comparables à celles de modèles spécialisés tout en maintenant une haute efficacité computationnelle.

Limites Reconnues :
Les auteurs notent que l'évaluation actuelle est limitée à deux jeux de données (Occ-ScanNet et SurroundOcc-nuScenes) et ne démontre pas encore la généralisation à des scènes inédites arbitraires. De plus, la représentation pixel-frustum ne couvre intrinsèquement que les régions situées dans les champs de vision de la caméra ; les lacunes entre les caméras dans les configurations de vue périphérique sont comblées par un petit ensemble de requêtes spatiales supplémentaires, ce qui a un impact minimal sur les métriques globales mais indique une limite pour couvrir les régions entièrement hors du champ de vision de la caméra.