💻 computer science

RayOcc: Occlusion-Aware Ray Occupancy Estimation via Gaussian Mixture Intensity

RayOcc est un cadre de prédiction d'occupation sémantique 3D uniquement basé sur des caméras qui traite l'ambiguïté de la profondeur et l'occlusion en modélisant les rayons comme des problèmes d'existence multi-labels à l'aide d'intensités de mélanges gaussiens et de formulations d'événements de Poisson, permettant ainsi la coexistence de multiples hypothèses occupées et atteignant des performances de pointe sur le benchmark nuScenes.

Auteurs originaux : Junho Kim, Seongwon Lee

Publié 2026-07-21

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Junho Kim, Seongwon Lee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de construire un modèle 3D d'une rue de ville animée, mais que vous ne disposez que d'un ensemble de photos 2D plates prises sous différents angles. C'est le défi quotidien des voitures autonomes : elles doivent comprendre le monde 3D — où se trouvent les voitures, où s'arrêtent les trottoirs et à quelle distance se trouvent les arbres — en utilisant uniquement des caméras, et non des scanners laser coûteux. Ce domaine est appelé la « prédiction d'occupation sémantique 3D ». Imaginez que vous essayez de deviner la forme d'un objet caché à l'intérieur d'une boîte brumeuse simplement en regardant son ombre. La partie délicate est l'« occlusion », qui est juste un mot savant pour désigner les choses qui en bloquent d'autres. Si un gros camion se trouve devant une petite clôture, la caméra voit le camion, mais la clôture est cachée derrière lui. Dans le monde réel, le camion et la clôture existent tous deux le long de la même ligne de visée, mais pendant longtemps, les programmes informatiques ont eu du mal à voir les deux à la fois. Ils étaient forcés de choisir un seul « vainqueur » pour chaque ligne de visée, oubliant souvent la clôture cachée ou devinant la mauvaise distance.

C'est ici qu'une nouvelle méthode appelée RayOcc intervient pour changer la donne. Au lieu de forcer l'ordinateur à choisir une seule « meilleure supposition » le long d'une ligne de visée, RayOcc lui permet d'imaginer plusieurs possibilités en même temps. Il traite l'espace le long de la vue d'une caméra comme une série d'« événements » potentiels qui pourraient se produire, plutôt que comme un choix unique. En utilisant un tour de passe-passe mathématique impliquant des « mélanges gaussiens » (que vous pouvez imaginer comme des nuages de probabilité superposés) et un modèle d'« événement de Poisson » (comme compter combien de gouttes de pluie pourraient frapper un endroit spécifique), RayOcc peut dire : « Il y a une forte probance qu'un camion soit ici, et aussi une forte probance qu'une clôture soit derrière lui. » Les chercheurs ont testé cela sur le jeu de données nuScenes, une vaste collection de scènes de conduite, et ont découvert que leur méthode crée des cartes 3D beaucoup plus nettes et plus précises que les approches précédentes, en particulier dans les scènes encombrées ou difficiles où des choses sont cachées derrière d'autres.

Le Problème : La règle du « Un seul vainqueur »

Pour comprendre pourquoi RayOcc est spécial, nous devons d'abord regarder comment les ordinateurs essaient habituellement de « voir » en 3D. Imaginez que vous regardez dans un long couloir droit. Dans l'ancienne façon de faire, l'ordinateur regarderait ce couloir et dirait : « D'accord, je vois un mur à 10 mètres. » Il choisirait cette distance unique et ignorerait tout le reste. S'il y avait réellement une chaise à 5 mètres et un tableau à 15 mètres, l'ordinateur pourrait être confus, ou il pourrait simplement choisir la chaise et prétendre que le tableau n'existe pas.

Cela se produit parce que la plupart des méthodes existantes utilisent une règle appelée « normalisation softmax ». Pensez à cela comme à une tarte. Si vous avez une tarte, et que vous la coupez en parts pour chaque distance possible, la taille totale de la tarte doit toujours être égale à 100 %. Si vous donnez une énorme part à la « chaise à 5 mètres », il ne reste presque plus de tarte pour le « tableau à 15 mètres ». L'ordinateur est forcé de faire en sorte que les parts entrent en compétition les unes contre les autres. Si la chaise est grande, le tableau est affamé. Cela fonctionne assez bien s'il n'y a qu'un seul objet, mais dans une ville réelle, une seule ligne de visée traverse souvent une voiture, puis une clôture, puis un bâtiment. Forcer ces objets à se battre pour une seule part de la tarte conduit à des modèles 3D brisés et désordonnés où les objets fins disparaissent ou la géométrie semble fragmentée.

La Solution : Laisser coexister plusieurs hypothèses

RayOcc rejette la règle de la « tarte unique ». Au lieu de demander : « Quel objet est ici ? », il demande : « Combien d'objets pourraient être ici, et quelle est la force de la preuve pour chacun d'eux ? »

Les auteurs introduisent un concept appelé Intensité de mélange gaussien. Imaginez que vous éclairez à nouveau ce couloir avec une lampe de poche. Au lieu de peindre un seul point sur le mur, la lampe de poche projette une brume d'« intensité » tout au long de son faisceau. Cette brume peut avoir plusieurs pics. Un pic peut être épais et brillant là où se trouve le camion, et un autre pic peut être légèrement plus faible mais toujours clairement visible là où se trouve la clôture derrière lui. Parce que cette « intensité » n'est pas forcée de correspondre à un total fixe (comme la tarte), le camion ne vole pas la lumière de la clôture. Ils peuvent tous deux exister fortement en même temps.

Pour transformer cette brume en une décision, RayOcc utilise une formulation d'événement de Poisson. C'est une façon statistique de penser aux événements aléatoires. Imaginez que vous attendiez que des gouttes de pluie frappent un carré spécifique sur le trottoir. Si l'« intensité » de la pluie est élevée, la probabilité qu'au moins une goutte frappe ce carré est très élevée. RayOcc traite chaque petite tranche du couloir comme un carré sur le trottoir. Si l'« intensité » d'un objet passant par cette tranche est suffisamment élevée, le système décide : « Oui, quelque chose occupe cet espace. » Cela permet au système de marquer plusieurs tranches le long de la même ligne comme « occupées » sans qu'elles ne se battent entre elles.

Des Nuages aux Volumes 3D

Une fois que le système a déterminé où se trouvent les pics d'« intensité », il doit construire le véritable modèle 3D. L'article utilise une technique impliquant des primitives gaussiennes 3D. Vous pouvez les voir comme des blobs 3D flous et brillants qui flottent dans l'espace. Chaque blob a un centre, une taille, une couleur (ou un label sémantique comme « voiture » ou « route ») et une transparence.

Dans les méthodes précédentes, l'ordinateur choisissait un seul blob pour chaque ligne de visée, généralement basé sur la seule « meilleure » supposition de profondeur. RayOcc, cependant, examine ses multiples pics d'intensité. S'il voit un pic fort pour un camion et un pic plus faible mais clair pour une clôture, il n'a pas à choisir. Il peut générer un blob pour le camion et un blob pour la clôture. C'est ce qu'on appelle l'échantillonnage adaptatif par composante. C'est comme un chef qui, au lieu de choisir un seul ingrédient pour une soupe, en ajoute quelques-uns différents en fonction de la force de leurs saveurs, créant ainsi un plat plus riche et plus complexe.

Ces blobs sont ensuite affinés et « rastérisés » (peints sur une grille) pour créer la carte 3D finale que la voiture autonome utilise pour naviguer.

Les Résultats : Des Cartes plus Nettes, Une Meilleure Conduite

Les chercheurs ont testé RayOcc sur le benchmark nuScenes, un ensemble de tests standard contenant 1 000 scènes de conduite de Boston et Singapour. Ils ont comparé leur méthode aux autres systèmes de haut niveau basés uniquement sur des caméras.

Les résultats ont montré que RayOcc a atteint les performances de l'état de l'art parmi les méthodes basées sur les gaussiennes qu'ils ont testées. Plus précisément :

Il a atteint un IoU (Intersection-over-Union) global de 34,84.
Il a atteint un mIoU (mean IoU) de 22,03.

Pour mettre cela en perspective, la meilleure méthode précédente utilisant une approche similaire (VG3T) a obtenu un IoU de 34,06 et un mIoU de 21,74. RayOcc a amélioré ces chiffres, ce qui signifie que ses cartes 3D correspondent plus étroitement au monde réel.

L'article souligne que cette amélioration est plus notable dans les scènes occultées — les endroits où les objets sont cachés derrière d'autres. Dans les comparaisons visuelles, RayOcc était capable de reconstruire la forme complète d'un camion même lorsqu'il était à côté d'une clôture fine, alors que les autres méthodes avaient tendance à faire « déborder » la forme du camion dans la clôture ou à perdre la clôture entièrement. RayOcc a également réussi à maintenir le nombre de blobs 3D (Gaussians) relativement bas (environ 19 251 par scène en moyenne) tout en maintenant une haute précision, ce qui suggère qu'il ne se contente pas d'injecter plus de données, mais les utilise plus intelligemment.

Pourquoi cela compte

La conclusion fondamentale de cet article est que l'occupation volumétrique est un problème multi-étiquettes, et non un problème de choix unique. En empêchant l'ordinateur de forcer les objets à lutter pour un statut de « vainqueur » unique le long d'une ligne de visée, RayOcc permet une représentation beaucoup plus réaliste du monde. Il reconnaît que dans une ville animée, un seul regard peut révéler une voiture, un piéton et un bâtiment à la fois, et que l'ordinateur doit être autorisé à croire en eux tous simultanément.

Les auteurs concluent que cette approche conduit à une « occupation plus propre et plus cohérente spatialement », particulièrement dans les environnements difficiles. Bien que la méthode nécessite une augmentation modérée du coût de calcul par rapport à certaines méthodes plus anciennes, le compromis est une compréhension nettement plus fiable du monde 3D, ce qui est crucial pour la sécurité et la planification des véhicules autonomes. L'article suggère qu'en alignant le modèle mathématique sur la véritable nature de l'interaction entre la lumière et les objets (où plusieurs choses peuvent exister le long d'un même chemin), nous pouvons construire des yeux plus intelligents et plus sûrs pour nos voitures autonomes.

Résumé Technique : RayOcc

Énoncé du Problème

La prédiction d'occupation sémantique 3D à partir de caméras seules vise à inférer la sémantique des scènes par voxel à partir d'images multi-vues. Cependant, cette tâche fait face à des défis fondamentaux dus à l'ambiguïté de la profondeur et à l'occlusion. Le long d'un seul rayon de caméra, plusieurs surfaces spatialement séparées (par exemple, un véhicule au premier plan, une clôture fine derrière lui et des structures d'arrière-plan lointaines) peuvent se projeter sur le même pixel. Par conséquent, la supervision de l'occupation au niveau du rayon est intrinsèquement un problème d'existence multi-étiquettes, où plusieurs intervalles de profondeur disjoints le long d'un seul rayon correspondent à des régions occupées.

La plupart des méthodes d'occupation basées sur les caméras héritent de stratégies de modélisation de rayons conçues pour l'estimation de la profondeur. Ces approches discrétisent généralement la profondeur en compartiments (bins) et prédisent une distribution catégorielle normalisée par softmax. Cette formulation impose une conservation de la masse de probabilité, couplant implicitement les intervalles de profondeur par compétition. En conséquence, ces méthodes favorisent une hypothèse de profondeur dominante par rayon, supprimant souvent les structures fines ou fragmentant la géométrie sous une occlusion complexe. Cela crée un décalage au niveau de la formulation : la supervision de l'occupation volumétrique nécessite de déterminer l'existence indépendante de régions, et non de sélectionner un résultat unique et concurrent.

Méthodologie

Les auteurs proposent RayOcc, un cadre d'occupation de rayons conscient de l'occlusion qui reformule la modélisation de rayon de la sélection de profondeur vers la prédiction d'existence multi-étiquettes. L'approche se compose de quatre étapes principales :

1. Modélisation de l'occupation des rayons via l'intensité de mélange gaussien

Au lieu de prédire une distribution de profondeur catégorielle, RayOcc estime une intensité de mélange gaussien non normalisée le long de chaque rayon.

Extraction de caractéristiques : Les images multi-vues sont encodées à l'aide d'un squelette de Transformer ancré sur la géométrie visuelle (VGGT) pour produire des vecteurs de caractéristiques par rayon, qui sont concaténés avec des coordonnées de Plücker pour injecter un contexte géométrique.
Réseau d'intensité de mélange : Pour chaque rayon, un réseau prédit les paramètres de $K$ composantes gaussiennes (amplitude $a$ , moyenne $\mu$ et écart type $\sigma$ ). La fonction d'intensité continue $\lambda_r(d)$ est définie comme la somme de ces composantes. Crucialement, les amplitudes sont non négatives et ne sont pas contraintes à la somme de 1, permettant à plusieurs hypothèses d'occupation de recevoir une intensité élevée simultanément.
Formulation d'événement de Poisson : L'occupation au sein de chaque compartiment de profondeur est traitée comme une occurrence d'événement. L'intensité intégrée d'un compartiment est convertie en une probabilité d'existence par intervalle via une formulation de Poisson : $p = 1 - \exp(-\Lambda)$ . Cela élimine la contrainte de normalisation, permettant à plusieurs compartiments de profondeur d'avoir simultanément des probabilités d'occupation élevées sans compétition mutuelle.

2. Échantillonnage adaptatif par composante

Les composantes de mélange prédites servent d'hypothèses d'occupation candidates pour initialiser des primitives gaussiennes 3D éparses.

Probabilité d'activation : L'amplitude non négative de chaque composante est convertie en une probabilité d'activation via une mise en correspondance de type Poisson ( $q = 1 - \exp(-\beta a)$ ).
Échantillonnage stochastique : Pendant l'entraînement, une porte binaire est échantillonnée à partir d'une distribution de Bernoulli basée sur cette probabilité. Cela permet à chaque rayon d'instancier un nombre variable de Gaussiennes, permettant une représentation multi-surfaces sous ambiguïté de profondeur.
Initialisation : Les composantes sélectionnées sont projetées en positions 3D en utilisant l'origine du rayon, la direction et la moyenne de profondeur de la composante. Un opérateur de sous-échantillonnage léger basé sur une grille supprime ensuite les Gaussiennes redondantes pour former un ensemble latent compact.

3. Raffinement et Rasterisation

L'ensemble de Gaussiennes initialisé est raffiné à l'aide d'un réseau de convolution 3D parcimonieux qui incorpore un contexte 3D local. Le réseau prédit des mises à jour résiduelles pour la position, l'échelle, la rotation, l'opacité et les caractéristiques sémantiques. Enfin, les Gaussiennes raffinées sont rasterisées en une grille d'occupation sémantique par voxel à l'aide d'un opérateur de superposition probabiliste.

4. Fonction de Perte

Le modèle est entraîné de bout en bout avec une somme pondérée de deux pertes :

Perte d'occupation : Une combinaison d'entropie croisée pondérée par voxel et de perte Lovász-Softmax pour gérer le déséquilibre des classes dans la grille 3D.
Perte de distribution de rayon : Une combinaison d'entropie croisée binaire (BCE) et de perte Dice appliquée aux probabilités d'occupation par compartiment par rayon prédit, supervisée par des étiquettes binaires issues d'annotations d'occupation denses.

Contributions Clés

Réseau d'intensité de mélange : Un nouveau cadre qui prédit l'intensité de mélange gaussienne non normalisée le long des rayons et mappe l'intensité intégrée vers des probabilités d'existence par intervalle, modélisant explicitement l'occupation multi-étiquettes sans imposer l'exclusivité mutuelle.
Échantillonnage adaptatif par composante : Un mécanisme qui convertit les amplitudes de mélange en probabilités d'activation, permettant d'initialiser un nombre variable de primitives gaussiennes par rayon, soutenant ainsi la modélisation de profondeur multi-hypothèses.
Performance de l'état de l'art : La méthode atteint des performances supérieures sur le benchmark nuScenes par rapport aux méthodes de type Gaussiennes existantes.

Résultats Expérimentaux

Les expériences ont été menées sur le benchmark nuScenes en utilisant les annotations d'occupation sémantique 3D denses de SurroundOcc.

Performance globale : RayOcc a atteint un IoU de 34,84 et un mIoU de 22,03 parmi les méthodes basées sur les Gaussiennes comparées. Cela représente une amélioration par rapport à VG3T (34,06 IoU, 21,74 mIoU) et GaussianFormer-2 (30,56 IoU, 20,02 mIoU).
Qualité de l'initialisation : Dans les études d'ablation comparant les stratégies d'échantillonnage gaussien, RayOcc a démontré une précision de placement nettement plus élevée. Le pourcentage de Gaussiennes placées à l'intérieur des voxels occupés est passé de 28,85 % (GaussianFormer-2) à 61,07 %, tandis que la distance moyenne au centre du voxel occupé le plus proche est passée de 1,24 m à 0,70 m.
Efficacité : Malgré l'initialisation de plus de Gaussiennes en moyenne par scène (19 251 contre 13 661 pour VG3T) pour supporter la modélisation multi-hypothèses, RayOcc a obtenu une latence plus faible (243 ms contre 223 ms pour VG3T) et une utilisation de la mémoire compétitive, démontrant un compromis efficace entre capacité de représentation et coût computationnel.
Améliorations qualitatives : Les visualisations indiquent que RayOcc produit une occupation plus propre et plus cohérente spatialement, particulièrement dans les zones occultées. Il récupère les objets (ex: camions) de manière plus cohérente à proximité de structures fines (ex: clôtures) et réduit les prédictions fallacieuses par rapport aux méthodes d'initialisation à profondeur unique.

Signification

L'article affirme que RayOcc traite un problème de formulation fondamental dans la prédiction d'occupation 3D par caméra seule : le décalage entre le levage de profondeur par rayon à profondeur unique et la nature multi-étiquettes de l'occupation volumétrique. En reformulant la modélisation de rayon pour permettre la coexistence de plusieurs hypothèses d'occupation sans s'effondrer en un pic dominant unique, RayOcc fournit des prédictions géométriques plus fiables sous ambiguïté de profondeur et occlusion. La méthode démontre que s'éloigner des distributions de profondeur catégorielles normalisées vers une modélisation d'intensité non normalisée améliore considérablement tant l'initialisation des primitives 3D éparses que la précision de l'occupation sémantique finale.