JOPP-3D: Joint Open Vocabulary Semantic Segmentation on Point Clouds and Panoramas

Ce papier présente JOPP-3D, un cadre de segmentation sémantique à vocabulaire ouvert qui fusionne des données panoramiques et des nuages de points 3D pour permettre une compréhension de scène pilotée par le langage et surpasser les méthodes actuelles sur les deux modalités.

L'essentiel

Imaginez que vous êtes dans une pièce inconnue. Vous avez deux outils pour la comprendre :

1. Une photo à 360° (comme une vue panoramique) qui vous montre tout autour de vous, mais de manière plate et un peu déformée, comme si vous regardiez une carte du monde.
2. Un nuage de points 3D, une sorte de "squelette" invisible de la pièce composé de millions de petits points qui donnent la forme et la profondeur des objets.

Le problème, c'est que les robots et les intelligences artificielles actuelles ont du mal à comprendre ces deux outils en même temps, surtout s'ils doivent reconnaître des objets qu'ils n'ont jamais vus auparavant (comme un "vieux réfrigérateur" ou un "pot de fleurs exotique") sans avoir été entraînés spécifiquement dessus.

C'est là qu'intervient JOPP-3D, le nouveau système présenté dans cet article. Voici comment il fonctionne, expliqué simplement :

1. Le concept de base : Le traducteur universel

Imaginez que JOPP-3D est un traducteur super-puissant qui parle à la fois la langue des images (ce que vous voyez) et la langue des mots (ce que vous dites).

Au lieu d'apprendre par cœur une liste fermée d'objets (comme "chaise", "table", "lit"), ce système utilise un dictionnaire géant de concepts visuels et textuels (basé sur des modèles comme CLIP). Si vous lui demandez : "Montre-moi où sont les tuyaux de plomberie", il va chercher dans son cerveau visuel ce à quoi ressemblent des tuyaux, même s'il n'a jamais vu de tuyaux dans cette pièce précise.

2. La magie de la "Décomposition Tangentielle" (Le puzzle sphérique)

Les photos à 360° sont difficiles à analyser car elles sont déformées (les murs semblent courbés).

• L'analogie : Imaginez que vous prenez une orange (la photo à 360°) et que vous la coupez en 20 morceaux de zeste parfaitement plats (comme un ballon de foot ou un icosaèdre).
• Ce que fait JOPP-3D : Il transforme la photo déformée en 20 petites photos rectangulaires normales. Cela permet à l'IA de regarder chaque partie de la pièce avec des "lunettes" normales, sans déformation, ce qui rend la reconnaissance beaucoup plus précise.

3. Le pont entre le 2D et le 3D (Le jeu de l'ombre chinoise)

Une fois que le système a identifié un objet sur la photo plate (2D), il doit le placer correctement dans l'espace 3D.

• L'analogie : C'est comme projeter l'ombre d'un objet 2D sur un mur 3D.
• La méthode : Le système utilise la profondeur (la distance) pour projeter les étiquettes de la photo panoramique directement sur le nuage de points 3D. Si la photo dit "c'est un mur", le système colore les points 3D correspondants en rouge.

4. La "Correspondance de Profondeur" (Remplir les trous)

Parfois, une photo ne voit pas tout (par exemple, derrière une porte ouverte ou dans un couloir sombre).

• L'analogie : Imaginez que vous avez deux voisins qui regardent la même rue depuis des fenêtres différentes. Si l'un ne voit pas un arbre parce qu'un camion le cache, mais que l'autre le voit, ils peuvent se partager l'information.
• Ce que fait JOPP-3D : Il compare les zones qui se chevauchent entre différentes photos de la même pièce. Si une zone est floue ou manquante dans une vue, il "emprunte" l'information de la vue voisine pour compléter le tableau. Cela évite les trous dans la carte sémantique.

Pourquoi c'est génial ?

Avant, pour qu'un robot reconnaisse un objet, il fallait lui montrer des milliers de photos de cet objet spécifique (entraînement supervisé).
Avec JOPP-3D :

• Zéro entraînement spécifique : Vous pouvez lui demander de trouver n'importe quoi, même des objets rares, juste en utilisant des mots.
• Double vision : Il comprend à la fois la "peau" de la pièce (la photo) et son "squelette" (le 3D) en même temps.
• Résultat : Il crée une carte mentale complète de l'environnement, capable de répondre à des questions comme "Où est le robinet ?" ou "Montre-moi les zones dangereuses", même dans des lieux qu'il n'a jamais visités.

En résumé, JOPP-3D est comme un architecte-linguiste qui peut entrer dans une pièce, regarder autour de lui, écouter vos questions en langage naturel, et immédiatement dessiner une carte 3D précise de tout ce qui vous intéresse, sans avoir besoin de lire un manuel d'instructions au préalable.

Résumé technique

1. Problématique

La compréhension sémantique des environnements réels complexes est cruciale pour les systèmes autonomes et la robotique. Cependant, les approches traditionnelles de segmentation sémantique souffrent de deux limitations majeures :

• Dépendance aux données annotées : Elles reposent sur de grands ensembles de données étiquetés manuellement, ce qui est coûteux et souvent impossible à obtenir dans des environnements dynamiques ou non structurés.
• Limitation des classes fixes : Les modèles existants sont généralement contraints à un ensemble de classes prédéfini (vocabulaire fermé), ce qui empêche la généralisation à de nouvelles catégories d'objets non vues lors de l'entraînement.

De plus, la plupart des travaux se concentrent soit sur les images 2D (perspectives), soit sur les nuages de points 3D, mais rarement sur les deux simultanément. La segmentation open-vocabulary (vocabulaire ouvert) basée sur des modèles vision-langage (VLM) comme CLIP a montré des résultats prometteurs en 2D, mais son application conjointe aux images panoramiques (qui souffrent de distorsions géométriques) et aux nuages de points 3D reste un défi non résolu.

2. Méthodologie : JOPP-3D

JOPP-3D propose un cadre unifié pour la segmentation sémantique open-vocabulary conjointe sur les nuages de points 3D et les images panoramiques, sans nécessiter d'entraînement spécifique pour les classes cibles. Le pipeline se décompose en trois étapes principales :

A. Décomposition Tangentielle (Tangential Decomposition)

Pour traiter les images panoramiques (equirectangulaires) avec des modèles VLM pré-entraînés conçus pour des images perspectives, l'article propose une méthode de décomposition :

• L'image panoramique et sa carte de profondeur sont projetées sur les 20 faces d'un icosaèdre régulier.
• Cela génère 20 vues perspectives tangentes, chacune ayant un champ de vision (FoV) de 100° (supérieur aux méthodes précédentes limitées à ~73°).
• Cette approche permet de reconstruire un nuage de points 3D cohérent tout en maintenant une compatibilité avec les encodeurs d'images standards (comme CLIP) et en réduisant les distorsions aux bords.

B. Extraction d'Instances 3D et Alignement Sémantique

Pour réaliser la segmentation sans étiquettes de classe :

• Propositions d'instances : Le système génère des masques d'instances 3D soit via un modèle supervisé pré-entraîné (Mask3D), soit via une approche non supervisée (SAM3D) qui utilise les propositions d'instances 2D de SAM (Segment Anything Model) et les cartes de profondeur.
• Alignement Vision-Langage : Pour chaque instance 3D, le système projette les points 3D sur les vues tangentes correspondantes. Il sélectionne les K meilleures vues (celles avec le plus de pixels correspondants) pour extraire des crops d'images.
• Encodage : Ces crops sont masqués (pour éviter la contamination par l'arrière-plan) et encodés via CLIP. L'embedding sémantique 3D de l'instance est obtenu par la moyenne normalisée des embeddings CLIP de ces K vues.
• Requêtes : Des requêtes textuelles naturelles (ex: "chaise", "plafond") sont comparées à ces embeddings pour attribuer des étiquettes sémantiques aux instances 3D.

C. Extraction Sémantique 3D vers Panoramique

Une fois les étiquettes attribuées aux points 3D, elles sont projetées de retour sur les images panoramiques originales :

• Une correspondance de profondeur est établie entre les pixels de l'image panoramique et le nuage de points 3D sémantique.
• Propagation par correspondance de profondeur : Pour résoudre les problèmes de discontinuité (ex: portes, couloirs), une stratégie de correspondance entre panoramas adjacents est utilisée. Si un pixel manque d'étiquette dans une vue, il hérite de l'étiquette d'un panorama voisin si la profondeur correspondante est cohérente. Cela assure une carte sémantique dense et continue.

3. Contributions Clés

1. Première approche conjointe : JOPP-3D est la première méthode à traiter simultanément la segmentation open-vocabulary sur les nuages de points 3D et les images panoramiques.
2. Pipeline sans apprentissage (Training-free) : La méthode permet une segmentation guidée par le langage sans réentraînement des modèles de base (CLIP, SAM), offrant une flexibilité accrue.
3. Décomposition Tangentielle améliorée : Une nouvelle méthode de projection panoramique utilisant un icosaèdre avec un FoV de 100°, offrant une meilleure couverture contextuelle et une compatibilité supérieure avec les modèles VLM.
4. Propagation sémantique 3D-2D : Une méthode robuste de transfert d'étiquettes sémantiques du 3D vers le 2D via la correspondance de profondeur, assurant la cohérence multi-vues.

4. Résultats Expérimentaux

L'évaluation a été menée sur deux jeux de données publics : Stanford-2D-3D-s (S3DIS) et ToF-360.

• Segmentation 3D (S3DIS) :

  • La version supervisée de JOPP-3D atteint 80,9 % de mIoU et 87,0 % de mAcc, surpassant l'état de l'art (SOTA) comme PointTransformerV3 (73,4 % mIoU) et Sonata (76,0 % mIoU), tout en étant open-vocabulary.
  • La version non supervisée (JOPP-3D(u)) obtient déjà 59,4 % de mIoU, surpassant OpenMask3D (36,7 %).

• Segmentation Panoramique (Stanford-2D-3D-s) :

  • JOPP-3D atteint 70,1 % de mIoU (fermé) et 74,6 % d'Open mIoU, dépassant toutes les méthodes précédentes (y compris PanoSAMic à 61,7 % et OPS à 41,1 %).
  • Des gains significatifs sont observés sur des classes difficiles comme les chaises, les colonnes, les portes et les canapés.

• Étude Ablative :

  • L'ablation montre que chaque composant est crucial : la suppression du masquage SAM (w/o SAM Mask) fait chuter les performances drastiquement (33,6 % Open mIoU), tout comme la suppression de la décomposition tangentielle ou de la correspondance de profondeur.

5. Signification et Impact

JOPP-3D représente une avancée majeure vers une compréhension de scène unifiée et flexible.

• Adaptabilité : En permettant l'utilisation de requêtes en langage naturel, le système peut identifier des objets non vus lors de l'entraînement, ce qui est essentiel pour les environnements réels évolutifs.
• Cohérence Multimodale : Le cadre assure une cohérence sémantique entre la représentation 2D (panoramique) et 3D (géométrie), facilitant des applications robotiques où la perception spatiale et visuelle doivent être alignées.
• Efficacité : Bien que le temps d'inférence soit d'environ 4,8 minutes par image panoramique (sur une station de travail standard), la méthode évite le coût prohibitif de l'entraînement de modèles massifs pour chaque nouvelle tâche, offrant un rapport coût-performance élevé pour les applications open-vocabulary.

En résumé, JOPP-3D comble le fossé entre la perception 2D panoramique et 3D, offrant un outil puissant pour la segmentation sémantique dans des environnements ouverts et non structurés.