CoSMo3D: Open-World Promptable 3D Semantic Part Segmentation through LLM-Guided Canonical Spatial Modeling

Le papier présente CoSMo3D, une méthode qui améliore la segmentation sémantique 3D dans des environnements ouverts en apprenant un cadre de référence canonique latent guidé par un LLM, permettant ainsi d'interpréter les parties d'objets selon leurs rôles fonctionnels indépendamment de leur pose.

L'essentiel

🧠 Le Problème : L'ordinateur est perdu dans le désert

Imaginez que vous montrez une chaise à un robot.

• Si la chaise est droite, le robot reconnaît facilement les "pieds".
• Mais si vous posez la chaise sur le côté, ou si vous la retournez, le robot panique. Pour lui, ce qui était un "pied" est maintenant un "côté" ou un "dessus". Il se trompe car il regarde simplement la forme brute telle qu'elle est devant ses yeux (comme une photo prise dans un angle précis).

Les humains, nous, faisons quelque chose de magique : nous tourment mentalement l'objet. Même si la chaise est couchée, notre cerveau la remet "droite" dans notre tête pour dire : "Ah, c'est un pied, il est en bas, il soutient le siège". Nous avons une boussole intérieure qui nous dit où sont les choses, peu importe comment l'objet est tourné.

Les anciennes méthodes d'intelligence artificielle (comme Find3D) n'ont pas cette boussole. Elles essaient de deviner en comparant la forme à un mot (ex: "pied" = forme fine et longue). Mais cela échoue souvent : les bras d'une chaise et ses pieds peuvent avoir la même forme fine, mais ils ne sont pas la même chose !

🚀 La Solution : CoSMo3D, le "GPS Mental"

Les auteurs de ce papier ont créé CoSMo3D. C'est un nouveau système qui apprend à faire comme les humains : il ne regarde pas seulement l'objet tel qu'il est, il imagine où il devrait être dans un espace idéal.

Voici comment ils ont fait, avec deux analogies :

1. La Bibliothèque des "Idéaux" (Le Dataset)

Imaginez que vous voulez apprendre à un enfant à reconnaître les "ailes" d'un oiseau, d'un avion et d'un avion en papier.

• L'ancienne méthode : Montrer des milliers de photos d'oiseaux et d'avions dans toutes les positions possibles. L'enfant se perd.
• La méthode CoSMo3D : Ils ont utilisé une intelligence artificielle très intelligente (un LLM, comme un super ChatGPT) pour créer une bibliothèque mentale.
  • Ils ont pris 200 catégories d'objets (chaises, vélos, animaux, outils).
  • Ils ont demandé à l'IA : "Si tous ces objets étaient parfaitement alignés, comment ressembleraient leurs parties ?"
  • Résultat : Une base de données où toutes les "roues" sont à gauche, tous les "pieds" sont en bas, et toutes les "ailes" sont sur les côtés, peu importe l'objet réel. C'est comme avoir un modèle 3D parfait et standardisé pour chaque chose.

2. L'Entraînement en Double (L'Architecture)

Pour apprendre à l'ordinateur à utiliser cette bibliothèque mentale, ils ont construit un cerveau à deux branches (comme un cerveau humain avec deux hémisphères qui travaillent ensemble) :

• La Branche "Regardeur" (Standard) : Elle regarde l'objet réel (la chaise couchée) et le texte (le mot "pied"). C'est la partie qui fait le lien de base.
• La Branche "Rêveur" (La Magie) : C'est la nouveauté. Pendant l'entraînement, cette branche essaie de projeter l'objet réel dans l'espace "parfait" de la bibliothèque.
  • Elle dit : "Même si ce pied est couché, imagine-le debout dans l'espace idéal."
  • Elle utilise deux outils pour forcer cette imagination :
    1. L'Ancrage (Map Anchoring) : Elle s'assure que tous les "pieds" finissent au même endroit dans l'espace imaginaire, même si l'objet est symétrique (comme une chaise qui a deux pieds identiques).
    2. La Boîte de Calibration : Elle dessine une "boîte invisible" autour de la partie dans l'espace imaginaire pour s'assurer que le "pied" ne s'étale pas trop loin et reste bien défini.

🎯 Le Résultat : Pourquoi c'est génial ?

Grâce à cette méthode, CoSMo3D devient incroyablement robuste :

1. Peu importe la pose : Que vous tourniez l'objet à 90°, 180° ou que vous le retourniez, le système trouve toujours la bonne partie. Il a "tourment" l'objet dans sa tête pour le remettre droit avant de répondre.
2. Généralisation : Si le système apprend ce qu'est une "poignée" sur une tasse, il sait immédiatement reconnaître une "poignée" sur une valise ou un four, même s'il n'a jamais vu cette valise avant. Il comprend la fonction, pas juste la forme.
3. Vitesse et Précision : Contrairement aux anciennes méthodes qui devaient prendre des photos de l'objet sous tous les angles (ce qui est lent), CoSMo3D le fait en un seul coup d'œil, mais avec la précision d'un expert.

🌟 En Résumé

Imaginez que vous essayez de trouver votre clé dans votre poche.

• Les anciennes IA regardent votre poche telle qu'elle est, et si la clé est cachée sous un tissu plié, elles ne la voient pas.
• CoSMo3D, lui, imagine votre poche "à plat" et "ouverte" dans son esprit. Il sait exactement où la clé devrait être, peu importe comment votre poche est froissée.

C'est cela, CoSMo3D : donner aux ordinateurs la capacité de tourner les objets dans leur tête pour mieux comprendre le monde en 3D, exactement comme nous le faisons.

Résumé technique

1. Problématique

La segmentation sémantique 3D "monde ouvert" (open-world) permet de segmenter des objets 3D à l'aide de requêtes textuelles libres (ex: "aile", "poignée"). Cependant, les méthodes actuelles, comme Find3D, souffrent d'une fragilité fondamentale : elles infèrent la sémantique directement dans les coordonnées du capteur d'entrée (l'espace de pose brut).

• Limitation des approches existantes : Elles reposent sur un alignement direct entre les caractéristiques géométriques et les embeddings textuels. Cela suppose que des formes géométriquement similaires partagent la même sémantique, ce qui est souvent faux (ex: les bras et les jambes d'une chaise sont géométriquement similaires mais sémantiquement distincts ; les ailes d'un avion et d'un oiseau sont différentes en forme mais partagent la même fonction).
• Le manque de raisonnement canonique : Contrairement aux humains qui effectuent mentalement une rotation pour aligner un objet sur un espace canonique (où les ailes s'étendent latéralement, les jambes soutiennent depuis le bas, etc.), les modèles actuels ne possèdent pas cette notion de référence spatiale stable. Cela entraîne des prédictions incohérentes lors de variations de pose, de symétries ou entre différentes catégories d'objets.

2. Méthodologie : CoSMo3D

CoSMo3D propose un cadre de segmentation sémantique 3D guidé par un espace canonique latent, appris directement à partir des données. L'approche s'articule autour de deux axes principaux :

A. Construction d'un Dataset Canonique Unifié (Côté Externe)

Pour apprendre des régularités spatiales transversales, les auteurs ont construit un dataset unifié couvrant 200 catégories d'objets (environ 17 000 formes).

• Alignement intra-catégorie et inter-catégorie : Utilisant un Grand Modèle de Langage (LLM), ils regroupent les catégories en clusters sémantiques cohérents (ex: "transport", "outils").
• Alignement fonctionnel : Au lieu de traiter chaque catégorie isolément, ils alignent les parties sémantiques correspondantes à travers les catégories (ex: aligner la direction de mouvement des véhicules et des animaux).
• Résultat : Un corpus où la notion de "canonicité" est partagée au-delà des frontières des catégories, servant de substrat commun pour l'apprentissage.

B. Architecture à Double Branche (Côté Interne)

Le modèle utilise une architecture à deux branches pour induire une perception de l'espace canonique :

1. Branche d'extraction de caractéristiques (Principale) : Identique à Find3D, elle encode les nuages de points (via PointTransformer) et le texte (via SigLIP) pour l'alignement géométrie-texte.
2. Branche d'embedding canonique (Entraînement uniquement) : Cette branche prédit des cartes canoniques et des boîtes englobantes sémantiques. Elle est supervisée par des objectifs spécifiques pour forcer l'alignement vers un espace de référence latent.

C. Objectifs d'Entraînement (Losses)

Le modèle est optimisé grâce à trois composantes de perte :

• Alignement Contrastif Sémantique (Hard Negative Sampling) : Améliore la précision aux frontières des parties en échantillonnant des négatifs difficiles (points proches des limites entre parties).
• Ancrage de Carte Canonique (Canonical Map Anchoring) : Au lieu de superviser point par point (ce qui est ambigu pour les objets symétriques), cette perte aligne la distribution des points prédits avec la distribution canonique réelle (mesurée par une distance de Chamfer bidirectionnelle). Cela rend le modèle robuste aux symétries et aux poses sans nécessiter d'annotations manuelles d'axes de symétrie.
• Calibration de Boîte Canonique (Canonical Box Calibration) : La branche canonique prédit une boîte englobante 3D pour chaque partie sémantique dans l'espace canonique. Cela fournit un prior spatial stable qui affine les frontières et supprime les activations erronées.

3. Contributions Clés

1. Reformulation du problème : Passage d'un alignement "texte-géométrie dans la pose d'entrée" à un raisonnement ancré dans les régularités de l'espace canonique.
2. Structure latente apprenable : La canonicité n'est plus une règle manuelle, mais une structure latente induite par un dataset aligné par LLM et une régularisation à double branche.
3. Performance SOTA : CoSMo3D établit un nouvel état de l'art en segmentation 3D promptable, surpassant les méthodes existantes en précision, stabilité spatiale et généralisation inter-catégories.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs benchmarks publics (3Dcompat200, ShapeNet-Part, PartNet-E) avec des requêtes textuelles variées (mots simples ou phrases composées) et des poses aléatoires.

• Performance Quantitative :
  • Sur le dataset 3Dcompat-Coarse, CoSMo3D dépasse la méthode précédente (Find3D) de 8% à 11% en mIoU (Intersection sur Union moyenne), et jusqu'à 25,55% par rapport à la deuxième meilleure approche.
  • Sur ShapeNet-Part, l'amélioration moyenne est de 29,89%.
  • Le modèle reste robuste aux rotations aléatoires, là où les autres méthodes chutent significativement.
• Performance Qualitative :
  • Robustesse aux symétries : Contrairement aux méthodes qui échouent sur les objets symétriques, CoSMo3D localise correctement les parties (ex: distinguer les deux côtés d'une chaise).
  • Généralisation inter-catégories : Le modèle transfère correctement la sémantique de "poignée" d'une tasse à une porte, même si les géométries diffèrent.
  • Précision des frontières : Les limites des parties sont nettes et cohérentes, évitant les prédictions floues ou trop larges observées chez les concurrents.
• Efficacité : En tant que méthode "feedforward" 3D pure, elle est beaucoup plus rapide (0,9 seconde par forme) que les méthodes basées sur le rendu 2D (plusieurs minutes).

5. Signification et Impact

CoSMo3D représente une avancée majeure vers une compréhension 3D de type humain. En intégrant le raisonnement spatial canonique, le modèle ne se contente plus de matcher des formes à du texte, mais comprend où une partie devrait se situer fonctionnellement par rapport au tout, indépendamment de l'orientation de l'objet.

Cela ouvre la voie à des applications plus complexes telles que :

• La réponse à des requêtes 3D compositionnelles.
• L'ancrage multimodal robuste entre la CAO, la vidéo et la réalité.
• Le développement d'agents 3D capables de raisonner dans un espace de référence canonique avant d'agir dans l'espace euclidien.

En somme, CoSMo3D propose que la perception de l'espace canonique doit devenir une couche de représentation de premier ordre dans les systèmes d'intelligence artificielle pour la vision 3D.