💻 computer science

CAD-Prompted SAM3: Geometry-Conditioned Instance Segmentation for Industrial Objects

Ce papier propose un cadre de segmentation d'instances piloté par des modèles CAO et basé sur SAM3, qui utilise des rendus multi-vues canoniques pour surmonter les limites des prompts textuels ou visuels dans la segmentation d'objets industriels dont l'apparence varie mais dont la géométrie est définie avec précision.

Auteurs originaux : Zhenran Tang, Rohan Nagabhirava, Changliu Liu

Publié 2026-03-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhenran Tang, Rohan Nagabhirava, Changliu Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes dans une usine remplie de pièces mécaniques. Certaines sont rouges, d'autres bleues, certaines brillantes, d'autres mates. Si vous demandez à un robot de "prendre la vis rouge", il aura du mal si la vis est en fait bleue ou si la lumière change. C'est le problème des robots actuels : ils sont trop dépendants de la couleur et de l'apparence pour reconnaître les objets.

Voici une explication simple de la nouvelle méthode présentée dans ce papier, appelée CAD-Prompted SAM3, en utilisant des analogies du quotidien.

1. Le Problème : Le robot est "myope" aux couleurs

Les robots intelligents actuels (comme les modèles d'IA qui reconnaissent des images) fonctionnent un peu comme un humain qui regarde une photo.

L'approche par texte : Si vous dites "prends la vis", le robot cherche une vis. Mais si la vis a un nom bizarre ou une forme très spécifique, le robot est perdu.
L'approche par photo (l'exemple) : Si vous montrez une photo d'une vis rouge au robot, il va chercher une vis rouge. Mais si la vraie vis dans l'usine est bleue ou en métal brut, le robot ne la verra pas. C'est comme chercher un ami dans une foule en se basant uniquement sur son t-shirt rouge, alors qu'il porte un manteau bleu aujourd'hui.

Dans l'industrie, les pièces sont souvent fabriquées dans des matériaux différents (plastique, métal, bois) et avec des finitions différentes, mais leur forme reste toujours la même.

2. La Solution : Le "Plan Architecte" (Le fichier CAD)

Au lieu de montrer une photo ou de donner un nom, les auteurs proposent de donner au robot le plan d'architecte (le fichier CAD 3D) de la pièce.

Imaginez que vous devez trouver une pièce de puzzle spécifique dans une boîte remplie de milliers d'autres pièces.

L'ancienne méthode : Vous montrez une photo de la pièce. Si la vraie pièce est sale ou d'une couleur différente, vous ne la trouvez pas.
La nouvelle méthode (CAD-Prompted SAM3) : Vous donnez au robot le moule exact de la pièce. Peu importe la couleur ou la texture de la pièce réelle, le robot sait exactement à quoi elle ressemble en 3D.

3. Comment ça marche ? (L'analogie du "Miroir Magique")

Le modèle utilise une intelligence artificielle très puissante appelée SAM3. Voici comment ils l'ont transformé :

La Création du "Prompt" (L'indice) : Au lieu de prendre une photo réelle, le système prend le fichier 3D de la pièce et le tourne sous tous les angles (comme si on prenait des photos du plan d'architecte sous tous les angles).
La Fusion : Le robot regarde la photo réelle de l'usine (avec toutes les couleurs et lumières) et compare cette photo avec les "photos du plan 3D".
L'Intelligence Géométrique : Le robot ne se soucie pas de la couleur. Il dit : "Attends, cette forme correspond exactement à mon plan 3D, même si elle est rouge ici et bleue dans mon plan. C'est bien ça !".

C'est comme si vous cherchiez un objet dans le noir en utilisant sa silhouette plutôt que sa couleur.

4. L'Entraînement : La Simulation de l'Univers

Pour apprendre à ce robot à faire cela, les chercheurs ne lui ont pas montré des milliers de photos de pièces réelles (ce qui prendrait des années). Ils ont créé un monde virtuel (une simulation).

Ils ont pris des milliers de modèles 3D.
Ils ont créé des scènes chaotiques avec des lumières bizarres, des couleurs aléatoires et des objets qui se cachent les uns les autres.
Ils ont appris au robot à ignorer les couleurs et à se fier uniquement à la forme géométrique.

C'est comme entraîner un détective à reconnaître un suspect non pas par son manteau (qui change), mais par la forme unique de son nez et de son oreille (qui ne changent jamais).

5. Les Résultats : Pourquoi c'est génial ?

Les tests montrent que cette méthode est bien meilleure que les anciennes, surtout dans deux cas :

Prototypage rapide : Quand on crée une nouvelle pièce en 3D, on n'a pas de photos d'elle. On a juste le fichier 3D. Cette méthode permet au robot de la reconnaître immédiatement.
Usines réelles : Quand la même pièce est fabriquée en acier, en plastique ou en aluminium, le robot la reconnaît toujours parce qu'il se base sur la forme, pas sur la matière.

En résumé

Ce papier propose de donner aux robots un super-pouvoir : la capacité de reconnaître les objets industriels en se basant sur leur squelette géométrique (leur plan 3D) plutôt que sur leur peau (leur couleur ou texture).

C'est passer de la recherche d'un objet par son vêtement (qui change) à la recherche par son empreinte digitale (qui reste unique et constante). Cela rend les robots beaucoup plus fiables pour travailler dans nos usines et imprimeries 3D.

1. Problématique et Contexte

La segmentation d'instances est cruciale pour la manipulation robotique dans des environnements encombrés, permettant d'isoler les objets cibles pour l'estimation de pose et la sélection de préhension. Cependant, les approches actuelles présentent des limites majeures dans les contextes industriels, notamment le prototypage rapide et la production en petites séries :

Limites des prompts textuels : Les modèles basés sur le langage (comme SAM3) peinent à décrire des composants industriels qui manquent de noms descriptifs ou qui se distinguent par des différences géométriques subtiles, difficiles à capturer par le langage naturel.
Limites des exemplaires visuels (Image Exemplars) : Les méthodes basées sur l'apparence (couleur, texture) échouent lorsque le même composant est produit avec des matériaux, des finitions ou des couleurs différentes. Dans ces cas, la similarité d'apparence entre l'image de référence et l'image requête est faible, entraînant une dégradation des performances.
La solution idéale : Les objets industriels sont définis de manière canonique par leurs modèles CAO (Conception Assistée par Ordinateur), qui spécifient la géométrie exacte indépendamment de l'apparence de surface.

L'objectif de ce travail est de combler le fossé entre la spécification géométrique (CAO) et la perception visuelle en développant un cadre de segmentation piloté par la géométrie plutôt que par le langage ou l'apparence.

2. Méthodologie : CAD-Prompted SAM3

Les auteurs proposent une extension de l'architecture SAM3 (Segment Anything Model 3) pour accepter des modèles CAO comme prompts d'entrée.

A. Architecture et Flux de Données

Le modèle conserve les composants principaux de SAM3 (Encodeur d'image, Transformateur de fusion, Tête de détection, Décodeur de masque) mais introduit un nouveau mécanisme de prompt :

Rendu Multi-vues Canoniques : À partir d'un maillage CAO ( $M$ ), le système génère des rendus RGB à partir de points de vue canoniques prédéfinis (sphère de vue) en utilisant Blender.
Encodage Géométrique : Chaque vue rendue est encodée par l'encodeur d'image de SAM3. Pour renforcer l'aspect géométrique, 25 points de prompt sont échantillonnés uniformément dans le masque d'arrière-plan de chaque vue. Ces données sont traitées par un Encodeur de Géométrie pour produire des embeddings de prompts géométriques.
Fusion Cross-Image : Contrairement aux prompts d'exemplaires classiques qui proviennent de la même image, ici les prompts proviennent d'une image différente (le rendu CAO). Les embeddings géométriques sont injectés dans le Transformateur de Fusion de SAM3 (généralement réservé au texte) via un mécanisme d'attention croisée. Cela permet d'aligner les caractéristiques géométriques abstraites avec les caractéristiques visuelles de l'image requête.
Détection et Segmentation en Une Étape : Le transformateur fusionné alimente la tête de détection et le décodeur de masque pour produire les masques d'instances en une seule passe avant.

B. Entraînement avec Données Synthétiques

Pour entraîner ce modèle, les auteurs ont développé un pipeline de génération de données synthétiques massives :

Source de données : Environ 9 000 modèles CAO issus de la base de données ABC.
Simulation : Utilisation d'Isaac Sim (Replicator) pour créer des scènes encombrées avec un éclairage et des textures variés.
Randomisation de Domaine (ADR) : Randomisation agressive des matériaux, couleurs, éclairages et poses pour forcer le modèle à ignorer les indices d'apparence et se concentrer sur la géométrie.
Stratégie d'Optimisation en Deux Étapes :
- Étape 1 : Supervision pondérée par le score pour stabiliser l'apprentissage initial.
- Étape 2 : Correspondance "Un-à-Plusieurs" (One-to-Many) pour permettre la détection de multiples instances d'un même objet, suivie d'une suppression non maximale (NMS) à l'inférence.

3. Contributions Clés

Nouveau Paradigme de Prompting : Introduction de la segmentation pilotée par CAO, utilisant des rendus multi-vues canoniques comme modalité de prompt géométrique.
Pipeline d'Entraînement Synthétique : Une méthode pour désaccoupler la géométrie de l'apparence via la randomisation de domaine, permettant une généralisation sur des objets non vus.
Architecture Unifiée : Extension de SAM3 pour une segmentation d'instances dense et en une seule étape, conditionnée uniquement par la géométrie 3D, sans besoin de descriptions textuelles ni d'exemplaires visuels réels.

4. Résultats Expérimentaux

Le modèle a été évalué sur plusieurs jeux de données, montrant une supériorité claire par rapport aux méthodes basées sur l'apparence (PerSAM, Matcher, SAM3 avec prompts d'exemplaires).

Jeu de données 3D Printing (Prototypage rapide) :
- Contexte : Objets imprimés en 3D avec des couleurs différentes de ceux utilisés pour l'entraînement.
- Résultats : CAD-Prompted SAM3 atteint une Qualité Panoptique (PQ) de 0,7385 et un score F1 de 0,7636, surpassant largement Matcher (PQ 0,6057) et les autres baselines.
Benchmarks Industriels (T-LESS et ITODD) :
- Ces jeux de données contiennent des objets métalliques sans texture, fortement encombrés et partiellement occlus.
- Sur T-LESS (objets sans texture), le modèle obtient le meilleur PQ (0,2799) et F1 (0,3329).
- Sur ITODD (objets métalliques en niveaux de gris), le modèle réalise des gains significatifs avec un PQ de 0,4921 et un F1 de 0,6090.

5. Signification et Conclusion

Ce travail démontre que la géométrie canonique (via les modèles CAO) est une modalité de prompt plus robuste et expressive que le langage ou l'apparence visuelle pour les objets industriels.

Impact Industriel : La méthode résout le problème de la segmentation d'objets dans des environnements de production où les objets changent de couleur ou de matériau mais conservent la même forme. Elle élimine le besoin de collecter et d'annoter des centaines d'images par classe pour chaque nouvelle variante d'objet.
Alignement avec la Pratique : En alignant la perception robotique sur la façon dont les composants sont réellement spécifiés (via la CAO), le système offre une solution pratique pour le prototypage rapide et la fabrication en petites séries.
Perspectives Futures : Les auteurs suggèrent d'aller au-delà des rendus rasterisés pour explorer un conditionnement géométrique direct (maillages, nuages de points) intégré directement dans l'espace de prompt des modèles de fondation.

En résumé, CAD-Prompted SAM3 établit un nouvel état de l'art pour la perception d'objets industriels en exploitant la richesse géométrique des modèles CAO pour guider la segmentation, indépendamment des variations d'apparence.