BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning

Le papier présente BrepCoder, un modèle de langage multimodal unifié qui traite les représentations de limites (B-rep) comme du code pour effectuer diverses tâches de conception assistée par ordinateur grâce à une stratégie d'entraînement en deux étapes.

L'essentiel

Imaginez que vous êtes un architecte ou un ingénieur. Vous avez un objet physique complexe en 3D (une pièce de voiture, une pièce de machine) et vous voulez que l'ordinateur vous explique exactement comment il a été construit, étape par étape, comme une recette de cuisine. C'est ce qu'on appelle le "Reverse Engineering" (l'ingénierie inverse).

Le problème, c'est que les ordinateurs actuels sont souvent très bêtes dans ce domaine. Ils peuvent reconnaître la forme d'un objet (comme un chat ou une voiture), mais ils ne comprennent pas la logique derrière sa construction. C'est comme si un enfant voyait un gâteau fini et savait dire "c'est un gâteau", mais ne comprenait pas qu'il faut d'abord battre les œufs, puis ajouter la farine, etc.

Voici comment BrepCoder change la donne, expliqué simplement :

1. Le Problème : Des outils trop spécialisés

Aujourd'hui, pour chaque tâche (réparer un modèle, compléter un dessin, répondre à une question sur un objet), les ingénieurs doivent créer un logiciel différent. C'est comme si vous aviez un marteau pour clouer, une scie pour couper, et un tournevis pour visser, mais aucun outil ne pouvait faire les trois. De plus, ces logiciels regardent souvent les objets comme des nuages de points (des millions de petits points) ou des images, ce qui est loin de la façon dont les vrais ingénieurs travaillent (avec des formes mathématiques précises appelées "B-rep").

2. La Solution : BrepCoder, le "Chef Cuisinier" Universel

Les auteurs de cette recherche ont créé BrepCoder. Imaginez-le comme un chef cuisinier super-intelligent qui a lu des millions de livres de recettes (c'est le "Grand Modèle de Langage" ou LLM).

Au lieu de regarder simplement la photo du plat fini, BrepCoder apprend à lire la recette (le code informatique) qui a permis de créer l'objet.

Voici sa méthode en deux étapes magiques :

Étape 1 : Apprendre à traduire la matière en langage (L'Ingénierie Inverse)

Imaginez que vous donnez à BrepCoder un objet 3D brut (le "B-rep").

• L'astuce : Au lieu de le laisser deviner, on lui apprend à transformer cet objet en code informatique (un peu comme du Python, un langage que les humains et les machines comprennent bien).
• L'analogie : C'est comme si on prenait une statue de marbre et qu'on lui apprenait à écrire le plan exact du sculpteur : "D'abord, prenez un bloc, puis taillez un cercle, puis ajoutez un trou ici".
• Le résultat : Le modèle comprend non seulement à quoi ressemble l'objet, mais surtout pourquoi il a cette forme. Il intègre la logique de conception.

Étape 2 : Devenir un assistant polyvalent (L'Adaptation)

Une fois qu'il a appris cette logique, on ne lui demande plus seulement de traduire. On lui donne des missions variées, et il excelle dans toutes :

• Compléter le dessin : Vous lui donnez le début d'une recette, et il devine la fin.
• Réparer les erreurs : Si vous lui donnez un code avec une erreur (ex: "trouvez un trou là où il n'y en a pas"), il le repère et le corrige, car il connaît la logique.
• Répondre aux questions : Vous pouvez lui demander : "Combien de trous y a-t-il dans cette pièce ?" et il répondra juste, car il a "lu" la structure de l'objet.

Pourquoi c'est révolutionnaire ?

Avant, pour chaque nouveau problème, il fallait construire un nouveau robot. Avec BrepCoder, c'est un seul et même robot qui sait tout faire.

• L'analogie finale : Imaginez un étudiant qui apprend par cœur la grammaire et la logique d'une langue (le code de construction). Avant, pour traduire un texte, il fallait un traducteur spécial. Pour écrire un poème, un autre. Avec BrepCoder, cet étudiant comprend la structure profonde de la langue. Il peut donc traduire, écrire, corriger des fautes et répondre à des questions complexes, tout en utilisant la même base de connaissances.

En résumé

BrepCoder est un système qui apprend aux ordinateurs à voir les objets 3D non pas comme de simples formes, mais comme des instructions logiques. En apprenant à "parler le langage des ingénieurs" (le code), il devient un assistant universel capable de réparer, de compléter et de comprendre n'importe quel objet de conception, rendant le processus de création beaucoup plus intelligent et flexible.

Résumé technique

1. Problématique et Contexte

Le domaine de la Conception Assistée par Ordinateur (CAO) fait face à plusieurs limitations majeures dans les approches d'apprentissage profond actuelles :

• Architectures spécifiques aux tâches : La plupart des modèles existants sont conçus pour une tâche unique (ex: reconstruction, complétion, correction d'erreurs), nécessitant des modifications structurelles pour chaque nouvelle application. Cela manque d'évolutivité et empêche le partage de connaissances entre les tâches.
• Représentations de données sous-optimales : Les recherches se concentrent souvent sur des représentations comme les nuages de points ou les images, alors que le format standard de l'industrie est la Représentation aux Limites (B-rep).
• Manque de compréhension logique : Les modèles basés sur le B-rep existants (comme BrepLLM) se limitent souvent à la description géométrique ou à la classification. Ils échouent à capturer la logique de conception et les étapes procédurales nécessaires pour construire un modèle 3D, ce qui est crucial pour des tâches complexes comme la génération de séquences ou la correction d'erreurs.

L'objectif est donc de créer un agent CAO généraliste capable de traiter directement le format B-rep standard et d'exécuter une variété de tâches grâce à la puissance de raisonnement des Grands Modèles de Langage (LLM).

2. Méthodologie : BrepCoder

BrepCoder est un modèle de langage multimodal (MLLM) unifié qui traite le B-rep comme du code structurel. L'approche repose sur deux piliers principaux : la conversion du B-rep en code et une stratégie d'entraînement en deux étapes.

A. Alignement Multimodal (Phase 1)

• Représentation en Code CAO : Au lieu d'utiliser des tokens entiers (comme dans DeepCAD), les séquences de modélisation sont converties en code CAO de type Python. Ce format objet (déclaration de variables pour les esquisses, appels de méthodes pour les lignes/arcs, références explicites pour les opérations d'extrusion) permet au LLM d'exploiter ses connaissances pré-entraînées en programmation.
• Encodage du B-rep : Le modèle utilise UV-Net pour encoder le B-rep. Les données sont converties en un graphe d'adjacence de faces (les nœuds sont les surfaces, les arêtes sont les connexions). Les informations géométriques sont projetées sur des grilles 2D et 1D, puis traitées par un Réseau de Neurones Graphiques (GNN) pour obtenir des embeddings locaux et globaux.
• Alignement CoCa : Pour aligner les features du B-rep avec le code CAO, l'article adopte le framework CoCa (Contrastive Captioners). Il combine deux pertes :
  1. Perte de contraste : Pour aligner globalement le B-rep et le code.
  2. Perte de légendage (Captioning) : Pour générer le code CAO à partir des features du B-rep, forçant le modèle à capturer les détails géométriques fins.

B. Stratégie d'Entraînement en Deux Étapes

1. Étape 1 : Ingénierie Inverse (Pre-training) :
   • Le modèle apprend à convertir un B-rep en séquence de code CAO (tâche d'ingénierie inverse).
   • L'encodeur B-rep est figé après cette phase.
   • Objectif : Internaliser la corrélation fondamentale entre les caractéristiques géométriques et la logique de conception procédurale.
2. Étape 2 : Adaptation Multi-tâches (Fine-tuning) :
   • Le modèle est affiné pour diverses tâches en aval en utilisant les poids de l'étape 1 comme initialisation.
   • Tâches cibles :
     • Complétion : Reconstruire la partie masquée d'un code CAO à partir d'un B-rep et d'un début de code.
     • Correction d'erreurs : Identifier et corriger des contradictions logiques ou des paramètres erronés dans un code CAO donné.
     • CAO-QA (Question-Réponse) : Répondre à des questions sémantiques sur les propriétés du modèle 3D.

3. Contributions Clés

1. BrepCoder : Un cadre unifié utilisant le B-rep comme modalité d'entrée centrale, aligné avec du code CAO de type Python pour permettre au LLM d'interpréter directement la logique de conception complexe.
2. Stratégie d'Entraînement en Deux Étapes : Une approche novatrice où l'ingénierie inverse sert de pré-entraînement pour acquérir une logique de conception robuste, améliorant ainsi la généralisation sur des tâches variées.
3. Performance Supérieure : Démonstration que l'interprétation du B-rep via le code permet de surpasser les modèles spécifiques aux tâches et les modèles basés sur les nuages de points ou les images, en particulier pour les tâches nécessitant un raisonnement d'ingénierie de haut niveau.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données DeepCAD (170k séquences) et SGP-Bench pour les questions-réponses.

• Ingénierie Inverse :

  • BrepCoder atteint une distance de Chamfer (CD) de 0.464 x 10⁻³, soit une amélioration de ~52% par rapport à l'état de l'art (CADCL).
  • Précision des paramètres (ACC_param) : 82.01%, démontrant une capacité à générer des valeurs numériques précises.
  • Taux d'invalidité (IR) extrêmement faible de 0.86%, grâce à la compréhension robuste du langage de programmation par le LLM.
  • Note sur l'ambiguïté : Bien que la précision des commandes (ACC_cmd) soit légèrement inférieure à celle de CADCL (89.34% vs 90.31%), cela est dû à l'ambiguïté de la modélisation (différentes séquences de commandes peuvent produire la même géométrie). La géométrie générée reste fidèle (CD faible).

• Tâches en Aval :

  • Complétion : BrepCoder (92.69% ACC_cmd) surpasse largement CAD-Llama (73.87%), prouvant que la connaissance de la géométrie 3D via le B-rep est supérieure aux descriptions textuelles.
  • Correction d'erreurs : Avec un ACC_cmd de 99.08% et un CD de 0.335, le modèle surpasse les modèles commerciaux (GPT-5, Gemini) qui peinent à déduire des coordonnées exactes à partir d'images 2D.
  • CAO-QA : Avec 79% de précision sur SGP-Bench, BrepCoder (1.5B paramètres) rivalise avec des modèles beaucoup plus grands basés sur les nuages de points (PointLLM 7B à 81%), tout en étant pré-entraîné uniquement sur des tâches de code.

5. Signification et Impact

BrepCoder marque une avancée significative pour l'automatisation intelligente de la conception :

• Unification : Il démontre qu'un seul modèle peut gérer une gamme complète de tâches CAO, éliminant le besoin d'architectures disjointes.
• Standard Industriel : En utilisant nativement le format B-rep, il s'aligne directement avec les flux de travail industriels réels, contrairement aux approches basées sur des approximations (nuages de points).
• Raisonnement Logique : En traitant la CAO comme du code exécutable, le modèle ne se contente pas de "voir" la forme, mais comprend le processus de création, permettant des capacités de correction et de génération supérieures.

L'article ouvre la voie vers des agents CAO généralistes capables d'interagir de manière fluide avec les données de conception les plus complexes, promettant d'accélérer l'innovation dans la fabrication et l'ingénierie.