Pointer-CAD: Unifying B-Rep and Command Sequences via Pointer-based Edges & Faces Selection

Pointer-CAD is een nieuw LLM-gebaseerd raamwerk dat B-rep-geometrie en commandosequenties verenigt via pointer-gebaseerde selectie van geometrische entiteiten, waardoor complexe CAD-modellen nauwkeuriger kunnen worden gegenereerd met minder topologische fouten dan eerdere methoden.

De kern

Pointer-CAD: De Slimme Bouwmeester die niet hoeft te Raden

Stel je voor dat je een complexe LEGO-bouwpakket wilt maken, maar in plaats van een duidelijke handleiding met stap-voor-stap instructies, krijg je alleen een lijst met getallen en een paar vaag omschreven woorden. Dat is ongeveer wat er gebeurt als computers proberen 3D-ontwerpen (CAD-modellen) te maken met de huidige kunstmatige intelligentie. Ze proberen de vorm te "raden" door getallen te voorspellen, wat vaak leidt tot mislukte bouwsels die niet goed aansluiten.

Dit nieuwe onderzoek, Pointer-CAD, lost dit probleem op door de computer een heel slim hulpmiddel te geven: een wijzer (pointer).

Hier is hoe het werkt, vertaald naar alledaags taal:

1. Het Probleem: Raden in het Donker

Vroeger probeerden AI-modellen een 3D-ontwerp te maken door een reeks commando's te typen, zoals "Teken een lijn van punt X naar punt Y". Het probleem is dat de computer de exacte coördinaten (X en Y) moet raden.

• De Analogie: Stel je voor dat je een tekening maakt op een groot vel papier, maar je mag geen liniaal gebruiken. Je moet de lengte van een lijn raden. Als je net 1 millimeter naast de juiste plek zit, past de volgende lijn niet meer. In de 3D-wereld zorgt dit ervoor dat vlakken niet aansluiten, gaten niet op de juiste plek zitten, of dat het hele model instort.
• Het andere probleem: Als je een bestaand object wilt bewerken (bijvoorbeeld de hoek van een kubus afkappen), moeten oude systemen raden welke hoek je bedoelt. Ze kunnen niet simpelweg "klikken" op die hoek.

2. De Oplossing: De "Wijzer" (Pointer)

Pointer-CAD verandert de regels. In plaats van dat de computer de exacte coördinaten moet raden, krijgt hij een wijzer die hij kan gebruiken om te wijzen op bestaande onderdelen van het model.

• De Analogie: Stel je voor dat je een architect bent die een nieuw raam in een bestaand huis moet plaatsen.
  • Oude methode: Je zegt: "Plaats een raam op coördinaat 10,5 meter hoog en 3,2 meter breed." Als je 10,4 meter zegt, zit het raam scheef.
  • Pointer-CAD methode: Je wijst met je vinger naar de muur en zegt: "Plaats het raam hier, op deze muur." De computer kijkt dan precies naar die muur en past het raam perfect aan.

Deze "wijzer" kan direct naar een rand (edge) of een vlak (face) van het bestaande model wijzen. Dit betekent dat de computer niet meer hoeft te raden waar iets moet komen; hij kijkt gewoon waar het al is en bouwt daarop verder.

3. Waarom is dit zo belangrijk?

Deze methode lost twee grote problemen op:

1. Geen meer "Rijgfouten": Omdat de computer wijst naar bestaande randen, hoeven ze niet meer te raden of een lijn precies op de juiste plek eindigt. Het "klikt" er automatisch op, net als LEGO-blokjes die perfect in elkaar passen. Dit voorkomt dat het model topologisch (in zijn structuur) kapot gaat.
2. Complexe bewerkingen worden mogelijk: Oude systemen konden moeilijk taken uitvoeren zoals het afronden van hoeken (fillet) of het afschuinen van randen (chamfer), omdat ze niet wisten welke hoek je bedoelde. Met de wijzer kan de AI simpelweg zeggen: "Rond deze specifieke rand af."

4. Hoe leren ze dit?

De onderzoekers hebben een enorme database van bijna 600.000 CAD-modellen gemaakt. Ze hebben deze modellen "vertaald" naar natuurlijke taal (zoals "Teken een vierkant op het bovenvlak en duw het omhoog") en hebben de computer getraind om deze instructies te volgen.

Bij elke stap kijkt de AI naar:

1. De tekst-instructie (wat moet er gebeuren?).
2. Het model dat tot nu toe is gebouwd (waar kan ik op wijzen?).

Conclusie

Pointer-CAD is als het geven van een wijzerstok aan een robot die bouwt. In plaats van dat de robot blindelings probeert te meten en te raden, kan hij nu gewoon wijzen naar de plek waar hij moet werken. Dit maakt het mogelijk om veel complexere, nauwkeurigere en professionele 3D-ontwerpen te maken met kunstmatige intelligentie, zonder dat het model uit elkaar valt door kleine meetfouten.

Het is een enorme stap voorwaarts om AI echt bruikbaar te maken voor ingenieurs en ontwerpers in de echte wereld.

Technische samenvatting

Probleemstelling

Het genereren van Computer-Aided Design (CAD) modellen is essentieel voor engineering en productie, maar vaak arbeidsintensief. Recent werk heeft Large Language Models (LLMs) gebruikt om CAD-modellen te genereren via commando-sequenties (token-gebaseerde representaties). Deze bestaande methoden stuiten echter op twee fundamentele beperkingen in praktische scenario's:

1. Gebrek aan entiteitsselectie: Bestaande commando-sequenties kunnen geen specifieke geometrische entiteiten (zoals specifieke randen of vlakken) selecteren. Dit maakt complexe bewerkingen zoals chamfer (afkanten) en fillet (afronden) moeilijk of onmogelijk uit te voeren, omdat deze bewerkingen per definitie een selectie van bestaande geometrie vereisen.
2. Kwantiseringsfouten: Continue variabelen (zoals coördinaten en afstanden) worden in commando-sequenties gediscretiseerd naar een eindig aantal niveaus. Dit leidt tot kwantiseringsfouten die kunnen resulteren in topologische onnauwkeurigheden, zoals het mislukken van het "snappen" van nieuwe schetsen aan bestaande randen of het verkeerd uitlijnen van schetsvlakken.

Methodologie: Pointer-CAD

Om deze beperkingen op te lossen, stellen de auteurs Pointer-CAD voor, een nieuw framework dat LLM's combineert met een pointer-gebaseerde commando-sequentie representatie. De kern van de methode is de integratie van Boundary Representation (B-rep) geometrie direct in het sequentiële modeleringsproces.

Belangrijkste componenten:

• Pointer-gebaseerde Representatie:
  In plaats van alleen numerieke waarden te voorspellen, kan het model nu een Pointer genereren. Deze pointer verwijst expliciet naar een bestaand vlak of een rand in de B-rep structuur van het tot nu toe gegenereerde model.

  • Voorbeeld: Bij het uitvoeren van een fillet voorspelt het model niet alleen de straal, maar ook een pointer naar de specifieke randen die moeten worden afgerond.
  • Dit elimineert de noodzaak voor coördinaten-regressie voor selectie, waardoor kwantiseringsfouten worden geminimaliseerd en de topologische consistentie wordt gewaarborgd.

• Multi-stap Generatiestrategie:
  Het genereren van een CAD-model wordt opgesplitst in discrete stappen. Voor elke stap conditioneert het LLM op:

  1. De tekstuele beschrijving van de gebruiker.
  2. De B-rep geometrie die is gegenereerd in de vorige stappen.
     Dit zorgt voor globale consistentie en zorgt ervoor dat latere bewerkingen correct kunnen refereren aan eerdere structuren.

• Multimodale Fusie en GNN:
  Het framework gebruikt een Multimodal Fusion Module die tekst en B-rep geometrie integreert. De B-rep wordt weergegeven als een ongericht graaf (face-adjacency graph) waarbij knopen vlakken en randen vertegenwoordigen. Een Graph Neural Network (GNN) aggregateert lokale geometrische kenmerken van buren-elementen. Deze verrijkte representatie wordt vervolgens aan het LLM (Qwen2.5) gepresenteerd.

• Output Componenten:
  Het LLM voorspelt drie complementaire componenten per stap:

  1. Label Tokens: Semantische informatie over het type bewerking (bijv. <ss> voor start schets, <sc> voor chamfer).
  2. Value Tokens: Numerieke data (coördinaten, hoeken), gekwantiseerd.
  3. Pointer: Een vector die wordt vergeleken met de embeddings van alle beschikbare B-rep entiteiten om de meest geschikte kandidaat te selecteren (via cosine similarity).

• Dataset en Annotatie:
  De auteurs hebben een data-anotatiepijplijn ontwikkeld met behulp van Qwen2.5-VL om hoogwaardige natuurlijke taalbeschrijvingen te genereren uit multi-view CAD-renderings. Hierdoor is een dataset van ongeveer 575.000 CAD-modellen (Recap-OmniCAD+) gecreëerd, inclusief complexe bewerkingen zoals chamfer en fillet die in eerdere datasets ontbraken.

Kernbijdragen

1. Pointer-gebaseerde Commando-sequentie: Een nieuwe representatie die selectie van randen en vlakken mogelijk maakt, waardoor geavanceerde bewerkingen (chamfer/fillet) voor autoregressive methoden haalbaar worden en kwantiseringsfouten worden gereduceerd.
2. Pointer-CAD Framework: Een LLM-gebaseerd text-to-CAD systeem dat gebruikmaakt van een multi-stap strategie, waarbij elke stap conditioneert op tekst en de accumulerende B-rep geometrie.
3. Uitgebreide Dataset: De creatie van een groot, geannoteerd dataset met complexe bewerkingen, wat de basis vormt voor het trainen en evalueren van modellen die verder gaan dan eenvoudige extrusies.

Resultaten

Uitgebreide experimenten tonen aan dat Pointer-CAD significant presteert boven bestaande baselines (zoals DeepCAD, Text2CAD, CADmium en generieke LLM's):

• Topologische Accuraatheid: Pointer-CAD reduceert de Segment Error (SegE) aanzienlijk, wat aangeeft dat de gegenereerde modellen topologisch correcter zijn en minder vaak "gebroken" geometrieën hebben.
• Geometrische Fidelity: De Chamfer Distance (CD) en Flux Enclosure Error (FluxEE) zijn lager, wat betekent dat de gegenereerde modellen nauwkeuriger overeenkomen met de grondwaarheid en waterdicht zijn.
• Ondersteuning voor complexe bewerkingen: In tegenstelling tot andere methoden die faalden bij chamfer en fillet, bereikt Pointer-CAD hoge F1-scores voor deze bewerkingen (bijv. 94.32% voor Chamfer en 89.85% voor Fillet op de Recap-OmniCAD+ dataset).
• Efficiëntie: Ondanks het gebruik van een kleiner model (0.5B of 1.5B parameters) presteert Pointer-CAD beter dan grotere LLM-based methoden (zoals CADmium-7B) en code-generatie methoden, terwijl het tegelijkertijd sneller is door de compactere token-sequentie in vergelijking met code-generatie.

Beteekenis

Pointer-CAD markeert een belangrijke doorbraak in het veld van AI-gedreven CAD-generatie. Door de kloof tussen tekstuele instructies en de noodzaak voor precieze geometrische selectie te overbruggen, maakt het framework het mogelijk om complexe, industriële CAD-modellen te genereren die eerder onbereikbaar waren voor autoregressive modellen. De methode lost het fundamentele probleem van kwantiseringsfouten op door het gebruik van pointers naar bestaande geometrie, wat leidt tot robuustere en topologisch correcte ontwerpen. Dit opent de weg voor geautomatiseerde CAD-workflows die niet alleen eenvoudige vormen, maar ook verfijnde, productieklaar ontwerpen kunnen creëren.