🤖 AI

Context-Aware Mapping of 2D Drawing Annotations to 3D CAD Features Using LLM-Assisted Reasoning for Manufacturing Automation

Dit artikel presenteert een contextbewust raamwerk dat 2D-tekeningsannotaties koppelt aan 3D-CAD-functies voor productautomatisering door eerst deterministische regels toe te passen en ambiguïteiten op te lossen met LLM-redenering en menselijke controle, wat resulteert in een hoge nauwkeurigheid voor industriële toepassingen.

Oorspronkelijke auteurs: Muhammad Tayyab Khan, Lequn Chen, Wenhe Feng, Seung Ki Moon

Gepubliceerd 2026-02-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Muhammad Tayyab Khan, Lequn Chen, Wenhe Feng, Seung Ki Moon

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een reusachtige, driedimensionale LEGO-bouwpakket hebt. Dit is je 3D CAD-model: je kunt eromheen draaien, alle stukjes zien en precies weten hoe ze passen. Maar er is een probleem: de instructies (de "bouwplaat") zitten niet in het model zelf, maar op een oud, plat stuk papier (de 2D tekening).

Op dat stuk papier staan aantekeningen zoals "boorgat van 10mm" of "dit oppervlak moet glad zijn". De fabrieksrobots die het product moeten bouwen, begrijpen echter alleen de 3D-blokken. Ze weten niet welke aantekening op het papier bij welk blok in de 3D-wereld hoort.

Dit is het probleem dat dit paper oplost. Het is als een vertaler en detective die tegelijkertijd werkt om de platte instructies te koppelen aan de 3D-blokken, zodat de robot het product perfect kan bouwen.

Hier is hoe het werkt, in simpele termen:

1. De Grote Uitdaging: "Welke 10mm?"

Stel, op de tekening staat ergens "10". Dat kan van alles zijn:

De diameter van een gat?
De breedte van een gleuf?
De straal van een rondje?

Als de computer dit verkeerd begrijpt, bouwt hij de verkeerde machine. Soms zijn er ook meerdere gaten die er precies hetzelfde uitzien. Welk gat hoort bij welke aantekening? Dit is de "context" die ontbreekt.

2. De Oplossing: Een Slimme, Stap-voor-Stap Detective

De auteurs hebben een systeem bedacht dat werkt als een drie-traps proces, waarbij ze eerst proberen het op een simpele, vaste manier op te lossen, en pas ingrijpen als het echt lastig wordt.

Stap 1: De "Vaste Regels" (De Strikte Leraar)

Eerst probeert de computer het op een heel logische manier, zonder slimme AI.

Type-check: Is het een gat op de tekening? Dan zoeken we alleen naar gaten in de 3D-wereld.
Maat-check: Staat er "10mm" op de tekening? Dan zoeken we een gat van 10mm in de 3D-wereld.
Context-check: Kijkt de computer naar de omgeving? Staat de tekst dichtbij een gat? Dan is de kans groot dat het daar hoort.

Als dit werkt, is de taak klaar. Dit is snel en betrouwbaar.

Stap 2: De "Slimme Assistent" (De AI-Detective)

Soms is het niet duidelijk. Stel, er zijn drie gaten van 10mm en de tekst staat er midden tussenin. De vaste regels zeggen: "Ik weet het niet zeker."
Dan roept het systeem een AI-assistent (een Large Language Model, vergelijkbaar met een heel slimme chatbot) erbij.

De AI krijgt een foto van de tekening en de lijst met mogelijke gaten.
De AI kijkt naar de "sfeer" en de details: "Ah, deze tekst staat dichter bij het gat links, en de pijl wijst erop."
De AI maakt een weloverwogen keuze en legt uit waarom ze die keuze heeft gemaakt.

Stap 3: De "Menselijke Controle" (De Hoofdingenieur)

Als de AI het ook niet zeker weet, of als het een heel belangrijk onderdeel is, stopt het systeem niet. In plaats daarvan zegt het: "Ik heb een paar goede suggesties, maar ik wil dat een menselijke expert dit even checkt."
Dit is cruciaal in de industrie. Je wilt niet dat een robot zelfstandig een dure machine verkeerd bouwt. Een mens kijkt snel even mee, knikt, en dan gaat de robot aan de slag.

3. Waarom is dit zo belangrijk?

Vroeger moesten mensen dit allemaal handmatig doen: ze keken naar het papier, draaiden het 3D-model rond en probeerden het te matchen. Dat is saai, duur en foutgevoelig.

Met dit nieuwe systeem:

Het is sneller: De computer doet 80% van het werk.
Het is betrouwbaar: Door eerst simpele regels te gebruiken en pas dan slimme AI, maken ze minder fouten.
Het is transparant: Je kunt altijd zien waarom de computer een bepaalde keuze heeft gemaakt (dankzij de "menselijke controle" en de uitleg van de AI).

De Resultaten in het Kort

De auteurs hebben dit getest op 20 echte industriële onderdelen.

Ze vonden 90% van de juiste koppelingen (ze misten er maar weinig).
Van de koppelingen die ze maakten, waren 84% correct (weinig fouten).
Het systeem werkt het beste als je de "vaste regels", de "slimme AI" en de "menselijke controle" allemaal samen gebruikt. Als je één van die onderdelen weghaalt, gaat de kwaliteit drastisch achteruit.

Kortom: Dit paper introduceert een slimme manier om oude, platte bouwplaten te vertalen naar moderne, 3D-robotinstructies. Het combineert de zekerheid van vaste regels met de creativiteit van AI, en laat altijd een mens de laatste knoop doorhakken. Zo wordt de fabriek van de toekomst niet alleen slimmer, maar ook veiliger.

Titel

Contextbewuste mapping van 2D-tekeningannotaties naar 3D-CAD-functies met behulp van LLM-ondersteunde redenering voor fabricageautomatisering.

1. Het Probleem

In de moderne fabricage (automotive, lucht- en ruimtevaart, scheepsbouw) is er een kloof tussen 3D CAD-modellen en 2D technische tekeningen.

De Context: Hoewel 3D-modellen geometrisch nauwkeurig zijn, bevatten ze vaak niet de volledige productintentie. Kritieke informatie zoals geometrische dimensies en toleranties (GD&T), datumreferenties, oppervlakte-eisen en draadspecificaties staan traditioneel in 2D-tekeningen.
De Uitdaging: Downstream taken zoals procesplanning, inspectieplanning en de integratie van de "digital thread" vereisen dat deze heterogene representaties worden verenigd. Het koppelen van annotaties in 2D-tekeningen aan de corresponderende 3D-functies is echter extreem moeilijk vanwege:
- Contextuele ambiguïteit: Een getal (bijv. "10") kan een gatdiameter, sleufbreedte of straal betekenen, afhankelijk van de tekenconventies.
- Herhaling: Identieke patronen van functies maken het moeilijk om te bepalen welke annotatie bij welke specifieke 3D-functie hoort.
- Transparantie: Bestaande methoden zijn vaak "black boxes" (zuiver datagedreven) of te star (puur numeriek), wat leidt tot fouten die moeilijk te traceren zijn in industriële workflows.

2. Methodologie: Een "Deterministisch-First" Framework

De auteurs stellen een hybride framework voor dat eerst probeert om met deterministische regels te werken en pas escalatie gebruikt naar AI (LLM/VLM) wanneer dat nodig is. Het proces verloopt als volgt:

Semantische Verrijking (via VLM):
- Ruwe OCR-tekst en afbeeldingen van annotaties worden verrijkt door een Vision-Language Model (VLM).
- Het model converteert ambiguïteit naar gestructureerde descriptors (bijv. type, waarde, eenheid, geschatte doel-functie) met een betrouwbaarheidsscore.
Deterministische Correspondentie Scoring:
- Voor elk paar (3D-functie, 2D-entiteit) wordt een score $S_{ij}$ $S_{ij}$ berekend op basis van drie componenten:
  - Type Compatibiliteit: Past het type (bijv. "gat") bij de 3D-functie? (Hard gate: als types niet matchen, score = 0).
  - Dimensionale Overeenstemming: Is de numerieke waarde binnen een tolerantie ( $\epsilon$ ) van de 3D-geometrie?
  - Context Consistentie: Gebruik van ruimtelijke hints en de VLM-betrouwbaarheidsscore.
- Engineering Heuristieken: Specifieke regels worden toegepast (bijv. voorkeur voor diameter-symbolen $\emptyset$ , behandeling van draadannotaties, patroonmultipliciteit).
Toewijzing en Filtering:
- Een "near-tie" strategie selecteert kandidaten binnen een bepaalde score-ratio. Dit staat één-op-meerdere koppelingen toe (bijv. één gat met meerdere afmetingen).
Escalatie naar LLM:
- Als de deterministische score onzekerheid laat (geen duidelijke winnaar), wordt het systeem geëscaleerd naar een multimodale LLM (GPT-4o).
- De LLM ontvangt een afbeelding van de tekening en een lijst met kandidaat-3D-functies om een beslissing te nemen met een onderbouwing.
Human-in-the-Loop (HITL):
- Alle onopgeloste of lage-betrouwbaarheid gevallen worden gemarkeerd voor menselijke validatie. Dit zorgt voor traceerbaarheid en garantie van kwaliteit.

3. Belangrijkste Bijdragen

Formele Definitie: Het probleem van 2D-3D mapping is formeel gedefinieerd met duidelijke input/output representaties.
Hybride Escalatie Framework: Een nieuw "deterministisch-first" model dat interpreteerbare scores combineert met engineering-heuristieken en gecontroleerde LLM-escalatie. Dit garandeert transparante en auditbare beslissingen.
Evaluatieprotocol: Een benchmark op echte industriële onderdelen met een ablatiestudie om de bijdrage van elke component te kwantificeren.

4. Resultaten

Het framework werd getest op een dataset van 20 echte CAD-tekeningparen (met variërende complexiteit en herhalende patronen).

Prestaties:
- Precisie: 83,67%
- Recall: 90,46%
- F1-score: 86,29%
Escalatie Statistieken:
- 4,0% van de koppelingen werd puur deterministisch opgelost.
- 84,1% vereiste de combinatie van deterministische scoring + VLM-selectie (voor kandidaten).
- 11,9% vereiste volledige LLM-redenering.
- Slechts 1 koppeling (1,0%) werd afgewezen door de LLM vanwege onvoldoende bewijs.
Ablatie Studie:
- Het verwijderen van engineering heuristieken liet de precisie instorten van 0,8367 naar 0,4423 (het systeem kon dimensietypes niet meer correct koppelen).
- Het verwijderen van LLM-escalatie liet de recall dalen van 0,9046 naar 0,5417 (het systeem kon ambiguïteit niet oplossen).
- Dit bewijst dat zowel domeinkennis als AI-ondersteuning essentieel zijn.

5. Betekenis en Conclusie

Dit paper biedt een praktische basis voor de automatisering van fabricageprocessen in realistische industriële omgevingen.

Betrouwbaarheid: Door te prioriteren op deterministische regels en menselijke validatie voor onduidelijke gevallen, voorkomt het systeem "hallucinaties" die schadelijk kunnen zijn voor de productie.
Traceerbaarheid: Het systeem genereert een gestructureerde "unified manufacturing specification" met metadata over hoe elke koppeling tot stand is gekomen (provenance).
Toekomstperspectief: Hoewel de huidige evaluatie beperkt was tot dimensies (GD&T was schaars in de dataset), positioneert deze aanpak AI-assisted interpretatie als een haalbare stap voor de toekomstige digitale thread, waarbij transparantie en reproduceerbaarheid centraal staan.

Kortom, de auteurs slagen erin om de complexiteit van 2D-tekeningen te vertalen naar machine-actionable 3D-instructies zonder in te leveren op de nauwkeurigheid en controle die de industrie vereist.