SldprtNet: A Large-Scale Multimodal Dataset for CAD Generation in Language-Driven 3D Design

이 논문은 24 만 개 이상의 산업용 부품을 포함하며, 3D 모델과 구조화된 텍스트 및 합성 이미지를 정렬하여 언어 기반 CAD 생성 및 다중 모달 학습을 가능하게 하는 대규모 데이터셋 'SldprtNet'을 제안합니다.

핵심

이 논문은 **'SldprtNet'**이라는 거대한 데이터베이스를 소개하는 내용입니다. 이를 쉽게 설명하기 위해 **'3D 디자인의 레시피 책'**과 **'요리사'**에 비유해 보겠습니다.

1. 문제점: 왜 새로운 것이 필요한가요?

기존의 3D 모델 데이터는 마치 **'완성된 케이크 사진'**만 있는 것과 같습니다. 케이크가 어떻게 생겼는지는 알 수 있지만, 어떤 재료를 얼마나 넣고 어떤 순서로 만들었는지 (레시피) 는 알 수 없습니다. 그래서 인공지능이 "이 케이크를 만들어줘"라고 해도, 모양만 흉내 낼 뿐 실제로 재료를 섞어 만드는 과정은 못 합니다.

또한, 기존 데이터는 너무 작거나, 단순히 점이나 면으로만 되어 있어 수정이 어렵습니다.

2. 해결책: SldprtNet (거대한 레시피 도서관)

이 연구팀은 24 만 2 천 개 이상의 산업용 부품을 수집하여, 단순히 '사진'뿐만 아니라 '만드는 과정 (레시피)'까지 완벽하게 기록한 데이터를 만들었습니다.

• 완성된 케이크 (.sldprt, .step 파일): 실제 3D 모델 파일입니다.
• 다양한 각도의 사진 (7 개의 뷰): 케이크를 위에서, 옆에서, 아래에서 등 7 가지 각도로 찍은 사진을 하나로 합친 것입니다.
• 상세한 레시피 (Encoder Text): "먼저 원형 스케치를 하고, 150mm 만큼 밀어내고, 구멍을 뚫는다"와 같이 어떤 순서로 어떤 명령을 내렸는지 텍스트로 기록한 것입니다.
• 맛있는 설명 (Natural Language): "이 부품은 베어링을 고정하기 위해 3 개의 구멍이 있는 받침대입니다"처럼 사람이 이해하기 쉬운 설명이 달렸습니다.

3. 핵심 기술: '변환기' (인코더와 디코더)

이 데이터의 가장 놀라운 점은 양방향 변환이 가능하다는 것입니다.

• 인코더 (Encoder): 실제 3D 모델을 보고 자동으로 **'레시피 텍스트'**를 만들어냅니다. (모델 → 텍스트)
• 디코더 (Decoder): 만들어진 '레시피 텍스트'를 다시 읽어서 원래 3D 모델을 다시 만들어냅니다. (텍스트 → 모델)

이 두 도구를 통해 3D 모델과 텍스트가 완벽하게 연결되어, 인공지능이 실수 없이 학습할 수 있게 됩니다. 마치 요리사가 레시피를 보고 요리를 만들고, 다시 요리를 보고 레시피를 작성할 수 있는 것과 같습니다.

4. 인공지능 학습 방법: "눈과 귀를 함께 쓰는 요리사"

연구팀은 최신 인공지능 모델 (Qwen2.5-VL) 을 이 데이터로 훈련시켰습니다.

• 기존 방식 (텍스트만): "이런 모양을 만들어줘"라고 말만 듣고 만들려고 하면, 모양을 정확히 이해하기 어렵습니다.
• 새로운 방식 (이미지 + 텍스트): "이런 모양 (사진) 으로, 이런 순서 (레시피) 로 만들어줘"라고 사진과 설명을 동시에 보여줍니다.

결과적으로, 사진과 텍스트를 함께 본 인공지능이 훨씬 더 정확하고 복잡한 3D 부품을 설계하는 데 성공했습니다.

5. 요약: 왜 이것이 중요한가요?

이 연구는 **"인공지능이 인간의 설계 의도를 이해하고, 실제로 작동하는 3D 도면을 그릴 수 있는 기반"**을 마련했습니다.

• 창의적인 비유: 이전까지 인공지능은 3D 디자인을 할 때 '눈으로만 보고 추측'하는 수준이었습니다. 하지만 SldprtNet 은 인공지능에게 **'눈 (사진), 귀 (설명), 손 (레시피)'**을 모두 갖춰주었습니다. 이제 인공지능은 단순히 그림을 그리는 것을 넘어, 실제 공장에서 쓸 수 있는 정밀한 부품을 설계하는 **'수석 엔지니어'**로 성장할 수 있는 길을 열었습니다.

결론적으로, 이 데이터는 자연어 (말) 로 3D 디자인을 자동화하는 미래를 위한 가장 튼튼한 발판이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 3D 모델링 및 CAD 생성 연구는 다음과 같은 한계점에 직면해 있었습니다:

• 데이터의 부재 및 규모: CAD 데이터는 수작업으로 생성되어야 하므로 이미지나 텍스트 데이터에 비해 규모가 매우 작고, 고도의 전문 기술이 필요합니다.
• 비파라메트릭 (Non-Parametric) 한계: 기존 대규모 3D 데이터셋 (ShapeNet, ModelNet 등) 은 메쉬 (Mesh) 나 포인트 클라우드 형태로만 제공되어, 설계 이력이나 파라메트릭 편집 기능이 없어 의미 있는 수정이 불가능합니다.
• 모달리티의 단절: 기존 CAD 데이터셋은 기하학적 형상 (Geometry) 만 제공하거나, 모델링 시퀀스만 제공하며, 자연어 설명이나 시각적 이미지와의 정렬 (Alignment) 이 부족했습니다. 이로 인해 언어 기반의 CAD 생성 (Text-to-CAD) 연구가 초기 단계에 머물러 있었습니다.
• 표준화된 형식의 부재: 자연어와 CAD 명령어 간의 손실 없는 변환을 지원하는 표준화된 파라메트릭 표현 형식이 부족했습니다.

2. 방법론 (Methodology)

저자들은 SldprtNet이라는 대규모 다중 모달 (Multimodal) 데이터셋을 구축하기 위해 다음과 같은 파이프라인과 도구를 개발했습니다.

• 데이터 수집 및 구성:
  • GrabCAD, McMaster-Carr, FreeCAD 등 공개 리포지토리에서 242,000 개 이상의 산업용 CAD 부품을 수집했습니다.
  • 각 샘플은 5 가지 정렬된 모달리티로 구성됩니다:
    1. 3D 모델: SolidWorks 네이티브 파일 (.sldprt) 과 표준 교환 형식 (.step).
    2. 렌더링 이미지: 6 개 정면/측면 뷰와 1 개 등각 투영 뷰를 합쳐 만든 단일 복합 이미지 (Composite Image). 토큰 효율성을 높이고 추론 속도를 가속화합니다.
    3. 파라메트릭 텍스트 (Encoder txt): 모델링 히스토리 (Feature Tree) 를 구조화된 텍스트 스크립트로 변환한 것.
    4. 자연어 설명 (Des txt): 모델의 외관과 기능을 설명하는 텍스트.
• 지원 도구 개발 (Encoder & Decoder):
  • Encoder: .sldprt 파일의 Feature Tree 를 분석하여 13 가지 CAD 명령어 유형 (스케치, 압출, 필렛, 구멍 마법사 등) 을 포함한 구조화된 텍스트로 변환합니다.
  • Decoder: 텍스트 스크립트를 다시 SolidWorks API 를 통해 실행 가능한 3D 모델로 재구성합니다. 이를 통해 손실 없는 양방향 변환이 가능합니다.
• 자연어 생성 및 정렬:
  • 렌더링된 복합 이미지와 파라메트릭 스크립트를 입력으로 받아 Qwen2.5-VL-7B (다중 모달 LLM) 를 사용하여 각 부품의 기능과 외관을 설명하는 자연어 텍스트를 생성했습니다.
  • 생성된 데이터는 수동 검증을 통해 정확성을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 고품질 데이터셋 (SldprtNet): 242,000 개 이상의 산업용 부품을 포함하며, 기하학적 형상, 모델링 스크립트, 다중 뷰 이미지, 자연어 설명이 모두 정렬된 최초의 대규모 CAD 데이터셋입니다.
2. 파라메트릭 변환 도구: SolidWorks API 기반의 Encoder 와 Decoder 를 개발하여 CAD 모델과 텍스트 간의 손실 없는 (Lossless) 상호 변환을 가능하게 했습니다. 이는 단순한 스케치/압출을 넘어 13 가지 복잡한 CAD 명령어를 지원합니다.
3. 다중 모달 정렬 (Multimodal Alignment): 이미지, 텍스트, 3D 기하학, 모델링 시퀀스를 통합하여 언어 기반 CAD 생성 모델의 학습을 위한 풍부한 감독 신호 (Supervision Signals) 를 제공합니다.
4. 복잡도 계층화: 모델의 복잡도 (1~5 개 명령어부터 100 개 이상까지) 를 4 단계로 분류하여, 커리큘럼 학습 (Curriculum Learning) 및 단계별 벤치마킹이 가능하도록 설계했습니다.

4. 실험 결과 (Results)

데이터셋의 유효성을 검증하기 위해 5 만 개 샘플의 서브셋을 사용하여 Qwen2.5-7B(텍스트 전용) 와 Qwen2.5-7B-VL(이미지 + 텍스트) 모델을 미세 조정 (Fine-tuning) 하고 비교했습니다.

• 성능 비교: 다중 모달 모델 (Qwen2.5-7B-VL) 이 텍스트 전용 모델보다 모든 주요 지표에서 우수한 성능을 보였습니다.
  • Exact Match Score: 0.0058 (텍스트) → 0.0099 (다중 모달)
  • Command-Level F1: 0.3247 → 0.3670
  • Partial Match Rate: 0.5554 → 0.6162
• 분석: 렌더링된 기하학적 뷰를 보조 모달리티로 추가함으로써, 모델이 기하학적 의미와 절차적 논리를 더 잘 이해하게 되어 CAD 명령어 생성의 정확도가 향상됨을 입증했습니다. (단, 파라미터 정밀도 측면에서는 텍스트 전용 모델이 약간 더 높았으나, 이는 수치 과적합 가능성으로 해석됨)

5. 의의 및 중요성 (Significance)

• 의미 기반 CAD 생성의 토대: 자연어 지시사항을 정밀한 3D 설계로 변환하는 Semantic-driven CAD 모델링 연구의 새로운 기준을 제시합니다.
• 가역적 (Reversible) 학습: Encoder/Decoder 도구를 통해 생성된 명령어를 다시 3D 모델로 재구성하고 검증할 수 있어, 모델의 신뢰성과 설명 가능성 (Explainability) 을 높입니다.
• 산업 적용 가능성: 단순한 형상 생성이 아닌, 실제 산업 현장에서 사용되는 파라메트릭 편집이 가능한 데이터를 제공함으로써, 인간-AI 협업 설계 및 지능형 3D 설계 자동화의 가능성을 열었습니다.
• 차별화된 데이터셋: 기존 메쉬 기반 데이터셋이나 단순 명령어 시퀀스 데이터셋과 달리, 기하학, 시각, 언어, 논리를 모두 아우르는 통합적인 학습 환경을 제공합니다.

결론적으로, SldprtNet 은 언어 기반 3D 디자인의 새로운 패러다임을 제시하며, 다중 모달 학습을 통한 정밀한 CAD 생성 모델 개발에 필수적인 인프라를 제공합니다.