DreamCAD: Scaling Multi-modal CAD Generation using Differentiable Parametric Surfaces

이 논문은 CAD 특정 주석 없이 3D 메시 데이터로 대규모 학습이 가능한 차분 가능한 파라메트릭 표면을 기반으로 편집 가능한 BRep 를 생성하는 'DreamCAD' 프레임워크와 100 만 개 이상의 캡션이 포함된 대규모 데이터셋 'CADCap-1M'을 제안하여 텍스트, 이미지, 포인트 모달리티 기반의 CAD 생성 성능을 획기적으로 개선했음을 보여줍니다.

핵심

1. 왜 이 연구가 필요할까요? (기존의 문제점)

기존의 CAD 생성 AI 들은 마치 **"레고 조립 설명서를 외워서 조립하는 로봇"**과 같았습니다.

• 문제: 로봇이 배울 수 있는 설명서 (데이터) 가 너무 적고, 설명서 자체가 너무 복잡해서 새로운 모양을 만들 때 엉망이 되거나, 아예 못 만들었습니다.
• 결과: AI 가 3D 모델 (메쉬) 은 잘 만들지만, 공장에서 실제로 쓸 수 있는 정밀한 설계도 (CAD) 로 바꾸는 데 실패했습니다.

2. DreamCAD 의 핵심 아이디어: "점토로 시작해서 설계도로 완성하기"

이 연구팀은 **"일단 점토로 모양을 잡은 뒤, 나중에 설계도로 다듬자"**는 발상을 했습니다.

🎨 비유 1: 점토와 자석 (디퍼러블 파라메트릭 서피스)

• 기존 방식: 레고 블록 하나하나 (면, 모서리, 꼭짓점) 를 정확히 맞춰야 해서, 블록이 조금만 어긋나도 전체가 무너졌습니다.
• DreamCAD 방식: AI 는 처음에 **매끄러운 점토 (Bezier 패치)**로 모양을 만듭니다. 이 점토는 AI 가 손쉽게 변형할 수 있고, 서로 붙어 있는 부분도 자연스럽게 이어집니다 (C0 연속성).
• 마법 같은 부분: 이 점토는 컴퓨터가 이해할 수 있는 **수학적 설계도 (STEP 파일)**로 바로 바뀝니다. 마치 점토를 만진 손끝이 자동으로 설계 도면으로 변환되는 것과 같습니다.

🧩 비유 2: 거대한 도서관과 도서관 사서 (CADCap-1M)

• 문제: AI 가 배울 수 있는 '설계도 + 설명' 쌍이 너무 적었습니다.
• 해결: 연구팀은 **GPT-5(최신 AI)**를 도서관 사서처럼 고용했습니다.
  • 전 세계에 있는 100 만 개 이상의 3D 모델 (책장) 을 훑어보게 했습니다.
  • 사서 (GPT-5) 는 각 모델의 모양을 보고 **"이것은 16 개의 톱니가 있는 기어바퀴이며, 중앙에 구멍이 있다"**는 식의 상세한 설명 (캡션) 을 100 만 개 이상 직접 써냈습니다.
  • 이를 CADCap-1M이라는 거대한 데이터셋으로 만들었습니다. 이제 AI 는 이 방대한 자료를 보고 어떤 모양이든 그릴 수 있게 되었습니다.

3. 어떻게 작동하나요? (3 단계 프로세스)

DreamCAD 는 **"대략적인 뼈대 → 정밀한 점토 → 설계도"**의 3 단계로 작동합니다.

1. 뼈대 잡기 (Coarse Stage):
   • 입력된 이미지나 텍스트를 보고, AI 는 먼저 3D 공간에 **'스케치용 점 (Sparse Voxel)'**을 뿌립니다. 마치 건축가가 건물의 대략적인 윤곽을 점으로 표시하는 것과 같습니다.
2. 점토 다듬기 (Fine Stage):
   • 그 점들을 바탕으로 **매끄러운 점토 (Bezier 패치)**를 만들어냅니다. 이때 AI 는 점토의 표면이 매끄럽고, 구멍이 정확히 몇 개 있는지, 치수가 얼마나 되는지까지 계산하며 다듬습니다.
3. 설계도 출력 (Topology Recovery):
   • 완성된 점토를 STEP 파일로 내보냅니다. 이제 이 파일은 AutoCAD 나 Fusion 360 같은 전문 소프트웨어에서 열어서 수정할 수 있습니다.

4. 이 기술이 가져오는 변화

• 텍스트 → 설계도: "빨간색 스포츠카"라고 입력하면, 바로 수정 가능한 3D 설계도가 나옵니다.
• 이미지 → 설계도: 손으로 그린 스케치나 사진을 올리면, 공장에서 쓸 수 있는 정밀한 부품 설계도로 변환됩니다.
• 점 → 설계도: 3D 스캐너로 찍은 물체의 점 데이터를 넣으면, 그 물체의 정확한 설계도를 복원합니다.

5. 결론: "완벽한 설계도는 아직, 하지만 완벽한 기초는 다졌다"

이 논문은 "완벽한 CAD 토폴로지 (면과 모서리의 정확한 연결)"를 한 번에 만드는 것은 너무 어렵기 때문에, 먼저 '매끄러운 점토 (기하학적 형태)'를 완벽하게 만드는 데 집중했다고 말합니다.

이렇게 만들어진 점토는 이미 수정 가능하고 정밀합니다. 연구팀은 이 점토를 바탕으로 나중에 자동으로 완벽한 설계도 구조를 완성하는 '다음 단계'를 준비하고 있습니다.

한 줄 요약:

"DreamCAD 는 AI 가 100 만 개의 설계도 설명서를 공부하고, 점토로 모양을 잡은 뒤 이를 바로 수정 가능한 공업용 설계도로 바꾸는, 마치 마법 같은 3D 디자이너입니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 CAD(Computer-Aided Design) 생성 모델은 다음과 같은 근본적인 확장성 (Scalability) 한계에 직면해 있습니다.

• 데이터 부족 및 의존성: 기존 방법론들은 설계 이력 (Design-history, 예: 스케치 - 압출) 이나 명시적인 BRep(경계 표현) 토폴로지 데이터에 의존합니다. 이러한 데이터는 DeepCAD-160k, Fusion360-8k 등 소규모로만 존재하며, 수백만 개의 3D 메시 (Mesh) 데이터셋을 활용할 수 없습니다.
• 미분 불가능성 (Non-differentiability): BRep 토폴로지는 이산적 (discrete) 이고 미분 불가능하여, 대규모 데이터에 대한 그라디언드 기반 학습 (Gradient-based optimization) 을 어렵게 만듭니다.
• 다중 모달 일반화 부재: 텍스트, 이미지, 점군 (Point Cloud) 등 다양한 입력 모달리티에 대해 자유형상 (Free-form) 이나 오픈 보카불러리 (Open-vocabulary) 형태의 CAD 를 생성하는 데 있어 일반화 성능이 낮습니다.

2. 제안 방법론: DreamCAD

저자들은 이러한 문제를 해결하기 위해 DreamCAD라는 다중 모달 생성 프레임워크를 제안합니다. 핵심 아이디어는 CAD 토폴로지와 기하학을 분리하고, **미분 가능한 매개변수 표면 (Differentiable Parametric Surfaces)**을 사용하여 대규모 3D 메시 데이터에서 직접 학습하는 것입니다.

2.1. 핵심 기술 요소

1. C0-연속 베지어 패치 (C0-continuous Bézier Patches):

   • CAD 모델을 이산적인 BRep 대신 **유리 베지어 표면 (Rational Bézier Surfaces)**의 집합으로 표현합니다.
   • C0 연속성 보장: 인접한 패치가 경계선을 공유하도록 구조적으로 설계하여, CAD 모델링에 필수적인 간격이나 겹침 없이 연결되도록 합니다. 이는 기하학적 최적화가 아닌 구조적 접근 (Flood-fill 알고리즘을 통한 내부 쿼드 제거 및 공유 제어점) 으로 해결합니다.
   • 미분 가능한 테셀레이션 (Differentiable Tessellation): 베지어 패치를 메시로 변환하는 과정이 미분 가능하므로, 점군 (Point Cloud) 과의 Chamfer Distance 손실을 통해 직접 학습이 가능합니다.

2. 이중 단계 생성 파이프라인 (Two-Stage Pipeline):

   • 1 단계 (VAE 학습): 대규모 3D 메시 데이터를 **구조화된 잠재 공간 (Structured Latents, SLAT)**으로 인코딩하고, 이를 베지어 패치로 디코딩하는 VAE 를 학습합니다. 이 과정은 CAD 주석 없이 점 수준의 감독 (Point-level supervision) 만으로 수행됩니다.
   • 2 단계 (조건부 생성): 텍스트, 이미지, 점군 입력을 받아 coarse-to-fine 전략으로 작동합니다.
     • 먼저 입력 조건에서 **희소 볼륨 그리드 (Sparse Voxel Grid)**를 생성합니다.
     • 이를 기반으로 초기 베지어 패치를 생성한 후, Flow Matching 기반 디코더를 통해 정교한 기하학적 세부 사항을 추론합니다.

3. CADCap-1M 데이터셋:

   • 기존 텍스트 -CAD 데이터셋의 규모 부족을 해결하기 위해 100 만 개 이상의 CAD 모델에 대한 고품질 설명을 생성했습니다.
   • GPT-5 를 활용하여 ABC, Automate, Fusion360 등 기존 대규모 CAD 데이터셋의 모델에 대해 메타데이터 (구멍 개수, 치수 비율, 부품명 등) 를 증강 (Augmentation) 하여 생성했습니다. 이는 환각 (Hallucination) 을 줄이고 기하학적 정확도를 높입니다.

3. 주요 기여 (Key Contributions)

1. DreamCAD 프레임워크: CAD 주석 없이 점 수준의 감독만으로 학습 가능한 최초의 다중 모달 생성 프레임워크를 제안했습니다.
2. CADCap-1M 데이터셋: 텍스트 -CAD 연구 확장을 위한 최대 규모의 (1M+ 샘플) 캡션 데이터셋을 공개했습니다.
3. 성능 기록: ABC 및 Objaverse 데이터셋에서 텍스트, 이미지, 점군 기반 생성 모두에서 기존 최첨단 (SOTA) 모델을 능가하는 성능을 달성했습니다.

4. 실험 결과 (Results)

저자들은 ABC 와 Objaverse 데이터셋을 사용하여 Point2CAD, Image2CAD, Text2CAD 태스크를 평가했습니다.

• 기하학적 정확도 (Geometric Accuracy):
  • Point2CAD: Chamfer Distance (CD) 를 기존 모델 (Cadrille, CAD-Recode) 대비 최대 75% 감소시켰으며, 유효성 비율 (Invalidity Ratio) 을 0% 로 달성했습니다.
  • Image2CAD & Text2CAD: GPT-5 평가 및 CAD 전문가 사용자 조사에서 75% 이상의 선호도를 기록했습니다. 특히 Text2CAD 에서 복잡한 형상 (예: 기어, 의자, 카메라) 과 수치적 제약 조건 (예: 구멍 개수) 을 정확하게 재현했습니다.
• 비교 분석:
  • 설계 이력 기반 모델 (DeepCAD 등) 은 복잡한 형상에서 일반화가 실패했습니다.
  • BRep 기반 확산 모델 (BRepDiff 등) 은 C0 연속성 유지가 어렵고 유효하지 않은 모델이 자주 생성되었습니다.
  • DreamCAD 는 매개변수 표면의 유연성과 미분 가능한 학습을 통해 높은 정밀도와 안정성을 동시에 달성했습니다.

5. 의의 및 향후 전망 (Significance & Future Work)

• CAD 생성의 패러다임 전환: CAD 생성을 "단일 단계의 토폴로지 + 기하학 동시 생성"에서 "확장 가능한 기하학 학습 후 토폴로지 복구"라는 분리된 (Decoupled) 접근법으로 전환시켰습니다.
• 산업적 활용 가능성: 생성된 결과는 STEP 파일로 내보내어 표준 CAD 소프트웨어에서 편집 가능하며, 제어점과 가중치 조작이 가능합니다.
• 토폴로지 복구 (Topology Recovery): 현재 DreamCAD 는 BRep 토폴로지를 직접 생성하지는 않지만, 생성된 고품질 기하학적 기반을 바탕으로 NURBS 토폴로지를 복구하는 실험 (Section 5.4) 을 통해 생산 준비형 CAD 생성의 가능성을 입증했습니다. 이는 향후 연구의 중요한 방향성을 제시합니다.

결론적으로, DreamCAD 는 대규모 3D 데이터의 잠재력을 활용하여 CAD 생성의 확장성 문제를 해결하고, 텍스트/이미지/점군 입력으로부터 편집 가능한 고품질 CAD 모델을 생성하는 새로운 기준을 제시했습니다.