Seek-CAD: A Self-refined Generative Modeling for 3D Parametric CAD Using Local Inference via DeepSeek

이 논문은 오픈소스 LLM 인 DeepSeek-R1 과 비전 언어 모델을 활용하여 시각적 피드백과 사고 연쇄 (CoT) 를 결합한 자기 정제 메커니즘을 통해 훈련 없이 3D 파라메트릭 CAD 모델을 생성하는 'Seek-CAD' 프레임워크와 산업 적용에 적합한 새로운 데이터셋을 제안하고 그 유효성을 입증합니다.

핵심

SEEK-CAD: 3D 디자인을 위한 '스스로 배우는' AI의 비밀

이 논문은 3D CAD(컴퓨터 지원 설계) 모델을 자동으로 만들어주는 새로운 AI 시스템인 **'SEEK-CAD'**를 소개합니다. 기존의 방식과 달리, 이 시스템은 방대한 양의 데이터를 다시 학습 (Fine-tuning) 시키지 않고, 이미 똑똑한 AI(DeepSeek-R1) 를 바로 활용하여 더 유연하고 정확하게 3D 물체를 설계합니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 요리사와 건축가의 비유로 설명해 드리겠습니다.

---

1. 문제: "요리사"는 너무 멍청하거나, 너무 비쌌다

기존의 CAD 생성 AI 들은 두 가지 큰 문제가 있었습니다.

• 학습이 필요한 경우: 새로운 요리를 가르치려면 (학습) 엄청난 시간과 돈이 들었습니다.
• 학습이 없는 경우: 이미 유명한 요리사 (GPT-4 등) 를 쓰면 빠르지만, "왜 이렇게 생겼지?"라고 생각하며 단계별로 설명하는 능력 (Chain-of-Thought) 이 부족해서, 복잡한 디자인을 만들 때 실수가 많았습니다.

2. 해결책: "스스로 생각하며 수정하는" 요리사 (Seek-CAD)

이 연구팀은 DeepSeek-R1이라는 최신 AI 를 가져와서, 별도의 학습 없이 바로 사용했습니다. 하지만 그냥 시키면 안 되니까, 세 가지 핵심 전략을 도입했습니다.

🍳 전략 1: "요리 레시피"를 먼저 읽게 하기 (SSR 패러다임)

기존 AI 들은 3D 물체를 만드는 과정을 '스케치 (2D 그림) → 늘리기 (Extrude)'라는 단순한 방식만 알았습니다. 하지만 현실의 기계 부품은 구멍을 뚫거나 모서리를 둥글게 하는 등 복잡한 과정이 필요합니다.

• 비유: SEEK-CAD 는 **SSR(스케치, 특징, 다듬기)**이라는 새로운 '요리 레시피'를 개발했습니다.
  • 스케치: 도면을 그립니다.
  • 특징: 그 도면을 3D 로 늘리거나 둥글게 만듭니다.
  • 다듬기: 구멍을 뚫거나 모서리를 갈아냅니다.
• 이 레시피를 AI 에게 알려주니, 복잡한 산업용 부품도 자연스럽게 만들 수 있게 되었습니다.

🔍 전략 2: "단계별 사진"으로 확인하기 (Step-wise Visual Feedback)

기존 방식은 "최종 결과물"만 보고 "이게 맞나요?"라고 물었습니다. 하지만 중간에 실수가 있어도 최종 결과만 보면 모를 수 있습니다.

• 비유: SEEK-CAD 는 건축 현장 감리처럼 작동합니다.
  1. AI 가 "벽을 쌓자"고 생각하면 (생각의 흐름, CoT), 실제로 벽을 쌓는 중간 단계 사진을 찍습니다.
  2. 그 사진을 Gemini-2.0이라는 또 다른 AI(감리관) 에게 보여줍니다.
  3. 감리관은 "아, AI 가 생각한 대로 벽이 쌓였네?" 혹은 "아니야, AI 가 생각한 건 기둥인데 벽이 쌓였잖아!"라고 피드백을 줍니다.
  4. 이 피드백을 받아 AI 는 자신의 레시피 (코드) 를 수정합니다.

이 과정은 최종 결과뿐만 아니라, 중간 과정의 사진을 모두 보여주기 때문에 훨씬 정교한 수정이 가능합니다. 마치 요리사가 "소스를 넣기 전엔 국물이 너무 묽네?"라고 중간에 확인하는 것과 같습니다.

📚 전략 3: "실무자"의 경험을 참고하기 (RAG)

AI 가 헛소리를 하지 않도록, 1 만 개의 실제 CAD 모델 데이터를 참고할 수 있게 했습니다.

• 비유: 요리사가 새로운 요리를 만들 때, 수천 권의 요리책을 옆에 두고 참고하는 것과 같습니다. AI 는 이 책들을 검색해서 "이런 모양은 보통 이렇게 만들지"라고 참고한 뒤, 자신의 레시피를 작성합니다.

---

3. 결과: 왜 이것이 특별한가?

이 시스템은 학습 (Training) 없이도 기존에 학습을 시킨 모델들보다 더 좋은 결과를 냈습니다.

• 정확도: "이것을 그려줘"라고 말하면, 실제로 그 모양과 거의 똑같은 3D 모델을 만들어냅니다. (기하학적 정확도 향상)
• 복잡성: 단순한 상자뿐만 아니라, 구멍이 뚫리고 모서리가 둥글고 복잡한 산업용 부품도 만들 수 있습니다.
• 비용 효율성: 거대한 컴퓨터 서버를 새로 학습시킬 필요가 없어, 누구나 쉽게 사용할 수 있습니다.

4. 결론: AI 가 "생각"하고 "수정"하는 시대

SEEK-CAD 는 AI 가 단순히 명령을 받아치는 기계가 아니라, 스스로 생각 (CoT) 하고, 중간 과정을 확인 (Visual Feedback) 하며, 실수를 스스로 고치는 (Self-refinement) 진정한 '디자인 파트너'가 될 수 있음을 보여줍니다.

앞으로 이 기술은 공장에서 복잡한 부품을 설계하거나, 디자이너가 아이디어를 빠르게 3D 로 구현하는 데 큰 역할을 할 것으로 기대됩니다. 마치 스스로 요리법을 연구하고 맛을 보며 요리를 완성하는 천재 요리사가 우리 곁에 온 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• CAD 생성 모델링의 한계: 기존의 CAD 생성 모델링 연구는 주로 미세 조정 (Fine-tuning) 에 의존하거나, 단순한 스케치 - 인출 (Sketch-Extrude, SE) 패러다임에 국한되어 복잡한 산업용 디자인 요구사항을 충족하지 못했습니다.
• Chain-of-Thought (CoT) 활용 부재: 대형 언어 모델 (LLM) 을 활용하는 훈련 없는 (Training-free) 접근법은 유연성이 높지만, 복잡한 CAD 설계 논리를 추론하는 CoT 메커니즘을 효과적으로 활용하지 못해 생성된 모델의 정확도가 낮았습니다.
• 데이터 및 평가의 부족: 기존 데이터셋은 단순한 명령어만 포함하고 있어 복잡한 형상 (필렛, 챔퍼, 쉘 등) 이 포함된 산업용 CAD 모델 생성에 적합하지 않았습니다. 또한, 생성된 코드가 의도한 디자인과 일치하는지 검증하기 위한 체계적인 피드백 메커니즘이 부족했습니다.

2. 방법론 (Methodology)

Seek-CAD는 훈련이나 미세 조정 없이 로컬에 배포된 추론용 LLM 인 DeepSeek-R1-32B를 기반으로 한 자기 정제 (Self-refined) 생성 프레임워크입니다. 주요 구성 요소는 다음과 같습니다.

2.1. SSR (Sketch, Sketch-based feature, Refinements) 디자인 패러다임

• 기존 SE(Sketch-Extrude) 패러다임을 대체하여 더 복잡한 CAD 모델링을 지원하기 위해 고안되었습니다.
• 각 모델은 SSR 트리플 시퀀스로 표현됩니다:
  1. Sketch (s): 2D 스케치.
  2. Sketch-based feature (f): 스케치 기반 특징 (예: 인출, 회전).
  3. Refinements (r): 정교화 특징 (예: 필렛, 챔퍼, 쉘).
• 복잡한 형상은 SSR 단위 간의 불리언 연산 (Union, Cut, Intersect) 을 통해 구성됩니다.

2.2. CapType 참조 메커니즘

• 정교화 특징 (필렛, 챔퍼 등) 이 적용될 때, 중간 모델링 단계에서 생성된 토폴로지 프리미티브 (모서리, 면 등) 를 참조해야 하는 문제를 해결합니다.
• CapType (START, END, SWEPT) 시스템을 도입하여 스케치의 프리미티브와 모델링 결과물의 프리미티브 간의 명시적 연결을 구축합니다. 이는 설계 히스토리 없이도 정밀한 참조를 가능하게 합니다.

2.3. 로컬 추론 파이프라인 및 RAG

• DeepSeek-R1-32B-Q4를 로컬 GPU 에서 훈련 없이 실행합니다.
• 검색 증강 생성 (RAG): 10,000 개의 SSR 기반 CAD 모델로 구성된 로컬 코퍼스를 활용하여, 사용자 프롬프트와 유사한 3 개의 후보 코드를 검색 (Hybrid Search) 하여 DeepSeek-R1 의 컨텍스트에 주입합니다.
• 지식 제약 (Knowledge Constraint): 시스템 프롬프트를 통해 DeepSeek-R1 이 SSR 패러다임과 CAD 문법 (PythonOCC 기반) 을 준수하도록 유도하여 환각 (Hallucination) 을 줄입니다.

2.4. 단계별 시각 피드백 (Step-wise Visual Feedback, SVF) 및 자기 정제

• 생성 및 렌더링: 초기 생성된 CAD 코드 ($I_0$) 를 PythonOCC 를 통해 렌더링하여 단계별 투시도 이미지를 생성합니다. 이는 최종 형태뿐만 아니라 각 SSR 단계별 중간 형태 ($M_I$) 도 포함합니다.
• VLM 평가: 생성된 이미지와 DeepSeek-R1 의 **CoT(생각의 사슬)**를 Gemini-2.0(VLM) 에 입력합니다.
  • Gemini 는 CoT 로 설명된 설계 논리와 렌더링된 이미지가 일치하는지 평가합니다.
  • 불일치 시 구체적인 수정 피드백을 생성합니다.
• 반복 정제: 피드백을 DeepSeek-R1 에 다시 입력하여 코드를 수정하고, 최대 2 회 (실제 실험에서는 1 회가 최적) 반복하여 최종 코드를 도출합니다.

3. 주요 기여 (Key Contributions)

1. Seek-CAD 프레임워크: 훈련 없이 로컬 DeepSeek-R1 을 활용하여 CoT 와 단계별 시각 피드백을 결합한 자기 정제형 CAD 생성 프레임워크를 최초로 제안했습니다.
2. SSR 디자인 패러다임: 단순한 인출을 넘어 필렛, 챔퍼, 쉘 등 복잡한 산업용 특징을 포함하는 새로운 모델링 패러다임과 이를 위한 CapType 참조 메커니즘을 제안했습니다.
3. 대규모 SSR 데이터셋: 4 만 개의 샘플로 구성된 새로운 CAD 데이터셋을 구축 및 공개했습니다. 이 데이터셋은 다양한 CAD 명령어를 포함하며 GPT-4o 로 생성된 텍스트 설명과 쌍을 이룹니다.
4. 성능 검증: 다양한 메트릭에서 기존 훈련 기반 모델 및 다른 훈련 없는 방법론보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

• 생성 정확도: 500 개의 테스트 샘플에서 Seek-CAD 는 Chamfer Distance (CD), Hausdorff Distance (HD), IoGT, G-Score 모든 지표에서 기존 방법론 (3D-PreMise, CADCodeVerify) 및 미세 조정 모델 (CAD-Llama) 보다 우수한 성능을 보였습니다.
  • 특히 IoGT(0.7226) 와 G-Score(3.5185) 에서 높은 점수를 기록하여 기하학적 정확도와 텍스트 일치도가 높음을 입증했습니다.
• 정제 효과: 단계별 시각 피드백 (SVF) 을 적용한 1 회 정제 후, CD 와 HD 가 크게 개선되었으며, 2 회 정제 시에는 개선 폭이 줄어들고 컴파일 실패율이 증가하여 1 회 정제가 최적임을 확인했습니다.
• 복잡도 대응: 명령어 길이가 긴 복잡한 모델 (High complexity) 에 대해서도 Seek-CAD 는 높은 다양성 (Novelty) 을 유지하며 생성 가능했습니다.
• 강건성: DeepCAD 데이터셋 (기존 SE 패러다임) 에서도 Seek-CAD 가 우월한 성능을 보여, 제안된 프레임워크가 특정 데이터셋에 의존하지 않음을 입증했습니다.

5. 의의 및 중요성 (Significance)

• 훈련 비용 절감: 고비용의 LLM 미세 조정 없이도 로컬 추론과 RAG, 자기 정제 메커니즘을 통해 산업 수준의 복잡한 CAD 모델을 생성할 수 있음을 증명했습니다.
• 산업 적용 가능성: 단순한 형상이 아닌, 실제 산업 설계에 필요한 복잡한 특징 (필렛, 챔퍼 등) 을 포함한 모델 생성이 가능하여 AI 기반 CAD 도구의 실용성을 크게 높였습니다.
• CoT 와 시각적 피드백의 시너지: LLM 의 추론 능력 (CoT) 과 VLM 의 시각적 검증 능력을 결합하여, 생성된 모델의 논리적 일관성을 보장하는 새로운 패러다임을 제시했습니다.
• 오픈 소스 및 데이터 공개: 새로운 데이터셋과 프레임워크를 공개하여 CAD 생성 모델링 연구의 기반을 강화했습니다.

이 논문은 생성형 AI 가 단순한 이미지 생성을 넘어, 정밀한 공학적 설계 도구로 발전할 수 있는 가능성을 보여주는 중요한 연구로 평가됩니다.