CADSmith: Multi-Agent CAD Generation with Programmatic Geometric Validation

이 논문은 실행 오류 해결과 프로그램 기반 기하학적 검증을 결합한 다중 에이전트 피드백 루프를 통해 자연어에서 CadQuery 코드를 생성하고 정밀도를 극대화하는 'CADSmith' 시스템을 제안합니다.

핵심

이 논문은 **"자연어로 말하면 바로 완벽한 3D 설계도 (CAD) 를 만들어주는 AI"**에 대한 연구입니다. 제목은 CADSmith입니다.

기존의 AI 들은 "이거 만들어줘"라고 말하면 대충 모양만 비슷하게 만들어내거나, 치수가 틀려서 실제로 쓸 수 없는 경우가 많았습니다. 마치 요리사가 레시피를 보고 요리를 하되, 계량컵을 쓰지 않고 눈대중으로 재다가 소금 10kg 을 넣는 실수를 하는 것과 비슷하죠.

CADSmith 는 이런 문제를 해결하기 위해 **4 명의 전문가로 구성된 팀 (멀티 에이전트)**을 꾸려서, 수학적인 정확성과 눈으로 보는 직관을 모두 챙기며 설계도를 수정해 나갑니다.

이 시스템을 쉽게 이해할 수 있도록 **'정밀한 기계 부품 공방'**이라는 비유로 설명해 드리겠습니다.

---

🏭 CADSmith: 완벽한 부품 공방의 비밀

1. 문제: "눈대중"만 하는 AI 들

기존 AI 는 설계도를 그릴 때 치수 (mm 단위) 를 정확히 맞추지 못하거나, 부품이 뚫려 있어야 할 구멍이 막혀 있는 등 치명적인 오류를 자주 범했습니다. 마치 **"눈대중으로 만든 자동차"**처럼, 생김새는 비슷해 보이지만 실제로는 엔진이 들어가지 않거나 바퀴가 돌아가지 않는 상황이었습니다.

2. 해결책: 4 명의 전문가 팀 (CADSmith)

CADSmith 는 한 명의 천재가 모든 일을 하는 게 아니라, 각자 역할이 명확한 4 명의 전문가가 팀을 이루어 일합니다.

• 📋 기획자 (Planner): 고객 ("이거 만들어줘") 의 말을 듣고 구체적인 설계 도면 (JSON) 으로 번역합니다. "지름 50mm, 높이 10mm, 구멍 6 개"처럼 숫자를 명확히 정리합니다.
• ✍️ 설계사 (Coder): 기획자가 준 도면을 보고 실제 컴퓨터 코드 (CadQuery) 를 작성합니다. 이때, 최신 기술 매뉴얼을 검색해서 (RAG) 틀린 명령어를 쓰지 않도록 조심합니다.
• ⚙️ 시공자 (Executor): 작성된 코드를 실행해 봅니다. 만약 코드가 오류를 낸다면 즉시 멈추고, 오류 수정 전문가에게 넘깁니다.
• 👮 감시관 (Validator & Judge): 이것이 CADSmith 의 핵심입니다. 두 가지 눈을 가지고 부품을 검사합니다.
  1. 수학의 눈 (OpenCASCADE): 부품의 부피, 길이, 무게, 구멍 개수를 정확한 숫자로 측정합니다. "지름이 50mm 라면 50.000mm 여야 한다"는 식입니다.
  2. 예술가의 눈 (Vision-Language Model): 3D 렌더링 이미지를 보고 전체적인 모양이 맞는지, 구멍이 제대로 뚫려 있는지 눈으로 확인합니다. 숫자는 맞는데 모양이 비틀어졌을 때 잡아냅니다.

3. 작동 원리: "수정 루프"라는 반복적인 점검

이 팀은 한 번에 끝내지 않습니다. 두 단계의 수정 과정을 거칩니다.

• 1 단계 (내부 루프): "코드 오류 잡기"
  코드가 실행되지 않으면 (예: 문법 오류), 시공자가 즉시 수정합니다. 이 과정은 최대 3 번까지 반복됩니다.
• 2 단계 (외부 루프): "치수와 모양 잡기"
  코드는 실행되지만, 부품 모양이 잘못됐다면 감시관이 "치수가 2mm 부족하다"거나 "구멍이 1 개 빠졌다"고 피드백을 줍니다. 설계사는 이 피드백을 받고 코드를 다시 고칩니다. 이 과정은 최대 5 번까지 반복됩니다.

이 과정은 마치 숙련된 공방에서 장인이 자르고, 다듬고, 자르고, 다듬으며 완벽한 부품이 나올 때까지 멈추지 않는 모습과 같습니다.

4. 왜 이 방법이 특별한가요? (핵심 포인트)

• 숫자와 눈의 조화: 기존 연구는 숫자만 보거나 (치수는 맞는데 모양이 이상함), 이미지만 봤습니다 (모양은 비슷하지만 치수가 틀림). CADSmith 는 **정밀한 자 (숫자)**와 **감각적인 눈 (이미지)**을 동시에 사용합니다.
• 최신 기술 반영: AI 를 처음부터 다시 학습시키는 (Fine-tuning) 대신, 최신 CAD 프로그램 매뉴얼을 검색해서 (RAG) 사용합니다. 그래서 CAD 프로그램이 업데이트되어도 AI 가 금방 따라잡을 수 있습니다.
• 편견 방지: 코드를 만든 AI 와 감시하는 AI 를 다르게 사용합니다. (코드는 'Sonnet'이, 감시는 더 똑똑한 'Opus'가 합니다.) 이렇게 하면 "내가 만든 게 맞다"는 착각을 하지 않게 됩니다.

5. 결과: 얼마나 잘 하나요?

연구진은 100 개의 다양한 부품 (단순한 상자부터 복잡한 기어, 복잡한 기계 부품까지) 을 테스트했습니다.

• 기존 AI (한 번에 끝내기): 실행 오류가 많았고, 치수가 틀린 경우가 많았습니다. (평균 오차 28mm)
• CADSmith: 100% 성공으로 코드를 실행했고, 치수 오차는 0.74mm로 줄였습니다.
  • 특히 복잡한 부품 (T3) 에서 기존 방식보다 35 배나 더 정확해졌습니다.
  • 단순히 모양만 비슷한 게 아니라, 실제로 공장에서 쓸 수 있을 만큼 정밀한 부품을 만들어냈습니다.

💡 요약

CADSmith 는 **"AI 가 설계도를 그릴 때, 한 번에 끝내지 않고 정밀한 자와 날카로운 눈으로 수차례 수정하며 완벽하게 다듬는 시스템"**입니다.

이 기술은 앞으로 엔지니어들이 복잡한 기계 부품을 설계할 때, AI 가 단순히 아이디어만 내주는 것을 넘어 실제 제조가 가능한 정확한 설계도를 바로 뽑아낼 수 있게 해줄 것입니다. 마치 "내 말만 들어도, 공장에서 바로 쓸 수 있는 완벽한 부품을 만들어주는 마법 같은 공방"이 생긴 것과 같습니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 텍스트-to-CAD(Text-to-CAD) 생성 방법론은 다음과 같은 한계를 가지고 있습니다:

• 단일 통과 및 검증 부재: 많은 시스템이 한 번의 추론으로 CAD 코드를 생성하며, 기하학적 오류를 검증하는 과정이 없습니다.
• 손실된 시각적 피드백: 시각적 피드백을 사용하는 경우 (예: 이미지 기반 평가), 치수 오차 (millimeter-scale errors) 를 해결할 만큼 정밀한 기하학적 정보를 제공하지 못합니다.
• LLM 의 환각 (Hallucination): 대형 언어 모델 (LLM) 은 자연어 설명에서 CAD 코드를 생성할 때 치수를 잘못 설정하거나 API 를 오용하는 경우가 빈번합니다.
• 정밀도 요구사항: CAD 모델은 단순히 시각적으로 비슷할 뿐만 아니라, 제조에 활용 가능할 정도로 치수 정확도와 위상학적 유효성 (topological validity) 을 갖춰야 합니다.

2. 방법론 (Methodology)

CADSmith 는 자연어 프롬프트를 CadQuery 코드 (Python 기반) 로 변환하는 5 개의 전문 에이전트 (Agents) 로 구성된 멀티 에이전트 파이프라인을 제시합니다. 이 시스템은 이중 중첩 수정 루프 (Two Nested Correction Loops) 를 통해 반복적으로 모델을 개선합니다.

주요 구성 요소 (Agents)

1. Planner: 자연어 프롬프트를 구조화된 설계 명세서 (JSON) 로 변환합니다. (부품 목록, 목표 치수, 기하학적 제약 조건 등 포함)
2. Coder: 설계 명세서를 바탕으로 CadQuery 코드를 생성합니다.
   • RAG (Retrieval-Augmented Generation): 미세 조정 (Fine-tuning) 대신 CadQuery API 문서와 오류 해결 패턴 데이터베이스를 검색하여 최신 API 를 반영하고 오류를 예방합니다.
3. Executor: 생성된 코드를 샌드박스 환경에서 실행합니다.
   • 성공 시: OpenCASCADE (OCCT) 커널을 통해 볼륨, 경계 상자 (Bounding Box), 면/모서리/꼭짓점 수, 솔리드 유효성 등을 정밀하게 측정합니다.
   • 실패 시: 오류 스택 트레이스를 캡처합니다.
4. Validator (Judge): 생성된 기하학이 프롬프트 요구사항을 충족하는지 판단합니다.
   • LLM-as-a-Judge: 코드 생성 모델 (Claude Sonnet) 보다 강력한 모델 (Claude Opus) 을 사용하여 자기 확인 편향 (Self-confirmation bias) 을 방지합니다.
   • 입력 데이터: 원본 프롬프트, 생성된 코드, OCCT 커널의 정밀 수치 데이터, 3 개의 시점 (Isometric, Rear, Front Profile) 으로 렌더링된 이미지.
5. Refiner: 검증 실패 시, Validator 의 피드백 (정확한 수치 오차 및 시각적 평가) 을 바탕으로 코드를 수정합니다.

이중 수정 루프 (Dual-Loop Refinement)

• 내부 루프 (Inner Loop): 코드 실행 오류 (Syntax Error 등) 를 처리합니다. Executor 가 실패하면 Error Refiner 가 RAG 컨텍스트를 활용해 코드를 수정하고 최대 3 회 재시도합니다.
• 외부 루프 (Outer Loop): 기하학적 오류를 처리합니다. 코드는 실행되지만 치수나 형태가 틀린 경우, Validator 가 OCCT 수치 데이터와 시각적 이미지를 비교하여 피드백을 주고 Refiner 가 코드를 수정합니다. 최대 5 회까지 반복됩니다.

3. 주요 기여 (Key Contributions)

1. 멀티 에이전트 아키텍처: 단일 모델 접근법을 대체하여 기획, 코딩, 실행, 검증, 수정을 전담하는 에이전트들로 분해된 파이프라인을 구축했습니다.
2. 이중 루프 프로그램matic 기하학적 검증:
   • 내부 루프: 실행 오류 수정.
   • 외부 루프: OpenCASCADE 커널의 정밀 측정 (치수, 부피, 유효성) 과 VLM(시각 - 언어 모델) Judge 의 전역적 형태 인식을 결합한 반복적 기하학적 보정.
3. 독립적인 VLM-as-Judge 평가: 코드 생성 모델과 다른 강력한 모델을 '심판' 으로 사용하여 편향을 제거하고, 수치적 정확도와 시각적 일관성을 동시에 검증합니다.
4. API 문서 기반 RAG: 미세 조정이 필요 없으며, CAD 라이브러리 (CadQuery) 가 업데이트될 때마다 시스템이 최신 상태를 유지할 수 있도록 합니다.

4. 실험 결과 (Results)

연구진은 100 개의 프롬프트 (기본 도형 T1, 엔지니어링 부품 T2, 복잡한 부품 T3) 로 구성된 벤치마크를 통해 시스템을 평가했습니다.

• 성능 지표:
  • 실행 성공률: Zero-shot 베이스라인 (95%) 에서 100% 로 향상.
  • Chamfer Distance (평균): 28.37 (베이스라인) → 0.74 (CADSmith 전체 파이프라인) 로 대폭 감소 (약 38 배 개선).
  • F1 Score (중앙값): 0.9707 → 0.9846 향상.
  • IoU (중앙값): 0.8085 → 0.9629 향상.
• 시각적 피드백의 중요성 (Ablation Study):
  • 시각적 이미지 (3-view render) 를 제거한 경우, 복잡한 부품 (T3) 에서 평균 Chamfer Distance 가 1.42 에서 49.68 로 급증했습니다. 이는 수치적 검증만으로는 '거짓 수렴 (False Convergence, 치수는 맞지만 형태가 완전히 다른 경우)' 을 탐지할 수 없음을 보여줍니다.
• 복잡도별 성능: T1/T2 는 거의 완벽한 성능을 보였으며, T3(복잡한 부품) 에서도 F1 0.886 의 높은 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

• 정밀한 자동화: CADSmith 는 자연어로부터 제조 가능한 정밀한 CAD 모델을 생성하는 데 있어 폐루프 (Closed-loop) 피드백의 중요성을 입증했습니다.
• 수치와 시각의 시너지: OpenCASCADE 커널의 정밀한 수치 데이터와 VLM 의 전역적 형태 인식을 결합함으로써, 기존 시스템이 놓치던 치수 오류와 구조적 결함을 동시에 해결합니다.
• 실용적 가치: 미세 조정 없이 API 문서를 기반으로 작동하므로, CAD 라이브러리 진화에 유연하게 대응할 수 있으며, 제조 공정의 자동화와 엔지니어링 진입 장벽 낮추는 데 기여할 수 있습니다.
• 한계 및 향후 과제: 렌더링 해상도나 시점의 한계로 인해 매우 미세한 간격 (예: 암과 허브 사이의 미세한 틈) 을 탐지하지 못하는 경우가 있을 수 있으며, 향후 적응형 뷰 선택이나 고해상도 클립 등을 통해 개선이 필요합니다.

결론적으로, CADSmith 는 LLM 기반 CAD 생성의 신뢰성과 정확성을 획기적으로 높인 새로운 패러다임을 제시하며, 프로그램matic 기하학적 검증을 통한 반복적 개선이 필수적임을 보여줍니다.