cadrille: Multi-modal CAD Reconstruction with Reinforcement Learning

이 논문은 시점, 이미지, 텍스트 등 세 가지 입력 모달리티를 동시에 처리하고 대규모 생성 데이터에 대한 지도 미세조정과 온라인 강화학습 (GRPO) 을 결합하여 기존 단일 모달리티 방법론을 능가하는 새로운 CAD 재구성 모델 'cadrille'을 제안합니다.

핵심

이 논문은 **"cadrille(카드리유)"**이라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 마치 마법 같은 3D 디자인 도우미처럼 작동합니다.

기존의 CAD(컴퓨터 지원 설계) 프로그램은 전문가만 쓸 수 있는 복잡한 도구였지만, 이 연구는 **"누구나 3D 물체를 설명하거나 사진만 찍어 올리면, AI 가 바로 그 물체를 만드는 설계도 (코드) 를 짜준다"**는 것을 목표로 합니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "무엇을 만들고 싶은지 말하기 어렵다"

예전에는 3D 물체를 만들려면 전문가가 복잡한 명령어를 하나하나 입력해야 했습니다. 혹은 3D 스캐너라는 비싼 기기로 물체를 찍어야 했습니다.

• 기존 방식: "이것은 원기둥이고, 높이는 10cm 이고, 구멍은 2cm 지점에 뚫어야 한다"라고 수학처럼 정확하게 말해야만 했습니다.
• 한계: 일반인은 이렇게 말하기 어렵고, 사진이나 "이런 느낌의 의자" 같은 말로 설명하면 AI 가 못 알아듣는 경우가 많았습니다.

2. 해결책: "cadrille(카드리유)"의 등장

이 연구팀은 세 가지 다른 방식으로 들어온 정보를 모두 이해할 수 있는 AI 를 만들었습니다.

• 점 구름 (Point Cloud): 3D 스캐너로 찍은 점들의 뭉치.
• 사진 (Images): 여러 각도에서 찍은 사진들.
• 텍스트 (Text): "빨간색 원통형 컵" 같은 간단한 설명.

이 AI 는 이 세 가지를 모두 받아서, 실제 3D 프로그램을 실행할 수 있는 파이썬 코드를 만들어냅니다. 즉, AI 가 직접 "이제부터 이 물체를 만들어라"라고 명령하는 설계도를 작성해 주는 것입니다.

3. 핵심 기술: "학습 방법의 혁신"

이 AI 가 이렇게 똑똑해진 이유는 두 단계의 특별한 학습 과정을 거쳤기 때문입니다.

1 단계: "가상 공장에서의 무한 훈련 (지도 학습)"

• 비유: 마치 가상 공장에서 수백만 개의 가상의 물체를 만들어보며 연습하는 것과 같습니다.
• 내용: 컴퓨터가 무작위로 다양한 모양 (상자, 원통, 복잡한 기계 부품 등) 을 만들어내고, 그 모양을 보고 "어떻게 만들지?"를 반복해서 학습합니다. 이때는 실제 사람이 만든 데이터는 거의 쓰지 않고, 컴퓨터가 만든 데이터로 폭넓게 기초를 다집니다.

2 단계: "실전 연습과 피드백 (강화 학습)"

• 비유: 이제 실제 현장으로 나가서 실수를 고치는 과정입니다.
• 문제점: 가상 공장 (1 단계) 에서만 배운 AI 는 실제 세상 (실제 사진이나 스캔 데이터) 에 나오면 엉뚱한 코드를 만들거나, 아예 실행이 안 되는 코드를 만들어낼 수 있습니다.
• 해결책: 연구팀은 AI 가 만든 코드를 실행해보고, **"이게 진짜 물체와 닮았나? (정확도)"**와 **"이 코드가 실행 가능한가? (유효성)"**를 자동으로 점수 매겨줍니다.
  • 좋은 코드를 만들면 "잘했어!" (보상), 나쁜 코드를 만들면 "다시 해!" (페널티) 를 줍니다.
  • 이 과정을 통해 AI 는 "실제 세상에서도 잘 통하는" 코드를 만드는 법을 스스로 터득하게 됩니다.

4. 왜 이 연구가 중요한가?

• 한 번에 모든 걸 해결: 기존에는 사진만 보는 AI, 점만 보는 AI, 글만 보는 AI 가 따로 있었습니다. 하지만 이 AI 는 세 가지를 모두 섞어서 가장 좋은 결과를 냅니다.
• 실제 세상에서도 잘 작동: 컴퓨터에서 만든 가상의 데이터만 학습한 다른 AI 들은 실제 사진이나 스캔 데이터에 약했지만, 이 AI 는 **실제 세상 (Real-world)**에서도 최고의 성능을 보여줍니다.
• 실패를 줄임: 다른 AI 들은 코드를 만들다가 실행이 안 되는 경우가 많았지만, 이 AI 는 거의 100% 실행 가능한 코드를 만들어냅니다.

5. 결론: "디자인의 민주화"

이 기술은 "누구나 3D 디자이너가 될 수 있게" 합니다.

• 과거: "이걸 만들려면 CAD 전문가를 고용해야 해."
• 현재 (cadrille): "이거 사진 찍어 올리고 '이거 만들어줘'라고 말하면, AI 가 바로 설계도를 짜줘."

마치 마법 지팡이를 휘두르면 원하는 물체가 바로 설계도 형태로 나타나는 것과 같습니다. 이 기술이 발전하면 우리 집의 고장 난 부품이나, 아이디어만 있는 새로운 제품을 누구나 쉽게 3D 모델로 만들어낼 수 있을 것입니다.

---

한 줄 요약:

"cadrille 은 사진, 글, 3D 스캔 데이터를 모두 이해하고, 실수 없이 바로 실행 가능한 3D 설계 코드를 만들어내는 '초지능 3D 디자인 비서'입니다."

기술 요약

1. 문제 정의 (Problem)

기존 CAD 재구성 (CAD Reconstruction) 연구는 주로 단일 입력 모드 (점 구름, 이미지, 또는 텍스트 중 하나) 에 집중되어 있었습니다.

• 한계점: 단일 모드 모델은 특정 입력에 특화되어 있어 일반화 능력이 부족하며, 멀티모달 접근법들은 기존 단일 모드 모델들의 성능을 따라가지 못하거나 품질이 낮았습니다.
• 데이터 불일치: 손으로 만든 (handcrafted) CAD 데이터셋은 작고 다양성이 부족하며, 절차적으로 생성된 (procedurally generated) 데이터로 훈련된 모델은 실제 세계 (real-world) 데이터에 적용 시 성능이 떨어지는 도메인 격차 (domain gap) 문제가 존재했습니다.
• 코드 유효성: 생성된 Python 코드가 실행 가능하지 않거나 (Invalid), CAD 모델이 올바르게 생성되지 않는 경우가 빈번했습니다.

2. 제안 방법론 (Methodology)

저자들은 cadrille이라는 멀티모달 CAD 재구성 모델을 제안하며, 시각 - 언어 모델 (VLM) 을 기반으로 한 2 단계 학습 파이프라인을 도입했습니다.

A. 모델 아키텍처

• 기반 모델: Qwen2-VL-2B 와 같은 사전 훈련된 VLM 을 기반으로 합니다.
• 입력 처리:
  • 텍스트: 기존 임베딩 레이어 사용.
  • 이미지: 기존 비전 인코더 사용.
  • 점 구름 (Point Cloud): CAD-Recode 와 유사하게, 3D 점을 단일 프로젝션 레이어를 통해 임베딩하고 (법선 벡터 미사용), 최단 거리 샘플링 (Furthest Point Sampling) 을 통해 256 개의 점을 추출하여 LLM 에 주입합니다.
• 출력: 실행 가능한 **Python 코드 (CadQuery 라이브러리)**를 생성하여 매개변수화된 B-Rep(경계 표현) 3D 모델을 만듭니다.

B. 2 단계 학습 파이프라인

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):

   • 데이터: 대규모 절차적으로 생성된 CAD 데이터 (CAD-Recode, 약 100 만 개) 와 DeepCAD 데이터셋을 활용합니다.
   • 목적: 모델이 점 구름, 이미지, 텍스트를 모두 처리하고 Python 코드를 생성하는 정책을 학습하게 합니다.
   • 전략: 손으로 만든 데이터와 절차적 데이터를 단순히 혼합하여 학습하는 것은 도메인 불일치로 인해 성능을 저하시킬 수 있으므로, SFT 는 주로 대규모 절차적 데이터에 집중합니다.

2. 강화 학습 미세 조정 (Reinforcement Learning, RL Fine-tuning):

   • 목적: SFT 모델의 일반화 능력을 향상시키고, 생성된 코드의 유효성 (Validity) 을 높이며, 실제 세계 데이터에 적응하게 합니다.
   • 데이터: CAD 시퀀스 (정답 코드) 가 없는 손으로 만든 데이터 (DeepCAD, Fusion360) 나 실제 스캔 데이터 (CC3D) 를 활용합니다. 즉, 정답 레이블이 없어도 3D 메쉬만 있으면 학습 가능합니다.
   • 보상 함수 (Reward Function):
     • IoU (Intersection over Union): 생성된 CAD 모델과 Ground Truth 메쉬 간의 IoU 를 계산 (정밀도 강조).
     • Invalidity Penalty: 코드가 실행되지 않거나 유효하지 않은 경우 큰 패널티를 부여.
   • 알고리즘:
     • DPO (Direct Preference Optimization): 선호도 기반 최적화.
     • Dr. CPPO (Dr. GRPO + CPPO): 온라인 RL 접근법으로, 강건한 신호를 가진 샘플을 선택하여 PPO 목적 함수를 최적화합니다. 이는 오프라인 DPO 보다 더 나은 성능을 보입니다.

3. 주요 기여 (Key Contributions)

1. 첫 번째 멀티모달 SOTA 모델: 점 구름, 이미지, 텍스트를 단일 프레임워크에서 처리하며, 모든 모드에서 기존 단일 모드 최선 (State-of-the-Art) 모델을 능가하는 성능을 달성했습니다.
2. RL 미세 조정의 유효성 입증: CAD 재구성 분야에서 RL 미세 조정 (특히 온라인 RL) 이 생성된 코드의 유효성과 정확도를 획기적으로 개선함을 처음 증명했습니다.
3. 포괄적인 평가: 3 가지 입력 모드와 4 가지 데이터셋 (DeepCAD, Fusion360, CC3D, Omni-CAD) 을 포함하는 10 개의 벤치마크에서 새로운 SOTA 를 기록했습니다. 특히 실제 세계 데이터셋 (CC3D) 에서도 높은 성능을 보였습니다.
4. 효율적인 추론: 테스트 시간 샘플링 (Test-time sampling) 을 사용하지 않고도, RL 을 통해 단일 샘플로 높은 정확도와 낮은 실패율 (Invalidity Ratio) 을 달성하여 추론 효율성을 유지했습니다.

4. 실험 결과 (Results)

• DeepCAD 벤치마크: SFT 모델만으로도 기존 단일 모드 모델들을 능가했습니다. 특히 점 구름 입력 시 Invalidity Ratio (IR) 가 1.1% 에서 0.4% 로, 이미지 입력 시 3.6% 에서 0.5% 로 크게 감소했습니다.
• RL 미세 조정 효과:
  • Dr. CPPO를 적용한 모델은 모든 벤치마크에서 SOTA 를 기록했습니다.
  • CC3D (실제 스캔 데이터): IoU 가 65.0% 로 향상되었고, IR 이 **0.1%**로 거의 0 에 수렴하여 매우 높은 견고성 (Robustness) 을 보였습니다.
  • Fusion360: IoU 가 84.6% 로 향상되었습니다.
• 비교: 기존 CAD-Recode 나 CAD-SIGNet 등의 모델보다 정확도 (IoU) 가 높고, 생성된 코드의 실패율이 현저히 낮았습니다.
• Qualitative: RL 을 거친 모델은 기하학적 세부 사항 (fine details) 을 더 잘 복원하고 더 타당한 3D 형태를 생성했습니다.

5. 의의 및 결론 (Significance)

이 논문은 CAD 재구성 분야에서 멀티모달 학습과 강화 학습의 결합이 어떻게 모델의 일반화 능력과 실용성을 극대화할 수 있는지를 보여줍니다.

• 실용성: 전문 장비 없이 스마트폰 이미지나 간단한 텍스트 설명으로도 정밀한 CAD 모델을 생성할 수 있는 가능성을 열었습니다.
• 학습 패러다임: 대규모 절차적 데이터로 일반화를 학습한 후, 희소하지만 가치 있는 실제 데이터로 RL 을 통해 전문성을 높이는 전략은 CAD 뿐만 아니라 다른 생성 모델 분야에도 적용 가능한 중요한 시사점을 제공합니다.
• 오픈 소스: 코드와 모델은 공개되어 (GitHub) 향후 연구와 응용 개발의 기반을 마련했습니다.

요약하자면, cadrille은 다양한 입력 소스를 통합하고 RL 을 통해 코드의 유효성과 정확도를 동시에 해결함으로써, CAD 재구성 기술의 새로운 기준을 제시한 획기적인 연구입니다.