💻 computer science

CADReasoner: Iterative Program Editing for CAD Reverse Engineering

이 논문은 입력 형상과 예측된 형상 간의 기하학적 오차를 기반으로 CadQuery 프로그램을 반복적으로 수정하여 CAD 역설계를 수행하는 새로운 모델 'CADReasoner'를 제안하며, 이를 통해 기존 방법들보다 정밀한 3D 모델 재구성을 달성함을 보여줍니다.

원저자: Soslan Kabisov, Vsevolod Kirichuk, Andrey Volkov, Gennadii Savrasov, Marina Barannikov, Anton Konushin, Andrey Kuznetsov, Dmitrii Zhemchuzhnikov

게시일 2026-04-01

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Soslan Kabisov, Vsevolod Kirichuk, Andrey Volkov, Gennadii Savrasov, Marina Barannikov, Anton Konushin, Andrey Kuznetsov, Dmitrii Zhemchuzhnikov

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **'CADReasoner'**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 마치 3D 스캐너로 찍은 흐릿한 사진을 보고, **정교한 공학 설계도 (CAD)**를 다시 그리는 일을 합니다.

기존의 AI 들은 한 번에 답을 내놓으려다 보니, 작은 디테일을 놓치거나 엉뚱한 모양을 만들어내곤 했습니다. 하지만 CADReasoner 는 인간 엔지니어처럼 '수정 - 확인 - 다시 수정'을 반복하며 점점 더 완벽한 설계도를 만들어냅니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제 상황: "흐릿한 사진"과 "완벽한 설계도"의 차이

상상해 보세요. 어떤 오래된 장난감을 3D 스캐너로 찍었습니다. 하지만 스캐너가 고장 난 것처럼, 찍힌 데이터는 구멍이 나있고, 표면이 거칠며, 모양이 약간 찌그러져 있습니다. (이를 '스캔 데이터'라고 합니다.)

이제 우리는 이 ** imperfect(불완전한) 스캔 데이터**를 보고, 공장에서 찍어낸 것처럼 **매끄럽고 정확한 설계도 (CAD)**를 다시 만들어야 합니다.

기존 AI 들의 방식: 스캔 데이터를 한 번 보고 "아, 이게 자동차구나!"라고 생각한 뒤, 한 번에 설계도를 그려냅니다. 하지만 구멍이 난 부분을 어떻게 채워야 할지 몰라, 엉뚱한 모양을 그리거나 중요한 나사 구멍을 빼먹는 경우가 많습니다.
CADReasoner 의 방식: "일단 대충 그려보자. 자, 그려진 모양을 스캔 데이터와 비교해 볼까? 어? 여기가 튀어나왔네? 저기는 구멍이 없네? 자, 그 부분을 고쳐서 다시 그려보자." 이 과정을 몇 번이고 반복하며 완벽하게 만듭니다.

2. 핵심 아이디어: "거울을 보며 고치는 엔지니어"

이 시스템의 가장 큰 특징은 스스로를 고칠 수 있다는 점입니다.

비유: 그림을 그리는 화가가 있다고 칩시다.
- 기존 AI: 캔버스에 한 번 붓질을 하고 "완성!"이라고 외칩니다.
- CADReasoner: 그림을 그릴 때마다 **거울 (스캔 데이터)**을 봅니다. 거울 속의 실제 대상과 자신이 그린 그림이 어디가 다른지 (예: 코가 너무 크네, 눈이 한쪽이 없네) 정확하게 비교합니다. 그리고 그 차이를 보고 **코딩 언어 (CadQuery)**로 된 설계도를 직접 수정합니다.

이때 AI 는 두 가지 눈을 사용합니다.

멀티뷰 이미지 (여러 각도의 사진): 전체적인 실루엣이 맞는지, 큰 틀이 어떻게 생겼는지 봅니다.
포인트 클라우드 (점들의 뭉치): 표면의 미세한 높이 차이, 구멍의 깊이 등 정밀한 거리를 재서 확인합니다.

이 두 가지 정보를 합쳐서 "여기는 1mm 더 들어가고, 저기는 2mm 더 튀어나와야 해"라고 계산하며 코드를 수정합니다.

3. 훈련 방법: "가상 현실 (VR) 스캐너"를 이용한 연습

실제 현실에서 물건을 스캔하면 잡음 (노이즈) 이 많고 구멍이 생기기 마련입니다. 하지만 기존 AI 들은 깨끗한 데이터만 보고 훈련해서, 실제 더러운 데이터를 보면 당황했습니다.

CADReasoner 는 **가상의 스캐너 (Scan-Simulation)**를 만들어 훈련시켰습니다.

비유: 요리사가 실제 식당에서 일하기 전에, 인위적으로 재료를 태우거나 소금을 너무 많이 넣는 시뮬레이션을 반복해서 연습한 것과 같습니다.
이렇게 **불완전한 데이터 (구멍, 잡음, 찌그러짐)**를 가진 상황에서도 어떻게 설계도를 고쳐야 하는지 배웠기 때문에, 실제 현장에서도 아주 잘 작동합니다.

4. 결과: "점점 더 똑똑해지는" 수정 과정

실험 결과, CADReasoner 는 다음과 같은 성과를 냈습니다.

한 번에 (t=1): 처음에 그린 그림도 꽤 나쁘지 않습니다.
수정 5 번 후 (t=5): 5 번의 수정 과정을 거치면, 완벽에 가까운 설계도가 나옵니다. 작은 나사 구멍부터 복잡한 곡선까지, 기존 AI 들이 놓치던 디테일까지 모두 찾아냅니다.
오류 감소: 설계도가 실행 불가능한 오류 (예: 구멍이 뚫린 채로 고체로 만들어짐) 를 만드는 경우가 거의 사라졌습니다.

5. 요약: 왜 이것이 중요한가요?

이 기술은 3D 스캐너로 찍은 낡은 기계 부품이나 유물을 디지털화할 때, 사람이 일일이 수정하지 않아도 AI 가 스스로 완벽하게 복원해 줄 수 있음을 보여줍니다.

마치 초능력을 가진 엔지니어가, 흐릿한 사진을 보며 "여기 고쳐야지, 저기 고쳐야지"라고 스스로 코드를 수정하며 1 분 만에 완벽한 설계도를 만들어내는 것과 같습니다. 이는 공학, 제조업, 그리고 문화재 보존 분야에서 혁신을 일으킬 수 있는 중요한 기술입니다.

1. 문제 정의 (Problem Definition)

배경: 컴퓨터 지원 설계 (CAD) 는 현대 공학의 핵심이지만, 고품질 부품 제작에는 여전히 많은 전문가의 노력이 필요합니다.
과제: 원시 3D 스캔 데이터 (점군, 메쉬 등) 로부터 정밀한 CAD 모델을 복원하는 CAD 역설계 (Reverse Engineering) 는 컴퓨터 비전과 그래픽 분야에서 근본적이면서도 어려운 문제입니다.
기존 방법의 한계:
- 단일 회귀 (Single-pass): 기존 AI 시스템은 대부분 한 번의 예측으로 끝내며, 미세한 기하학적 세부 사항을 놓치거나 노이즈가 있는 스캔 데이터에서 오류를 수정하지 못합니다.
- 반복적 개선 부재: 인간 엔지니어는 설계와 타겟을 비교하며 오차를 반복적으로 수정하지만, 기존 방법들은 이러한 '수정 루프'를 효과적으로 구현하지 못합니다.
- 현실성 부족: 대부분의 공개 데이터셋은 이상적인 CAD 모델에서 렌더링된 데이터를 사용하며, 실제 스캔에서 발생하는 노이즈, 가려짐 (occlusion), 결손 (missing patches) 등을 반영하지 못합니다.
- 강화학습 (RL) 의 한계: 기존 RL 기반 방법은 기하학적 보상을 스칼라 값으로만 제공하여 신호가 거칠며, 기존 행동을 재가중치 할 뿐 새로운 작업 지식을 주입하지 못한다는 분석이 있습니다.

2. 제안 방법론 (Methodology)

저자들은 CADReasoner를 제안하며, 이는 입력 형상과 예측된 형상 간의 기하학적 불일치 (discrepancy) 를 기반으로 예측을 반복적으로 정제하는 폐쇄 루프 (closed-loop) 시스템입니다.

A. 핵심 아키텍처 및 프로세스

반복적 프로그램 편집 (Iterative Program Editing):
- 모델은 실행 가능한 CadQuery (Python 기반) 코드를 생성합니다.
- 생성된 코드를 실행하여 메쉬를 렌더링한 후, 이를 다시 입력으로 사용하여 다음 단계에서 코드를 수정 (Self-editing) 합니다.
- 각 단계 $t$ 에서 $C_t = f_\theta(E(T, S_{t-1}), C_{t-1})$ 를 계산하며, 여기서 $E$ 는 타겟 $T$ 와 이전 렌더 $S_{t-1}$ 간의 차이를 인코딩한 정보입니다.
다중 모달리티 퓨전 (Multi-modal Fusion):
- 멀티뷰 오버레이 (Multi-view Overlay): 타겟과 예측 메쉬를 8 개의 시점 (6 개 정면, 2 개 등각) 에서 겹쳐 렌더링합니다. (녹색: 타겟, 붉은색: 예측, 노란색: 겹치는 부분)
- 점군 (Point Clouds): 타겟과 예측 메쉬 표면에서 샘플링된 점들에 대해 최단 거리 벡터 (Nearest-surface offsets) 를 계산하여 국소적인 기하학적 오차를 정량화합니다.
- 이 두 가지 정보는 상호 보완적으로 사용되어 모델이 전역적 불일치와 국소적 오차 모두를 파악하도록 합니다.
스캔 시뮬레이션 프로토콜 (Scan-Simulation Protocol):
- 현실성 확보: 실제 스캔의 결함 (노이즈, 결손, 가려짐 등) 을 모사하기 위해 가상 3D 스캐닝 알고리즘을 개발했습니다.
- 학습 및 평가: 이 시뮬레이션 프로토콜을 학습과 평가 모두에 적용하여, 모델이 실제 역설계 파이프라인과 유사한 조건에서 훈련되고 검증되도록 합니다.
훈련 전략 (Curriculum Learning):
- Stage A: 완전한 데이터셋에서 1 단계 (t=1) 예측을 학습 (Seed).
- Stage B & C: 모델이 생성한 imperfect 한 예측을 기반으로 2 단계, 3 단계 이상으로 점진적으로 학습 범위를 확장합니다. 이는 모델이 자신의 오류를 수정하는 능력을 학습하도록 유도합니다.
- 모델: Qwen2-VL 2B 를 백본으로 사용하며, 모든 단계에서 동일한 모델 가중치를 공유합니다.

3. 주요 기여 (Key Contributions)

CADReasoner 프레임워크: 기하학적 피드백을 활용한 반복적 추론 및 자기 수정 (Self-correction) 을 수행하는 새로운 CAD 역설계 프레임워크를 제안했습니다.
현실성 있는 스캔 데이터 활용: 학습과 평가 모두에 '스캔 시뮬레이션'을 도입하여, 실제 물리적 부품 스캔의 노이즈와 결손을 반영한 더 현실적인 역설계 환경을 구축했습니다.
성능 기록 달성: DeepCAD, Fusion 360, MCB 벤치마크에서 청결한 데이터 (clean) 와 스캔 시뮬레이션 데이터 (scan-sim) 모두에서 기존 최첨단 (SOTA) 방법들을 능가하는 결과를 달성했습니다. 특히 스캔 결함이 있는 어려운 상황에서 큰 개선을 보였습니다.

4. 실험 결과 (Results)

벤치마크: DeepCAD, Fusion 360, MCB (5k 서브셋)
평가 지표: Chamfer Distance (CD, 낮을수록 좋음), IoU (높을수록 좋음), Invalid Rate (IR, 낮을수록 좋음).
주요 성과:
- 정확도 향상: 5 단계 반복 (t=5) 후, DeepCAD 와 Fusion 360 에서 CD 와 IR 을 크게 개선하고 IoU 를 향상시켰습니다.
- 스캔 데이터 강건성: 스캔 시뮬레이션 조건에서 기존 방법들 (CAD-Recode, cadrille 등) 은 성능이 급격히 저하되었으나, CADReasoner 는 청결한 데이터와 유사한 성능을 유지하며 **IR(무효 생성률) 을 0%**에 가깝게 유지했습니다.
- 모달리티 효과: 이미지만 사용하는 경우보다 점군 (Point Cloud) 과 이미지를 결합한 크로스-모달 (Cross-modal) 접근법이 MCB 와 같은 복잡한 데이터셋에서 더 강력한 성능을 보였습니다.
- 샘플링 전략: 탐욕적 (Greedy) 디코딩보다 확률적 빔 서치 (Stochastic Beam Search) 를 적용했을 때 더 다양한 수정 경로를 탐색하여 최종 정확도가 더욱 향상되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

패러다임 전환: CAD 역설계를 '단일 예측'이 아닌 '반복적 프로그램 편집'의 문제로 재정의했습니다. 이는 인간 엔지니어의 설계 수정 프로세스를 AI 에 효과적으로 모방한 사례입니다.
기하학적 추론의 통합: RL 기반의 스칼라 보상 대신, 명시적인 기하학적 차이 (오버레이 및 거리 벡터) 를 직접적인 학습 신호로 사용하여 모델이 스스로 코드를 수정하는 능력을 학습하게 했습니다.
실무 적용 가능성: 실제 스캔 데이터의 불완전성을 고려한 훈련 방식을 통해, 실제 산업 현장에서의 CAD 역설계 자동화 가능성을 크게 높였습니다.

이 논문은 AI 기반 CAD 생성 분야에서 반복적 자기 수정 (Iterative Self-correction) 과 현실적인 스캔 데이터 시뮬레이션이 결합될 때, 기존 방법론을 압도하는 성능을 발휘할 수 있음을 입증했습니다.