BrepCoder: A Unified Multimodal Large Language Model for Multi-task B-rep Reasoning

이 논문은 산업 표준인 경계 표현 (B-rep) 을 구조적 코드로 변환하고 역공학 기반의 2 단계 학습 전략을 통해 다양한 CAD 태스크를 수행하는 범용 멀티모달 대형 언어 모델인 'BrepCoder'를 제안합니다.

핵심

🛠️ 브렙코더 (BrepCoder): 3D 디자인의 '만능 통역사'

이 논문은 3D 디자인 (CAD) 분야에서 혁신적인 AI 모델인 **'브렙코더 (BrepCoder)'**를 소개합니다. 기존에 존재하던 복잡한 문제들을 해결하고, 하나의 AI가 다양한 디자인 작업을 모두 해낼 수 있게 만든 기술입니다.

이 내용을 마치 마법 같은 요리사와 건축가의 이야기처럼 쉽게 풀어보겠습니다.

---

1. 기존 문제: "일꾼은 하나, 일은 여러 개" 🤯

과거의 CAD AI 들은 마치 한 가지 일만 잘하는 전문 요리사들 같았습니다.

• **디자인을 다시 만드는 일 (역공학)**을 하려면 '역공학 요리사'를 고용해야 했고,
• **잘못된 부분을 고치는 일 (오류 수정)**을 하려면 '수리 요리사'를 따로 불러야 했습니다.
• 게다가 이 요리사들은 **점 (Point Cloud)**이나 사진 (Image) 같은 '대충 그린 스케치'만 보고 일을 했습니다. 하지만 실제 공장에서 쓰이는 정밀한 도면 (B-rep) 을 제대로 이해하지 못해, 정교한 작업을 하기가 힘들었습니다.

문제점: 새로운 일이 생기면 새로운 요리사를 새로 뽑고 훈련시켜야 해서 비효율적이고, 서로의 지식을 공유하지 못했습니다.

---

2. 브렙코더의 등장: "모든 일을 하는 천재 통역사" 🌟

브렙코더는 하나의 AI로 모든 일을 해결합니다. 그 비결은 두 가지입니다.

① 언어의 변환: "도면을 코딩 언어로 번역하기" 📝

기존 AI 들은 3D 도면을 '점'이나 '이미지'로만 보았습니다. 하지만 브렙코더는 **3D 도면 (B-rep)**을 파이썬 (Python) 같은 컴퓨터 코드로 변환합니다.

• 비유: 마치 복잡한 건축 도면을 보고, "벽을 3 미터 올리고, 창문을 2 개 달아라"라고 **명확한 명령어 (코드)**로 번역하는 것입니다.
• 효과: AI 가 이미 알고 있는 '프로그래밍 능력'을 활용해서, 3D 모양이 어떻게 만들어졌는지 그 **논리 (로직)**를 완벽하게 이해하게 됩니다.

② 두 단계 훈련: "일단 배우고, 그다음 활용하기" 🎓

브렙코더는 두 단계로 똑똑해집니다.

• 1 단계 (역공학 훈련): 3D 도면을 보고 그걸 만든 **코드 (명령어)**를 다시 만들어내는 훈련을 합니다.
  • 비유: 완성된 케이크를 보고 "어떤 재료를 어떤 순서로 섞었지?"를 추론하며 레시피를 다시 쓰는 훈련입니다. 이를 통해 AI 는 3D 모양과 그 뒤에 숨겨진 디자인 논리를 깊이 있게 체득합니다.
• 2 단계 (다양한 업무 적용): 이제 배운 논리를 바탕으로 다른 일을 시킵니다.
  • 작업 완성: "이 부분만 비워줘"라고 하면 나머지 부분을 채워줍니다.
  • 오류 수정: "여기 명령이 틀렸어"라고 하면 고쳐줍니다.
  • 질문 답변: "이 부품은 몇 개인가?"라고 물으면 답해줍니다.

---

3. 왜 이것이 중요한가요? 🚀

• 단 하나의 모델로 모든 일 해결: 이제 별도의 모델을 만들지 않아도 됩니다. 하나의 브렙코더가 설계, 수정, 분석, 질의응답을 모두 해냅니다.
• 정밀함: 사진이나 점만 보고 대충 추측하는 게 아니라, 공장에서 쓰이는 **정밀한 도면 (B-rep)**을 직접 읽기 때문에 오차가 매우 적습니다.
• 논리적 이해: 단순히 "모양이 비슷하다"가 아니라, "왜 이렇게 만들었는지" 그 설계 의도를 이해합니다.

4. 요약: 브렙코더가 가져온 변화 📝

기존 방식 (구식)	브렙코더 (신개념)
일꾼: 일마다 다른 AI 필요	일꾼: 하나만 있으면 모든 일 가능
재료: 사진, 점 (대략적)	재료: 정밀한 도면 + 코드 (정확함)
학습: 각자 따로 학습	학습: 먼저 논리를 배우고, 그걸로 모든 일 수행
결과: 가끔 틀림, 수정 어려움	결과: 논리적으로 정확함, 오류 자동 수정

결론적으로, 브렙코더는 3D 디자인 분야에서 **"모든 것을 이해하고, 모든 것을 만들어낼 수 있는 만능 AI 비서"**를 탄생시킨 것입니다. 앞으로는 복잡한 3D 디자인 작업도 이 AI 비서와 대화하듯 쉽게 진행될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

기존의 컴퓨터 지원 설계 (CAD) 분야 딥러닝 연구는 다음과 같은 한계를 가지고 있었습니다:

• 작업 특화 모델의 비효율성: 대부분의 기존 접근법은 각 작업 (역공학, 모델 완성, 오류 수정 등) 마다 별도의 아키텍처를 필요로 합니다. 새로운 작업이 추가될 때마다 구조를 수정해야 하므로 확장성이 떨어지고, 작업 간 지식 공유가 어렵습니다.
• 데이터 표현의 한계: 기존 연구들은 주로 점군 (Point Cloud) 이나 이미지와 같은 표현에 집중했습니다. 그러나 산업 표준인 경계 표현 (Boundary Representation, B-rep) 을 직접적으로 활용하는 범용 모델은 부족했습니다.
• 기하학적 논리 부재: 기존 B-rep 기반 모델들은 자연어 캡션과 정렬하여 기하학적 특징을 설명하는 데 그쳤습니다. 이는 최종 형태의 이해에 머무르며, 3D 모델을 구성하는 구체적인 설계 논리 (Design Logic) 와 모델링 순서를 파악하지 못해 복잡한 엔지니어링 추론이 필요한 작업에는 한계가 있었습니다.

2. 제안 방법론 (Methodology)

저자들은 BrepCoder라는 통합 멀티모달 대규모 언어 모델 (MLLM) 을 제안했습니다. 이는 B-rep 데이터를 입력으로 받아 다양한 CAD 작업을 수행하며, 다음과 같은 핵심 전략을 사용합니다.

A. 모달리티 정렬 (Multimodal Alignment)

• Python 유사 CAD 코드 변환: 기존 이산적인 정수 토큰 대신, CAD 모델링 시퀀스를 Python 유사 코드 (Python-like CAD Code) 로 변환합니다. 이를 통해 LLM 의 강력한 프로그래밍 추론 능력을 활용하여 복잡한 설계 논리를 직접 해석할 수 있게 합니다.
• B-rep 인코딩: B-rep 데이터를 UV-Net 을 기반으로 한 그래프 신경망 (GNN) 을 통해 인코딩합니다. 이는 표면 (Surface) 을 노드로, 인접 관계를 엣지로 표현하여 국소적 기하학적 세부 사항과 전체적인 위상적 맥락을 모두 포착합니다.
• CoCa 기반 정렬: B-rep 특징과 CAD 코드를 정렬하기 위해 CoCa (Contrastive Captioner) 프레임워크를 적용합니다.
  • Contrastive Loss: B-rep 과 CAD 코드의 전역적 정렬을 학습합니다.
  • Captioning Loss: B-rep 특징을 기반으로 구체적인 CAD 코드를 생성하도록 학습합니다.

B. 2 단계 학습 전략 (Two-Stage Training Strategy)

1. Stage 1: 역공학 (Reverse Engineering) 프리트레이닝
   • B-rep 입력을 받아 해당 3D 모델을 생성하는 Python 유사 CAD 코드를 생성하는 작업을 수행합니다.
   • 이를 통해 모델은 기하학적 특징과 설계 논리 (모델링 순서, 파라미터 등) 간의 상관관계를 내재화합니다.
2. Stage 2: 다운스트림 작업 적응 (Multi-task Adaptation)
   • Stage 1 에서 학습된 설계 논리를 기반으로 다양한 작업으로 파인튜닝합니다.
   • 작업 예시:
     • 모델 완성 (Completion): 일부만 주어진 코드를 B-rep 정보를 바탕으로 완성.
     • 오류 수정 (Error Correction): 논리적 모순이 있거나 파라미터가 잘못된 코드를 B-rep 과 비교하여 수정.
     • CAD-QA: 3D 모델의 속성이나 설계 의도에 대한 질문에 답변.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 BrepCoder 제안: B-rep 을 핵심 입력 모달리티로 채택하여 단일 MLLM 아키텍처 내에서 다양한 CAD 작업을 수행하는 최초의 범용 프레임워크입니다.
2. 코드 기반 설계 논리 학습: B-rep 을 Python 유사 코드로 정렬하고, 역공학 태스크를 통해 모델이 설계 논리를 내재화하도록 하는 2 단계 학습 전략을 도입했습니다.
3. 높은 일반화 성능: 고도의 엔지니어링 추론이 필요한 역공학, 완성, 오류 수정, CAD-QA 등 다양한 복잡한 작업에서 기존 최첨단 모델보다 우수한 성능을 입증했습니다.

4. 실험 결과 (Results)

DeepCAD 데이터셋 및 SGP-Bench 를 기반으로 한 실험 결과는 다음과 같습니다:

• 역공학 (Reverse Engineering):
  • Chamfer Distance (CD): 0.464 (기존 최강 모델 CADCL 의 0.972 대비 약 52% 개선).
  • 파라미터 정확도 (ACC_param): 82.01% 로 미세한 기하학적 특징을 정밀하게 파라미터로 변환하는 능력을 입증.
  • 유효성 (Invalid Ratio): 0.86% 로, 생성된 모델이 실행 가능한 CAD 파일일 확률이 매우 높음.
  • 참고: 명령어 정확도 (ACC_cmd) 는 89.34% 로 다소 낮았으나, 이는 동일한 3D 형태를 다양한 명령어 순서나 개수로 표현할 수 있는 '모델링 모호성' 때문이며, 결과적인 3D 형상은 Ground Truth 와 거의 동일함을 확인했습니다.
• 다운스트림 작업:
  • 모델 완성: 기존 텍스트 기반 모델 (CAD-Llama) 대비 높은 정확도 (ACC_cmd 92.69%, ACC_param 87.94%) 달성. B-rep 이 텍스트보다 정밀한 수치 및 위상 정보를 제공하기 때문.
  • 오류 수정: 상용 MLLM(Gemini, GPT) 및 기존 이미지 기반 모델 (ReCAD) 대비 압도적인 성능 (ACC_param 93.74%, CD 0.335). 2D 이미지의 한계를 넘어 B-rep 의 완전한 위상 정보를 활용함.
  • CAD-QA: 1.5B 파라미터의 소형 모델임에도 불구하고, 7B~2.7B 파라미터의 점군 기반 모델들과 유사한 정확도 (79%) 를 기록.

5. 의의 및 결론 (Significance)

• 산업 표준 활용: 산업 현장에서 표준으로 사용되는 B-rep 포맷을 직접적으로 이해하고 처리할 수 있는 AI 모델을 제공함으로써, 실제 CAD 자동화 및 설계 보조 도구로의 적용 가능성을 높였습니다.
• 설계 논리 이해: 단순한 형태 인식을 넘어, "어떻게 그 모양이 만들어졌는지"에 대한 설계 논리와 절차적 지식을 학습함으로써, 고차원적인 엔지니어링 추론이 가능한 범용 CAD 에이전트의 가능성을 제시했습니다.
• 확장성: 단일 모델로 다양한 작업을 처리할 수 있어, 새로운 작업이 추가될 때마다 모델을 재구축할 필요 없이 유연하게 대응할 수 있는 확장 가능한 아키텍처를 제시했습니다.

이 논문은 CAD 분야에 있어 멀티모달 LLM 과 B-rep 데이터의 성공적인 융합을 보여주며, 지능형 설계 자동화의 새로운 방향성을 제시한다는 점에서 의의가 큽니다.