Pointer-CAD: Unifying B-Rep and Command Sequences via Pointer-based Edges & Faces Selection

이 논문은 B-Rep 기하학적 정보와 포인터 기반 엔티티 선택 메커니즘을 통합하여 기존 명령어 시퀀스 방식의 한계를 극복하고 복잡한 CAD 모델 생성의 정확도를 획기적으로 향상시킨 'Pointer-CAD' 프레임워크를 제안합니다.

핵심

1. 기존 방식의 문제: "눈이 먼 건축가"와 "오류가 쌓이는 사다리"

기존의 AI CAD 생성 기술들은 건축가에게 **"1 단계: 10cm 정사각형을 그리고, 2 단계: 5cm 위로 당겨라"**라고 숫자만 나열한 지시서 (명령어 시퀀스) 를 주었습니다.

하지만 이 방식에는 두 가지 치명적인 문제가 있었습니다.

• 문제 1: "어느 모서리에?"를 못 알아듣는 건축가

  • 상황: 건축가에게 "네모난 기둥의 네 모서리 중 하나를 둥글게 갈아라 (필렛)"라고 말하면, AI 는 "어느 모서리죠? 앞쪽인가요, 뒤쪽인가요?"라고 묻지 못하고 엉뚱한 곳이나 아예 못 그립니다.
  • 비유: 마치 "저기 있는 그 벽을 칠해줘"라고 말했는데, AI 가 "어느 벽이요?"라고 못 알아듣고 아무 벽이나 칠하거나 아예 칠을 못 하는 상황입니다. 기존 방식은 특정 면이나 모서리를 가리키는 '손가락' 기능이 없었습니다.

• 문제 2: 숫자 오차로 인한 붕괴

  • 상황: AI 가 "10.001cm"를 "10cm"로 잘못 계산하거나, "10.002cm"를 "10.0cm"로 반올림하는 과정에서 미세한 오차가 생깁니다.
  • 비유: 사다리를 한 칸씩 올라가는데, 매 칸마다 1mm 씩 미끄러지면, 100 칸을 올라가면 바닥에서 10cm 나 떨어진 엉뚱한 곳에 도착하게 됩니다. CAD 도면에서는 이 작은 오차가 쌓여 도면이 뚫리거나 (물기가 새는 것), 모양이 찌그러지는 '위상적 오류'를 만듭니다.

---

2. Pointer-CAD 의 해결책: "손가락을 가리키는 지시"

이 논문은 Pointer-CAD라는 새로운 방식을 제안합니다. 핵심은 **'포인터 (Pointer, 가리키는 손가락)'**를 도입한 것입니다.

• 해결책 1: "이 모서리!"라고 직접 가리키기

  • AI 가 도면을 그릴 때, 숫자만 나열하는 게 아니라 **"이전에 그린 기둥의 **이 모서리 (화살표)**를 선택해서 둥글게 갈아라"**라고 지시합니다.
  • 비유: 건축가에게 "그 벽을 칠해"라고 하는 대신, **"이 벽 (손가락으로 가리킴) 을 칠해"**라고 직접 가리켜 주는 것입니다. AI 는 이미 그려진 3D 모델 (B-Rep) 에서 정확한 모서리나 면을 '클릭'해서 선택할 수 있게 됩니다. 그래서 복잡한 모서리 다듬기 (채퍼) 나 둥글게 만들기 (필렛) 가 가능해졌습니다.

• 해결책 2: 오차 없는 '자석' 부착

  • 숫자를 직접 계산해서 그리는 대신, AI 는 이미 있는 모서리에 "자석처럼 딱 붙여" 그립니다.
  • 비유: 숫자로 "10cm 이동"을 계산하다 보면 오차가 생기지만, "기존 벽에 딱 붙여서 그리라"고 하면 오차가 0 이 됩니다. AI 가 실수해서 숫자를 조금 틀려도, 가리킨 모서리에 정확히 맞춰 그리기 때문에 도면이 뚫리거나 찌그러지는 일이 사라집니다.

---

3. 어떻게 작동할까요? (단계별 건축)

Pointer-CAD 는 한 번에 다 그리는 게 아니라, 한 단계씩 차근차근 쌓아 올립니다.

1. 지시 받기: "사각형 판을 만들고 그 위에 정육면체를 올려라"라고 입력받습니다.
2. 현재 상태 확인: AI 는 지금까지 그린 판 (3D 모델) 을 보고, "어디에 그릴지"를 파악합니다.
3. 가리키기 (Pointer): "정육면체를 이 판의 윗면에 그려라"라고 판의 윗면을 가리키는 손가락을 사용합니다.
4. 그리기: 판의 윗면에 정확히 맞춰 정육면체를 그리고, 다시 "이 정육면체의 네 모서리를 둥글게 해라"라고 모서리를 가리켜 둥글게 만듭니다.

이 과정을 반복하며 복잡한 도면도 정확하게 완성합니다.

---

4. 왜 이것이 중요한가요?

• 정밀한 제어: 이제 AI 는 단순한 블록 쌓기가 아니라, 실제 엔지니어처럼 "이 모서리를 다듬고, 저 구멍을 뚫고"라는 복잡한 작업을 할 수 있습니다.
• 오류 감소: 숫자 계산 실수로 인한 도면 뚫림 현상이 거의 사라져, 실제 공장에서 바로 쓸 수 있는 수준의 도면을 만들 수 있게 되었습니다.
• 데이터의 힘: 연구팀은 약 57 만 개의 CAD 모델을 분석하고, AI 가 이해할 수 있도록 자연어 설명을 달아주어 훈련시켰습니다. (마치 수천 권의 건축 매뉴얼을 AI 에게 가르친 것과 같습니다.)

요약

Pointer-CAD는 AI 에게 "숫자 계산"만 시키지 않고, "이미 그려진 도면을 보고 손가락으로 가리키게" 함으로써, 복잡한 3D 도면을 훨씬 더 정확하고 자연스럽게 그릴 수 있게 만든 혁신적인 기술입니다.

이제 AI 는 "이 모서리"를 정확히 알아보고, "이 면"에 맞춰 그림으로써, 우리가 상상하는 복잡한 기계 부품이나 건축물을 자동으로 설계할 수 있는 시대가 열린 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

컴퓨터 지원 설계 (CAD) 모델 생성은 엔지니어링 및 제조 분야에서 필수적이지만, 수동 입력에 의존하여 시간과 노력이 많이 소요됩니다. 최근 대규모 언어 모델 (LLM) 을 활용한 CAD 생성 연구가 활발해졌으나, 기존 방법론에는 다음과 같은 치명적인 한계가 존재했습니다.

• 엔티티 선택 (Entity Selection) 의 부재: 기존 명령어 시퀀스 (Command Sequence) 기반 방법들은 면 (Face) 이나 모서리 (Edge) 와 같은 특정 기하학적 엔티티를 명시적으로 선택하는 기능을 지원하지 못했습니다. 이로 인해 채퍼 (Chamfer) 나 필렛 (Fillet) 과 같이 기존 형상을 수정하는 복잡한 편집 작업이 불가능하거나 부정확했습니다.
• 양자화 오차 (Quantization Error): 연속적인 좌표나 치수를 이산적인 토큰 (Discrete Tokens) 으로 변환하는 과정에서 발생하는 오차로 인해, 스케치 평면이 목표 면과 정렬되지 않거나 새로운 곡선이 기존 모서리에 스냅 (Snap) 되지 않는 등 위상적 오류 (Topological Errors) 가 발생하여 모델의 무결성이 훼손되었습니다.

2. 제안 방법론: Pointer-CAD (Methodology)

저자들은 이러한 한계를 극복하기 위해 Pointer-CAD라는 새로운 LLM 기반 CAD 생성 프레임워크를 제안했습니다. 핵심 아이디어는 B-Rep(경계 표현) 모델의 기하학적 정보를 순차적 모델링에 명시적으로 통합하는 포인터 기반 명령어 시퀀스 (Pointer-based Command Sequence) 입니다.

• 포인터 기반 표현 (Pointer-based Representation):
  • 기존 토큰 (Label, Value) 에 더해 Pointer 토큰을 도입했습니다.
  • LLM 이 특정 기하학적 엔티티 (면 또는 모서리) 를 선택해야 하는 작업 (예: 채퍼 적용) 이 필요할 때, LLM 은 해당 엔티티의 ID 를 직접 예측하는 포인터를 출력합니다.
  • 이를 통해 연속적인 좌표 회귀 (Regression) 를 이산적인 선택 문제로 변환하여 양자화 오차를 획기적으로 줄이고, 정밀한 스냅 (Snapping) 을 가능하게 합니다.
• 다단계 생성 전략 (Multi-step Generation Strategy):
  • 전체 모델을 한 번에 생성하는 것이 아니라, 스케치 - 압출 (Sketch-Extrude), 채퍼, 필렛과 같은 개별 단계로 분해합니다.
  • 각 단계에서 LLM 은 텍스트 설명과 이전 단계까지 생성된 B-Rep 기하학을 조건으로 받아 다음 단계를 생성합니다.
• B-Rep 인코딩 및 GNN 활용:
  • 생성된 B-Rep 모델을 면 인접 그래프 (Face-Adjacency Graph) 로 표현합니다.
  • 그래프 신경망 (GNN) 을 사용하여 면과 모서리 간의 국소적 기하학적 특징을 집계하고, 이를 LLM 의 입력으로 통합하여 공간적 관계를 이해하도록 합니다.
• 데이터 구축 (Dataset Construction):
  • OmniCAD 데이터셋을 기반으로 채퍼와 필렛 작업을 포함하도록 확장하고, Qwen2.5-VL 을 활용하여 다중 뷰 렌더링에서 자연어 설명을 생성하는 자동 주석 파이프라인을 구축했습니다. 이를 통해 약 57 만 5 천 개의 고품질 CAD 모델 데이터셋 (Recap-OmniCAD+) 을 확보했습니다.

3. 주요 기여 (Key Contributions)

1. 엔티티 선택이 가능한 포인터 기반 명령어 시퀀스: 채퍼와 필렛과 같은 고급 편집 작업을 자동 생성 (Autoregressive) 방식으로 가능하게 했으며, 좌표 양자화로 인한 오차를 최소화했습니다.
2. Pointer-CAD 프레임워크: 텍스트 설명과 B-Rep 기하학을 결합한 다단계 생성 전략을 도입하여, 복잡한 기하학적 구조를 정확하게 생성할 수 있는 LLM 기반 시스템을 개발했습니다.
3. 대규모 고품질 데이터셋: 기존 데이터셋에 없던 복잡한 편집 작업 (채퍼, 필렛) 을 포함한 57 만 5 천 개의 CAD 모델 데이터셋을 구축하고, 이를 통해 모델의 성능을 검증했습니다.

4. 실험 결과 (Results)

Pointer-CAD 는 DeepCAD, Text2CAD, CADmium 등 기존 최첨단 방법론들과 비교하여 압도적인 성능을 보였습니다.

• 정확도 및 위상적 일관성:
  • Segment Error (SegE): 기존 방법들에 비해 위상적 오류가 극도로 낮아졌으며, 특히 작은 양자화 오차로 인한 연결성 문제를 해결했습니다.
  • FluxEE (Water-tightness): 고체 모델의 밀폐성 (Watertightness) 과 포획 품질이 크게 향상되었습니다.
  • 채퍼/필렛 작업: 기존 방법들이 이러한 작업을 처리하지 못하거나 실패한 반면, Pointer-CAD 는 높은 정확도로 성공적으로 수행했습니다.
• 모델 효율성:
  • 0.5B (05 억 파라미터) 크기의 작은 모델로도 7B 크기의 CADmium 보다 우수한 성능을 달성하여, 효율적인 생성이 가능함을 입증했습니다.
• 정성적 평가:
  • 복잡한 형상 (구멍, 필렛, 다중 압출 등) 을 포함하는 모델에서도 Ground Truth 와 매우 유사한 기하학적 구조를 생성하며, 기존 방법들이 겪던 구조적 붕괴나 세부 사항 누락을 방지했습니다.

5. 의의 및 결론 (Significance)

Pointer-CAD 는 CAD 생성 분야에서 B-Rep 의 위상적 정보와 LLM 의 추론 능력을 성공적으로 결합한 획기적인 접근법입니다.

• 실용성 증대: 산업 현장에서 필수적인 채퍼, 필렛 등 정밀 편집 작업을 자동화할 수 있어, 단순한 형상 생성을 넘어 실제 엔지니어링 설계에 적용 가능한 수준으로 도약했습니다.
• 오차 최소화: 연속 변수의 양자화 문제를 포인터 메커니즘으로 해결함으로써, 생성된 CAD 모델의 기하학적 정밀도와 위상적 무결성을 보장합니다.
• 미래 지향성: 텍스트뿐만 아니라 이미지나 점구름 등 다양한 입력 모달리티와의 결합 가능성을 열어두었으며, 단일 부품 모델링을 넘어 어셈블리 (Assembly) 및 제약 조건 (Constraints) 처리로 확장될 수 있는 기반을 마련했습니다.

결론적으로, 이 연구는 LLM 기반 CAD 생성이 단순한 형상 복원을 넘어, 복잡한 엔지니어링 설계 작업을 수행할 수 있는 강력한 도구로 발전할 수 있음을 증명했습니다.