CAD-Tokenizer: Towards Text-based CAD Prototyping via Modality-Specific Tokenization

이 논문은 CAD 의 구조적 특성을 반영한 모달리티별 토큰화 전략을 도입한 'CAD-Tokenizer'를 제안하여, 텍스트 기반 CAD 프로토타이핑의 생성 품질과 지시 이행 능력을 획기적으로 향상시켰습니다.

핵심

🛠️ CAD-토크나이저: 컴퓨터 설계의 '언어'를 바꾸는 혁신

이 논문은 컴퓨터 지원 설계 (CAD) 분야에서 큰 도약을 이룬 새로운 기술, **'CAD-토크나이저 (CAD-Tokenizer)'**에 대해 설명합니다.

상상해 보세요. 건축가가 건물을 설계할 때, 벽돌 하나하나의 좌표 (x, y, z) 를 일일이 나열하는 대신, "벽을 3 미터 올리고, 창문을 2 개 뚫고, 지붕을 얹어라"라고 순서대로 명령을 내린다고 가정해 봅시다. 이것이 바로 CAD 가 작동하는 방식입니다.

하지만 기존 인공지능 (LLM) 은 이 명령어를 이해하는 데 큰 문제가 있었습니다. 이 논문은 그 문제를 해결하고, 자연어로 CAD 를 설계하고 수정할 수 있는 통일된 시스템을 만들었습니다.

---

🧩 문제: "조각난 레고"와 "완전한 블록"

기존의 AI 모델들은 CAD 데이터를 다룰 때, 마치 레고 블록을 부수어서 알맹이만 남긴 것처럼 데이터를 처리했습니다.

• 기존 방식 (일반 토크나이저):
  AI 가 "extrusion(압출)"이라는 CAD 명령어를 읽을 때, 이를 "extru", "sion"처럼 단어 조각으로 쪼개서 인식합니다.

  • 비유: 누군가 "자동차를 만들어라"라고 말했을 때, AI 가 "자", "동", "차"라는 글자 하나하나만 보고 "아, 글자 '자'가 있네, '동'이 있네"라고 생각하다가 자동차 전체의 개념을 놓쳐버리는 상황입니다.
  • 결과: AI 는 CAD 의 구조적 의미 (예: 이 선이 원형이어야 한다, 이 면이 평평해야 한다) 를 이해하지 못해 엉뚱한 3D 모델을 만들거나, 수정 명령을 제대로 따르지 못했습니다.

• 새로운 방식 (CAD-토크나이저):
  이 논문은 CAD 데이터를 의미 있는 '기본 단위 (Primitive)' 단위로 쪼개서 AI 에게 줍니다.

  • 비유: "자동차를 만들어라"라고 했을 때, AI 는 "바퀴 4 개", "차체 1 개", "엔진 1 개"처럼 완성된 부품 단위로 인식합니다.
  • 결과: AI 는 "이 선을 원으로 만들고, 그 위에 벽을 올린다"는 명령을 부품의 관계로 이해하게 되어 훨씬 정교한 설계를 할 수 있게 됩니다.

🚀 해결책: 3 단계로 이루어진 마법

이 기술은 크게 세 가지 단계로 작동합니다.

1. 압축기 (VQ-VAE): "복잡한 도면을 요약하다"

CAD 데이터는 매우 길고 복잡합니다. 이를 AI 가 쉽게 이해할 수 있도록 레고 블록 하나하나를 '세트' 단위로 묶어주는 압축기를 만들었습니다.

• 비유: 긴 레고 설명서를 읽지 않고도, "이 박스에는 '문' 세트가 들어있다"고만 알려주는 것입니다. 이렇게 하면 AI 는 불필요한 세부사항에 신경 쓰지 않고 핵심 구조에 집중할 수 있습니다.

2. 통역사 (Adapter): "AI 의 언어로 번역하다"

AI 모델 (LLM) 은 원래 인간의 말 (영어, 한국어 등) 만 이해하도록 훈련되었습니다. CAD 의 '부품 세트'를 AI 가 알아들을 수 있도록 통역사를 붙였습니다.

• 비유: 외국인이 한국어를 못 알아들을 때, 통역사가 "이것은 '문'입니다"라고 번역해 주는 것과 같습니다. 이렇게 하면 AI 는 별도의 재학습 없이도 CAD 데이터를 자연스럽게 처리할 수 있습니다.

3. 안전장치 (FSA): "문법 교정기"

CAD 는 엄격한 **문법 (규칙)**이 있습니다. 예를 들어, "원"을 그으려면 반드시 "시작점"과 "종료점"이 있어야 합니다. AI 가 실수해서 문법을 어기면 3D 모델이 깨집니다.

• 비유: AI 가 글을 쓸 때, 문법 검사기가 "여기서는 명사가 와야 합니다"라고 알려주며 틀린 문장을 미리 막아주는 역할을 합니다. 이 시스템은 AI 가 CAD 문법 규칙을 어기지 않도록 실시간으로 가이드합니다.

---

🌟 왜 이것이 중요한가요?

이 기술은 두 가지 일을 하나로 통합했습니다.

1. Text-to-CAD (설계): "원통형 컵을 만들어줘"라고 말하면 바로 3D 모델을 설계합니다.
2. CAD Editing (수정): "컵 손잡이를 더 크게 만들어줘"라고 말하면 기존 모델을 수정합니다.

기존에는 이 두 가지 작업을 별도의 AI 모델로 따로 해야 했지만, CAD-토크나이저는 하나의 모델로 두 가지 모두를 훌륭하게 해냅니다.

📊 결과: 더 똑똑하고, 더 빠르고, 더 정확합니다

실험 결과, 이 새로운 방식은 기존 방식보다 훨씬 뛰어난 성능을 보였습니다.

• 정확도: AI 가 만든 3D 모델이 의도한 설계와 훨씬 더 비슷해졌습니다.
• 수정 능력: "손잡이를 바꿔줘"라고 했을 때, 기존 모델을 유지하면서 손잡이만 바꾸는 등 명령을 정확히 따릅니다.
• 효율성: 데이터를 압축해서 처리하므로, 학습과 생성 속도가 훨씬 빨라졌습니다.

💡 결론

이 논문은 **"AI 가 CAD 를 이해하려면, 인간의 언어처럼 단어를 쪼개는 게 아니라, 설계자의 언어 (부품과 구조) 로 생각하게 만들어야 한다"**는 통찰을 담고 있습니다.

마치 레고 장난감을 다룰 때, 알맹이만 줘서 혼란스럽게 하는 대신 완성된 부품 세트를 주어서 아이들이 더 쉽게 창의적인 작품을 만들 수 있게 하는 것과 같습니다. 이 기술은 앞으로 산업 디자인, 제품 개발, 건축 분야에서 AI 가 인간을 더 잘 도와주는 초고속 프로토타이핑의 시대를 열 것입니다.

기술 요약

1. 문제 정의 (Problem)

• CAD 데이터의 고유한 구조: 컴퓨터 지원 설계 (CAD) 모델은 단순한 좌표가 아니라, 스케치 (sketch) 와 돌출 (extrusion) 과 같은 **구축 순서 (construction sequence)**로 정의됩니다. 이러한 순차적 구조는 초기 프로토타이핑과 이후의 수정 (editing) 에 모두 필수적입니다.
• 기존 LLM 토크나이저의 한계: 기존의 대규모 언어 모델 (LLM) 은 자연어 처리를 위해 설계된 표준 토크나이저 (예: BPE) 를 사용합니다. 이는 CAD 시퀀스를 자연어 단어 조각 (word pieces) 으로 분해하여, 예를 들어 extrusion을 [extru], [sion]과 같이 잘라버립니다.
  • 의미: 이로 인해 CAD 의 기본 기하학적 요소 (primitive) 수준에서의 의미론적 (semantic) 정보가 손실됩니다.
  • 결과: 어텐션 (attention) 메커니즘이 기하학적 구조나 요소 간의 관계를 학습하는 데 실패하며, 자연어 토큰에 집중하게 되어 CAD 생성 및 편집의 정확도가 떨어집니다.
• 통합 작업의 부재: 기존 연구는 '텍스트 기반 CAD 생성 (Text-to-CAD)'과 'CAD 편집 (CAD Editing)'을 별도의 작업으로만 다루었습니다. 실제 산업 현장에서는 생성과 수정이 반복적으로 이루어지므로, 이 두 작업을 하나의 통합된 모델로 수행하는 것이 필요하지만, 이를 해결한 연구는 없었습니다.

2. 방법론 (Methodology)

저자들은 CAD-Tokenizer라는 새로운 프레임워크를 제안하여, 텍스트 기반 CAD 프로토타이핑 (생성 및 편집 통합) 문제를 해결합니다. 핵심은 CAD 데이터에 특화된 토크나이징 전략입니다.

가. 원시 기반 VQ-VAE 토크나이저 (Primitive-based VQ-VAE Tokenizer)

• 개념: CAD 시퀀스를 자연어 단어 조각이 아닌, 기본 기하학적 요소 (primitive) 수준의 이산 토큰 (discrete tokens) 으로 변환합니다.
• 구조:
  1. VQ-VAE 학습: 스케치 - 돌출 (sketch-extrusion) 쌍을 입력받아 잠재 벡터 (latent vectors) 로 인코딩합니다.
  2. 원시 풀링 (Primitive Pooling): 기존 VQ-VAE 가 전체 시퀀스를 하나의 벡터로 압축하는 것과 달리, 각 스케치 - 돌출 쌍에 대해 별개의 풀링 레이어를 도입하여 여러 개의 이산 토큰을 생성합니다. 이는 국소적 및 문맥적 정보를 모두 포착합니다.
  3. 압축: 시퀀스를 더 짧고 의미 있는 토큰 시퀀스로 압축하여 LLM 의 학습 효율성을 높입니다.

나. LLM 어댑터 정렬 (Adapter Alignment)

• 문제: VQ-VAE 의 출력 벡터와 LLM 의 임베딩 공간은 다릅니다.
• 해결: 사전 학습된 LLM 의 임베딩 및 로짓 (logit) 레이어를 고정 (freeze) 하고, 두 공간을 양방향으로 매핑하는 어댑터 (Adapter) 레이어를 학습시킵니다.
  • 이를 통해 VQ-VAE 가 생성한 원시 토큰을 LLM 이 인식할 수 있는 고유 ID 로 변환하며, LLM 백본을 수정하지 않고도 통합이 가능합니다.

다. 통합 파인튜닝 (Unified Instruction Tuning)

• Text-to-CAD 생성과 CAD 편집 작업을 하나의 통합된 데이터셋과 토큰 체계로 파인튜닝합니다.
• 압축된 CAD 토큰을 사용하여 학습하므로, 기존 방법보다 학습 효율성이 높고 성능이 우수합니다.

라. 유한 상태 자동자 (FSA) 기반 샘플링

• 문제: LLM 의 일반적인 생성 방식 (top-p, beam search 등) 은 CAD 문법 (구문) 을 알지 못해 유효하지 않은 시퀀스를 생성할 수 있습니다.
• 해결: CAD 의 형식 문법 (formal grammar) 을 기반으로 **유한 상태 자동자 (FSA)**를 설계합니다.
  • 생성 단계에서 FSA 가 다음에 올 수 있는 유효한 토큰만 허용하는 마스크 (mask) 를 적용하여, 문법적으로 올바른 CAD 시퀀스만 생성되도록 보장합니다.

3. 주요 기여 (Key Contributions)

1. CAD-Tokenizer 프레임워크: 텍스트 기반 CAD 프로토타이핑 (생성 + 편집) 을 통합적으로 해결하는 최초의 프레임워크를 제안했습니다.
2. 원시 수준 토크나이징: VQ-VAE 기반의 커스텀 토크나이저를 통해 CAD 시퀀스를 의미 있는 기본 요소 (primitive) 단위로 압축하고, LLM 과의 정렬 어댑터를 개발했습니다.
3. 문법 준수 생성: CAD 의 형식 문법을 반영한 FSA 기반 샘플링 전략을 도입하여 생성된 CAD 모델의 문법적 유효성 (validity) 을 크게 향상시켰습니다.
4. 성능 입증: 단일 통합 모델이 개별 작업 전용 모델 (SOTA) 보다도 우수한 성능을 보임을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 데이터셋: SkexGen 기반의 CADFusion (생성) 과 CAD-Editor (편집) 데이터를 통합하여 약 10 만 개의 학습 쌍과 1,000 개의 테스트 쌍을 구성했습니다.
• 평가 지표: F1 점수 (스케치/돌출), Chamfer Distance (CD), Invalidity Ratio (IR), VLM 점수 (지시 따르기), 인간 평가 (HE) 등을 사용했습니다.
• 주요 성과:
  • CAD 편집: CAD-Tokenizer 는 기존 작업 전용 모델 (CAD-Editor) 보다 F1 점수에서 약 10 포인트 향상되었으며, 인간 평가와 VLM 점수에서도 우위를 보였습니다.
  • Text-to-CAD 생성: CADFusion 과 비교했을 때, F1 점수와 CD 에서 크게 개선되었으며, 인간 평가에서 선호도가 높았습니다.
  • 비교: 일반 LLM (Vanilla-LLaMA) 은 토크나이저의 한계로 인해 대부분의 지표에서 성능이 급격히 하락했으나, CAD-Tokenizer 는 이를 극복하고 우수한 성능을 달성했습니다.
  • 압축 효율: 원시 풀링을 통해 시퀀스 길이를 크게 줄여 학습 효율성을 높였습니다.

5. 의의 및 결론 (Significance)

• 산업적 적용 가능성: CAD 설계 프로세스에서 생성과 수정을 하나의 모델로 통합함으로써, 엔지니어의 워크플로우를 획기적으로 간소화할 수 있습니다.
• 다중 모달 토크나이징의 중요성: 자연어 토크나이저가 비자연어 구조적 데이터 (CAD, 로봇 제어 등) 에 적용될 때 발생하는 한계를 지적하고, **도메인 특화 토크나이징 (Modality-specific Tokenization)**이 필수적임을 입증했습니다.
• 미래 연구 방향: CAD 의 복잡한 공간 추론 능력 향상을 위한 더 강력한 백본 모델과, 편집 의도를 정확히 평가할 수 있는 새로운 평가 지표의 필요성을 제시했습니다.

이 논문은 LLM 을 CAD 설계에 효과적으로 적용하기 위한 핵심 기술인 토크나이징 전략의 중요성을 부각시켰으며, 텍스트 기반 CAD 프로토타이핑 분야에서 새로운 표준을 제시한 것으로 평가됩니다.