기술 요약: UniCAD

문제 정의

컴퓨터 지원 설계(CAD)는 현대 공학의 근간이지만, 현재 관련 연구는 파편화되어 있습니다. 기존의 접근 방식은 대개 특정 작업(예: 포인트 클라우드로부터의 재구성, 텍스트로부터의 생성, 또는 질의응답)을 개별적으로 연구하며, 단일 입력 모달리티에 의존합니다. 이러한 고립된 접근 방식은 교차 작업 간의 지식 전이를 저해하며, 사용자가 혼합된 입력(스케치, 설명, 스캔 등)을 제공하는 실제 설계 시나리오를 반영하지 못합니다. 또한, 이 분야에는 다양한 모달리티와 작업을 아우르는 평가를 표준화할 수 있는 통합된 대규모 벤치마크가 부족하여, 공정한 비교와 견고하고 일반화 가능한 모델 개발을 어렵게 만듭니다.

방법론

1. UniCAD 벤치마크

통합된 평가 표준의 부재를 해결하기 위해, 저자들은 포괄적인 데이터셋이자 벤치마크인 UniCAD를 소개합니다.

• 데이터 구성: 이 데이터셋은 1,448,150개의 CAD 모델을 포함하며, 텍스트 설명, 다중 뷰 이미지, 손으로 그린 스케치, 그리고 포인트 클라우드의 네 가지 입력 모달리티를 통합합니다.
• 표현 방식: B-rep이나 명령 시퀀스를 사용하는 이전 연구들과 달리, UniCAD는 모든 설계를 실행 가능한 CadQuery Python 스크립트로 변환합니다. 이러한 선택은 출력이 해석 가능하고, 편집 가능하며, 프로그래밍적으로 검증 가능하도록 보장합니다.
• 데이터 생성 파이프라인:
  • 소스: DeepCAD, Text2CAD, CAD-Recode를 기반으로 구축되었습니다.
  • 변환: 결정론적이고 규칙 기반인 Python 스크립트를 사용하여 JSON 모델링 연산을 CadQuery 코드로 변환하며, 이를 통해 100% 실행 성공률을 달성합니다(환각 현상이 발생하는 LLM 기반 변환과 대조적임).
  • 다중 모달 정렬:
    • 포인트 클라우드: 법선 벡터를 포함한 CAD 메쉬 표면으로부터 균일한 샘플링을 통해 생성되었습니다.
    • 이미지: 8개의 고정된 관점으로부터 얻은 다중 뷰 합성 렌더링입니다.
      대로의 렌더링으로부터 현실적인 손그림 스타일의 선화를 만들기 위해 Qwen-Image-Edit 모델을 사용하여 생성되었습니다.
    • QA: 시각적 기하 구조와 프로그램 로직에 근거한 4지 선다형 질문을 생성하는 반자동 파이프라인을 사용하며, 인간 검수자에 의해 검증되었습니다(합의율 >92%).
• 지원되는 작업: 이 벤치마크는 네 가지 별도의 작업을 평가합니다: Point-to-CAD, Text-to-CAD, Image/Sketch-to-CAD, 그리고 CAD 질의응답(QA).

2. UniCAD-MLLM 모델

저자들은 이러한 이질적인 작업들을 단일 프레임워크 내에서 처리할 수 있도록 설계된 범용 다중 모달 대규모 언어 모델인 UniCAD-MLLM을 제안합니다.

• 아키텍처: Qwen2-VL-2B를 기반으로 하며, 경량화되고 학습 가능한 포인트 클라우드 투영 모듈을 확장하였습니다.
• 입력 처리:
  • 텍스트: 네이티브 토크나이저를 통해 처리됩니다.
  • 이미지: 사전 학습된 비전 인코더를 사용하여 인코딩됩니다.
  • 포인트 클라우드: 최외점 샘플링(FPS), 푸리에 위치 인코딩(Fourier positional encoding), 그리고 3D 좌표를 모델의 은닉 차원으로 매핑하는 선형 투영 레이어를 포함하는 전용 인코더를 통해 처리됩니다.
• 통합 프롬프팅: 모델은 모달리티를 선택적 토큰 모듈로 취급합니다. 누락된 입력은 일반적인 지침으로 대체되어, 데이터가 불완전한 상황에서도 유연한 추론이 가능하게 합니다.
• 출력 생성:
  • 생성/재구성: 모델은 실행 가능한 CadQuery Python 스크립트를 자기회귀적(autoregressively)으로 생성합니다.
  • QA: 모델은 프롬프트와 기존 CAD 프로그램을 바탕으로 추론하여 텍스트 답변을 생성합니다.
• 학습: 모델은 교차 엔트로피 손실(cross-entropy loss)을 사용하여 모든 작업에 대해 공동으로 학습되며, 언어 모델을 미세 조정하고 포인트 투영 모듈을 처음부터 학습시킵니다.

주요 기여

1. UniCAD 벤치마크: 텍스트, 이미지, 스케치, 포인트 클라우드 입력을 통한 생성 및 이해 작업에 대해 표준화된 데이터 분할 및 평가 프로토콜을 제공하는, 다중 모달, 다중 작업 CAD 학습을 위한 최초의 대규모 통합 벤치마크입니다.
2. UniCAD-MLLM: 공유된 기하학적-의미적 잠재 공간 내에서 CAD 생성과 이해를 통합하여, 혼합된 모달리티를 처리하고 실행 가능한 코드를 출력할 수 있는 단일 엔드 투 엔드 모델입니다.
3. 경험적 검증: 공동 다중 모달, 다중 작업 학습이 전문화된 단일 작업 베이스라인보다 일관되게 우수한 성능을 보임을 입증함으로써, 통합된 CAD 모델링의 확장성을 검증하였습니다.

실험 결과

모델은 UniCAD 테스트 세트와 외부 Fusion360 벤치마크에서 Chamfer Distance(CD)와 Volumetric Intersection over Union(IoU)를 사용하여 평가되었습니다.

• UniCAD 성능: UniCAD-MLLM은 모든 모달리티에서 최첨단(SOTA) 성능을 달성했습니다.
  • Point-to-CAD: CD 0.17, IoU 89.7%.
  • Text-to-CAD: CD 0.20, IoU 86.3%.
  • Image/Sketch-to-CAD: CD 0.17–0.22, IoU 최대 89.8%.
  • CAD QA: 90.0%의 정확도를 달 기록하며, GPT-4o(77%) 및 Doubao-Seed-1.6(85%)과 같은 범용 VLM을 크게 앞질렀습니다.
• 단일 뷰 재구성: 더 어려운 과제인 단일 뷰 이미지에 대해 테스트했을 때도, 모델은 전문화된 이미지 전용 베이스라인(Cadrille의 CD 0.21 대비 0.17)보다 우수한 성능을 보여 강력한 형상 완성을 입증했습니다.
• 제로샷 일반화: Fusion360 데이터셋에서 UniCAD-MLLM은 포인트 클라우드(IoU 84.3% vs. 79.1%)와 다중 뷰 이미지 재구성(IoU 83.9% vs. 하이브리드 LRM+CAD-Recode 파이프라인의 62.5%) 모두에서 기존 방법들을 능가했습니다.
• 다중 모달 융합: 텍스트와 스케치를 모두 조건으로 사용했을 때 가장 좋은 결과(CD 0.18, IoU 88.6%)를 얻었으며, 이는 교차 모달 신호가 재구성 오류를 줄이는 데 서로 보완적임을 증명합니다.

의의 및 주장

본 논문은 UniCAD가 범용 CAD 지능을 위한 견고한 토대를 구축한다고 주장합니다. 다중 모달 인지와 실행 가능한 설계 생성을 결합함으로써, 본 연구는 통합된 프레임워크가 고립된 작업별 모델보다 공유된 기하학적 및 의미적 표현을 더 효과적으로 학습할 수 있음을 보여줍니다.

저자들은 출력 표현으로서 **실행 가능한 Python 스크립트(CadQuery)**를 사용하는 것이 직접적인 인간의 해석, 프로그래밍적 검증, 그리고 산업용 툴체인으로의 통합을 가능하게 한다는 점에서 매우 중요하다고 강조합니다. 현재 데이터셋이 주로 스케치 및 돌출(extrude) 연산에 국한되어 있지만, 저자들은 이러한 통합적 접근 방식이 더 복잡한 기하학적 연산과 상호작용하는 설계 시나리오를 향한 미래 연구의 길을 열어준다고 주장합니다. 데이터셋, 코드 및 사전 학습된 모델의 공개는 견고한 CAD 보조 시스템의 발전을 가속화하기 위함입니다.