기술 요약: 텍스트- CAD 생성을 위한 MUSE 벤치마크

문제 제기

대형 언어 모델 (LLM) 이 텍스트 기반 3D 생성 분야에서 진전을 이루었지만, 자연어에서 편집 가능한 경계 표현 (B-Rep) 모델을 생성하는 텍스트- CAD라는 특정 작업은 산업용 제품 설계에 있어 여전히 부족합니다. 기존 벤치마크는 주로 단일 부품 CAD 모델에 초점을 맞추고 기하학적 유사성 지표 (예: Chamfer Distance) 에 의존합니다. 이러한 지표들은 기능성, 제조 가능성, 조립 가능성이라는 중요한 공학적 요구사항을 포착하지 못합니다. 결과적으로 현재 평가 방식은 생성된 모델이 실현 가능한 설계 사례인지, 아니면 단순히 시각적으로 그럴듯한 형태인지 판단할 수 없습니다. furthermore, 기존 데이터셋은 종종 다중 구성 요소 구조와 조립 제약을 결여하고 있어 실제 세계의 제작에 대한 유용성이 제한됩니다.

방법론

MUSE 벤치마크

저자들은 복잡하고 편집 가능한 B-Rep 어셈블리 생성을 평가하기 위해 MUSE라는 벤치마크를 소개합니다. 이전 연구들과 달리, MUSE 는 구조화된 **설계 명세 ($S$)**로 정의된 완전한 설계 사례에 초점을 맞춥니다. 각 명세는 고수준 목표를 네 가지 구성 요소로 분해합니다:

1. 설계 설명 ($D$): 객체를 설명하는 고수준 텍스트.
2. 물리적 어셈블리 그래프 ($G$): 정점이 물리적 구성 요소 (예: 다리, 패널) 를 나타내고 간선이 물리적 인터페이스를 나타내는 비방향 그래프.
3. 유효 파라미터 공간 ($\Omega$): 기능 및 제조 요구사항에 의해 제약된 구성 요소 파라미터 (치수, 두께 등) 의 허용 범위.
4. 제조 계획 ($M$): 재료 선택 (예: 목재, PLA) 과 제조 방법 (예: CNC 밀링, 3D 프린팅) 에 관한 제약 사항으로, 허용 오차 한계 및 기하학적 제약을 포함합니다.

데이터셋 구축:
106 개의 설계 사례로 구성된 데이터셋은 "Human-in-the-loop" 파이프라인을 통해 선별되었습니다:

• 시드 모델링: 전문가 설계자가 고품질 STEP 모델과 이에 상응하는 CadQuery 스크립트를 생성했습니다.
• LLM 증강: LLM(Claude Opus 4.7) 이 이러한 스크립트를 확장하여 다양한 변형 (스타일적 및 기능적) 을 생성했습니다.
• 공학 뷰: 렌더링된 이미지 대신 정확한 기하학적 평가를 보장하기 위해 숨은 선이 포함된 정밀한 2D 공학 뷰 (정면, 측면, 우측, 등각) 를 추출했습니다.
• 명세 합성: LLM 이 모델을 기반으로 구조화된 설계 명세를 생성했으며, 이는 인간 전문가에 의해 검토 및 수정되었습니다.

3 단계 평가 프로토콜

MUSE 는 모델이 다음 단계로 진행하려면 각 단계를 통과해야 하는 깔때기 형태의 평가 파이프라인을 사용합니다:

1. 코드 확인: 생성된 CadQuery 스크립트가 샌드박스에서 실행됩니다. 성공하려면 스크립트가 오류 없이 실행되어 유효한 STEP 파일을 내보내야 합니다.
2. 기하학적 확인: 내보낸 STEP 파일은 다음 네 가지 이진 검사를 거칩니다:
   • 완전 밀폐 (Watertight): 열린 경계가 없음.
   • 다양체 (Manifold): 유효한 위상학.
   • 자기 교차 없음 (Self-Intersection Free): 내부 중첩이 없음.
   • 중첩 없음 (Overlap Free): 서로 다른 구성 요소가 서로 관통하지 않음.
3. 설계 의도 정렬: 유효한 모델은 공학 뷰로 변환된 후 루브릭 기반 시각 언어 모델 (VLM) 심사자에 의해 평가됩니다. 심사자는 설계 명세, 참조 도면, 공학 지식 테이블에서 생성된 설계별 루브릭을 사용하여 다음을 평가합니다:
   • 기능성: 설계가 의도된 사용을 지원하고 안정적으로 유지되는가?
   • 제조 가능성: 기하학이 재료 및 공정 제약 (예: 벽 두께, 허용 오차) 을 만족하는가?
   • 조립 가능성: 구성 요소 위상학 및 조인트 인터페이스가 올바르게 보존되었는가?

주요 기여

1. 평가 패러다임의 전환: MUSE 는 기하학적 유사성을 넘어 공학적 사용성을 평가하며, 기능성, 제조 가능성, 조립 가능성을 명시적으로 테스트합니다.
2. 구조화된 설계 명세: 설계 명세 ($S = \langle D, G, \Omega, M \rangle$) 에 대한 공식적 정의의 도입은 유효한 파라미터 공간을 가진 복잡하고 다중 구성 요소 어셈블리를 정의하기 위한 엄격한 프레임워크를 제공합니다.
3. 루브릭 기반 VLM 심사자: 저자는 미세한 설계별 루브릭에 의해 안내되는 VLM 심사자를 사용한 확장 가능한 평가 방법을 제안합니다. 이 접근 방식은 공학적 제약과 참조 뷰에 기반하여 평가를 근거화함으로써 환각을 줄이며, 인간 주석과 비교하여 검증되었습니다.
4. 포괄적인 데이터셋: 다양한 재료 (목재, PLA, ABS 등) 와 공정 (CNC, 3D 프린팅, 레이저 커팅) 을 다루는 106 개의 다양하고 제조 가능하며 조립 가능한 설계 사례로 구성된 데이터셋.

실험 결과

저자들은 MUSE 에서 폐쇄형 소스 (예: GPT-5.5, Claude Opus 4.7, Gemini 3.1 Pro) 와 오픈 소스 LLM(예: Qwen, Llama) 을 모두 평가했습니다.

• 실패 연쇄: 결과는 세 단계 전반에 걸쳐 성능이 명확하게 저하됨을 보여줍니다. 일부 모델이 코드 실행에서 중간 정도의 성공을 거두지만 (예: GPT-5.5 약 77%), 기하학적 유효성 (예: GPT-5.5 의 경우 약 69%) 에서 크게 떨어지며, 설계 의도 정렬에서는 더욱 붕괴됩니다 (예: GPT-5.5 의 경우 약 52%).
• 미세한 결함: 가장 강력한 모델조차 특정 공학적 기준에 어려움을 겪습니다. 예를 들어, 최상위 폐쇄형 소스 모델은 조립성에서 약 43%, 제조 가능성에서 약 48% 만 달성했습니다. 오픈 소스 모델은 훨씬 더 나쁜 성적을 보였으며, 종종 유효한 어셈블리를 생성하지 못했습니다.
• 코드 대 기하학: 높은 코드 실행 가능성은 기하학적 유효성이나 설계 의도 정렬을 보장하지 않으며, 이는 현재 모델들이 견고한 3D 공간 추론 및 공학적 제약 처리 능력이 부족함을 나타냅니다.
• 심사자 신뢰도: 루브릭 기반 VLM 심사자는 하위 기준 수준에서 Pearson $r \approx 0.71$, 설계 사례 수준에서 $r \approx 0.83$의 인간 주석과 강한 상관관계를 보여 자동화된 평가에 대한 유효성을 입증했습니다.

의의

이 논문은 텍스트- CAD 가 형태 생성으로서 측정하기는 쉽지만 설계 생성으로서 해결하기는 어렵다고 주장합니다. MUSE 는 생성된 CAD 모델이 단순히 형태가 "올바른" 것을 넘어 공학적 관행에서도 "올바른" 것, 즉 제작, 조립, 사용이 가능해야 한다는 요구사항을 통해 기준을 높입니다. 이 벤치마크는 현재 LLM 의 핵심적인 약점을 드러냅니다. 즉, 코드를 합성할 수는 있지만 결합된 기하학적 및 공학적 제약을 만족하는 일관된 어셈블리를 생성하지는 못한다는 점입니다. 현실적인 벤치마크와 평가 프레임워크를 제공함으로써, MUSE 는 진정한 기능성과 제조 가능성을 갖춘 설계를 생성할 수 있는 모델을 향한 향후 연구를 촉진하는 것을 목표로 합니다.