기술 요약: Text2CAD-Bench

문제 제기

대규모 언어 모델 (LLM) 이 자연어에서 매개변수형 컴퓨터 지원 설계 (CAD) 모델을 생성하는 데 있어 진전을 촉진했음에도 불구하고, 이러한 시스템에 대한 체계적인 평가는 여전히 극도로 제한적입니다. 기존 벤치마크는 인간의 설계 의도와 기계 실행 가능한 표현 사이의 불일치를 초래하는 세 가지 주요 결함을 안고 있습니다:

1. 제한된 기하학적 복잡성: 현재 데이터셋은 주로 단순한 스케치 - 신장 (extrude) 프리미티브로 구성되어 있으며, 모서리 다듬기 (chamfers), 필렛 (fillets), 스윕 (sweeps), 로프트 (lofts), 자유곡면 (freeform surfaces) 과 같은 실제 제조에 필수적인 고급 모델링 기능을 지원하지 않습니다.
2. 좁은 도메인 커버리지: 이전 벤치마크는 전통적인 기계 부품에 거의 전적으로 초점을 맞추어 의료 기기, 소비자 제품, 건축 제작 등 다양한 응용 분야를 간과했습니다.
3. 불충분한 언어적 다양성: 기존 설명들은 종종 고수준 설계 의도를 전달하기보다는 저수준 명령 시퀀스를 반영합니다. 이는 모델들이 진정한 "형태 이해"를 달성하는 대신 피상적인 "명령 번역" 매핑을 학습하도록 유도합니다.

방법론

저자들은 엄격하게 정의된 복잡성 계층과 다양한 응용 도메인에 걸쳐 텍스트 - 매개변수형 CAD 생성을 평가하도록 설계된 최초의 포괄적인 벤치마크인 Text2CAD-Bench를 소개합니다.

벤치마크 구축

이 벤치마크는 4 단계의 점진적 티어 (L1–L4) 로 조직되고 이중 스타일의 자연어 프롬프트와 짝을 이룬 600 개의 인간 큐레이션 예제로 구성됩니다:

• 기하학적 설명: 외관, 공간적 관계, 전역에서 국부에 이르는 세부 사항을 통해 형태를 특징짓는 비전문가 사용자를 모방합니다.
• 시퀀스 설명: 단계별 구축 논리를 명시하여 전문가 수준의 CAD 관례와 일치합니다.

구축 파이프라인은 인간 - 루프 (human-in-the-loop) 프로세스를 따릅니다:

1. 설계 명세: 목표 기하학과 복잡성 수준을 정의합니다.
2. 협력적 저술: 인간 설계자가 기하학을 지정하고 AI 보조를 통해 CadQuery 코드 (Python 기반 API) 를 반복적으로 개발하여 유효하고 물이 새지 않는 메시와 일치하는 복잡성 수준을 보장합니다.
3. 설명 생성: 각 검증된 모델에 대한 이중 스타일 프롬프트를 생성합니다.
4. 품질 보증: 실행 가능성, 설명 - 기하학 대응 관계, 그리고 스타일 간 일관성을 검증합니다.

복잡성 수준

• L1 (기본): 프리미티브 형태와 기본적인 공간적 관계를 갖춘 기본 기하학.
• L2 (중간): 불리언 연산 및 표준 CAD 기능 (예: 불리언 컷에 적용된 필렛) 을 포함하는 구성적 복잡성.
• L3 (고급): 스윕, 로프트, 쉘 (shells), 복잡한 패턴을 포함한 정교한 연산으로, 경로 기반 기하학 및 자유곡면에 대한 숙련도를 요구합니다.
• L4 (실제 세계): 산업, 소비자, 의료, 건축 등 다양한 도메인을 아우르는 100 개의 예제. 이들은 "M4 나사에 적합함"과 같은 응용 컨텍스트 내에서의 일반화를 평가하면서도 정밀한 기하학적 매개변수를 유지합니다.

평가 지표

이 벤치마크는 코드 유효성과 기하학적 충실도를 모두 평가하기 위해 다중 지표 방식을 사용합니다:

• 채퍼 거리 (Chamfer Distance, CD): 생성된 메시와 실제 지상 진실 (ground-truth) 메시 간의 기하학적 유사성을 측정합니다.
• 무효화율 (Invalidity Rate, IR): 구문 오류, 타임아웃 또는 퇴화 기하학으로 인해 실행에 실패한 코드 샘플의 비율입니다.
• 교집합 대비 합집합 비율 (Intersection over Union, IoU): 부피 중첩을 측정합니다.
• VLM 기반 평가 (L4 용): 지상 진실 코드 비교가 컨텍스트 설계 품질을 평가하기에 충분하지 않으므로, 비전 - 언어 모델 (GLM4.6V) 이 5 가지 기능 카테고리와 전체 유사성에 걸쳐 8 개의 다중 뷰 렌더링을 기반으로 생성된 모델을 점수화합니다.

주요 기여

1. 데이터셋 구축: 이전 벤치마크의 고급 기하학적 연산 (모서리 다듬기, 필렛, 스윕, 로프트) 과 응용 다양성 부족을 해결하는 600 개 예제 데이터셋의 생성.
2. 이중 스타일 프롬프트 설계: 기하학적 및 시퀀스 프롬프트 스타일의 도입으로, 경험적 증거에 따르면 기하학적 설명이 기본 작업에서 일반적으로 더 우수한 생성 성능을 발휘하는 반면, 시퀀스 설명은 복잡하고 절차적인 작업에서 우위를 보임을 입증.
3. 포괄적인 평가: GPT-5.2, Claude-4.5, DeepSeek-V3.2 와 같은 주요 범용 LLM 과 도메인 특화 모델에 대한 엄격한 평가를 통해 고급 기능 및 실제 시나리오에서 상당한 성능 격차를 드러냄.

실험 결과

Text2CAD-Bench 에서 수행된 실험은 몇 가지 중요한 발견을 밝혔습니다:

• 복잡성에 따른 성능 저하: 모델이 L1–L2 작업에서는 합리적인 성능을 보이지만, L3 에서는 성능이 크게 저하됩니다. 스윕 및 로프트와 같은 고급 기능을 접할 때 채퍼 거리는 1.3–2.1 배 증가하고, 무효화율은 약 15% 에서 70–90% 로 상승합니다.
• 프롬프트 스타일 민감성: 기하학적 설명은 여러 지표에서 L1–L2 에 대해 시퀀스 설명보다 우수한 성과를 냅니다. 그러나 L3 에서는 이러한 우위가 약화되거나 반전되는데, 이는 고급 연산의 절차적 특성으로 인해 구축 논리를 전달하는 데 시퀀스 설명이 더 효과적이기 때문입니다.
• 범용 모델 대 도메인 특화 모델: 모델 카테고리 간에 놀라운 차이가 존재합니다. 도메인 특화 모델 (예: Text2CAD) 은 종종 낮은 무효화율을 달성하지만 극도로 낮은 기하학적 충실도 (높은 CD, 거의 0 에 가까운 IoU) 를 보여, 구문적으로 유효하지만 기하학적으로 부정확한 코드를 생성함을 시사합니다. 반면, 범용 LLM 은 더 나은 기하학적 정렬을 보이지만 복잡한 작업에서 코드 실행에 어려움을 겪습니다.
• 실제 세계 시나리오에서의 능력 분리 (L4): L4 평가는 코드 실행 가능성, 기하학적 정밀도, 설계 의도 이해가 대체로 독립적인 차원임을 보여줍니다. 단일 모델이 세 가지 모두를 지배하지는 않습니다. 예를 들어, 가장 낮은 무효화율을 가진 모델은 기능 수준 설계 질문에서 낮은 점수를 받을 수 있으며, 높은 기하학적 유사성을 가진 모델은 기능적 컨텍스트를 포착하지 못할 수 있습니다.

중요성 및 주장

이 논문은 Text2CAD-Bench 를 향후 연구를 위한 도전적인 목표로 위치시켜, 기본 기하학을 넘어선 텍스트 - CAD 변환은 여전히 largely 해결되지 않았음을 확립합니다. 저자들은 현재 최첨단 시스템이 고급 기능과 실제 응용 컨텍스트에서 상당한 어려움을 겪고 있다고 주장하며, 신뢰할 수 있는 전문 워크플로우를 지원하기 전에 모델 능력이나 학습 데이터에 상당한 진전이 필요함을 시사합니다.

또한, 이 연구는 출력 표현이 결정적으로 중요함을 강조하여, 전통적인 명령 시퀀스에 비해 Python 기반 CadQuery 표현이 모델이 사전 훈련된 코드 생성 능력을 더 잘 활용하도록 함을 입증합니다. 마지막으로, 이 벤치마크는 코드 정확성이나 기하학적 충실도만을 독립적으로 최적화하는 것이 전체적인 설계 작업에서의 성공을 보장하지 않기 때문에 다차원 평가의 필요성을 강조합니다. 저자들은 600 개의 예제가 전체 CAD 설계 공간을 완전히 대표할 수는 없지만 모델의 한계를 진단하는 데 필요한 고품질 기반을 제공한다는 점을 인정하며, 해당 분야의 발전을 촉진하기 위해 벤치마크를 공개합니다.