🤖 AI

Text-to-CAD Evaluation with CADTests

본 논문은 실행 가능한 소프트웨어 테스트를 활용하여 CAD 모델 생성을 엄격하게 평가하고 안내하는 최초의 테스트 기반 벤치마크인 CADTestBench 를 소개하며, 이 접근 방식이 기존 방법들의 성능을 능가할 수 있음을 입증합니다.

원저자: Dimitrios Mallis, Marco Wang, Ahmet Serdar Karadeniz, Elisa Ricci, Anis Kacem, Djamila Aouada

게시일 2026-05-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dimitrios Mallis, Marco Wang, Ahmet Serdar Karadeniz, Elisa Ricci, Anis Kacem, Djamila Aouada

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇 목공에게 매우 구체적인 지시를 내리는 상사라고 상상해 보세요. "중앙에 구멍이 있고, 그 구멍을 관통하도록 슬릿이 완전히 잘려 있는 나무 블록을 만들어 줘."라고 말합니다.

과거에는 로봇이 당신의 설명과 대체로 비슷하게 보이는 블록을 만들었을 때, 슬릿이 halfway 에서 멈췄거나 구멍이 약간 중심에서 벗어났다면, 로봇이 실제로 실패한 것인지 아니면 단지 약간의 변형을 만든 것인지를 구분하기 어려웠습니다. 작업을 검사하는 전통적인 방식은 두 장의 사진을 비교하는 것과 같았습니다. "이 사진이 저 사진과 비슷해 보이나?" 만약 로봇이 당신의 설명에 부합하지만 약간 다른 형태의 블록을 만들었다면, 사진 비교는 정확한 참조 사진과 일치하지 않았다는 이유만으로 "틀렸다"고 판단할 수 있었습니다. 비록 그것이 완벽하게 좋은 블록이었다 하더라도요.

이 논문은 로봇의 작업을 검사하는 새로운 방법인 CADTESTS와 새로운 테스트 환경인 CADTESTBENCH를 소개합니다.

구식 방식: "사진 일치"

구식 평가 방법을 교과서에 있는 단일한 "완벽한" 그림과 학생의 그림을 비교하여 채점하는 교사로 생각하세요.

문제: "빨간 차"를 그려달라고 요청하면, 빨간 차를 그리는 방법은 백만 가지가 있습니다. 학생이 빨간 스포츠카를 그렸는데 교과서에는 빨간 세단이 그려져 있다면, 교사는 두 그림이 완전히 동일하지 않다는 이유만으로 학생의 그림을 틀렸다고 표시할 수 있습니다. 비록 학생이 당신의 지시를 완벽하게 따랐더라도요.
결함: 이 방법은 외관에 대해서는 너무 엄격하지만, 규칙에 대해서는 충분히 엄격하지 않습니다.

신식 방식: "코드 테스트"

저자들은 CAD 모델을 구축하는 것이 실제로 컴퓨터 프로그램을 작성하는 것과 같다는 점을 깨달았습니다. 최종 그림을 비교하는 대신, 로봇이 규칙을 따랐는지 확인하기 위해 테스트 스위트를 실행하기로 결정했습니다.

사진 대신 로봇에게 체크리스트를 제공한다고 상상해 보세요:

객체가 정확히 16 개의 모서리를 가지고 있는가?
구멍이 완벽한 원인가?
슬릿이 완전히 관통했는가, 아니면 얇은 벽이 남아 있는가?

로봇이 만든 것이 체크리스트의 모든 항목을 통과하면 "A"를 받습니다. 만약 한 항목이라도 실패하면 (예: 얇은 벽을 남겨둔 경우), 테스트는 즉시 "실패! 여기가 정확히 무엇이 잘못되었는지입니다"라고 말합니다.

테스트를 구축한 방법 ("돌연변이" 트릭)

저자들은 어떤 테스트를 작성할지 단순히 추측하지 않았습니다. **돌연변이 분석 (Mutation Analysis)**이라는 교묘한 트릭을 사용했습니다.

로봇의 완벽한 설계도가 케이크라고 상상해 보세요.
저자들은 "돌연변이" 케이크들을 만들었습니다. 구멍이 너무 작은 것, 슬릿이 없는 것, 모양이 블록 대신 정육면체인 것 등입니다.
그들은 AI 가 이러한 특정 실수들을 찾아낼 수 있는 테스트를 작성하도록 요청했습니다.
그들은 완벽한 케이크는 통과시키면서 모든 돌연변이 케이크 (나쁜 버전) 를 잡아낼 수 있을 정도로 테스트를 날카롭게 다듬을 때까지 테스트를 개선해 나갔습니다.

이로써 테스트가 특정 사진을 단순히 복사하는 것이 아니라, 당신이 준 규칙을 검사하고 있는지 보장됩니다.

그들이 발견한 것

그들은 텍스트를 3D 디자인으로 변환하려는 기존 여러 AI 모델들에서 이 새로운 시스템을 테스트했습니다.

결과: 새로운 "체크리스트" 방식 (CADTESTS) 은 구식 "사진 일치" 방식보다 실제 오류를 찾아내는 데 훨씬 더 뛰어났습니다. 또한 인간 전문가들이 "좋은" 디자인이라고 생각한 것과 훨씬 더 잘 부합했습니다.
놀라운 사실: 그들은 AI 가 모델을 구축하는 동안 이 테스트들을 실행하게 하면 (예를 들어, 엔진을 조립하는 동안 스스로 수정하는 정비공처럼), AI 가 지시를 따르는 능력이 훨씬 향상되었다는 사실을 발견했습니다. 이 자기 점검 루프를 사용하는 간단한 방법조차도 이를 사용하지 않는 가장 복잡하고 비싼 모델들보다 더 나은 성과를 냈습니다.

결론

이 논문은 다음과 같이 말합니다: "3D 디자인을 참조 사진과 얼마나 비슷하게 보이는지로 판단하는 것을 멈추세요. 대신 엄격한 논리 규칙 세트를 통과하는지로 판단하기 시작하세요."

그들은 누구나 이러한 논리 규칙 검사를 사용하여 3D 구축 AI 를 테스트할 수 있는 새로운 놀이터 (CADTESTBENCH) 를 구축했으며, 이 방식이 더 공정하고 정확하며 AI 모델들이 더 나은 디자인을 구축하도록 학습하는 데 도움이 된다는 것을 보여주었습니다.

기술 요약: CADTESTS 를 활용한 텍스트- CAD 평가

문제 제기

비전 언어 모델 (VLM) 이 자연어 프롬프트를 파라메트릭 3D 디자인으로 변환하는 능력에 힘입어, 텍스트- CAD 생성 분야는 상당한 주목을 받아 왔습니다. 그러나 이러한 생성 모델의 평가는 여전히 중요한 병목 현상으로 남아 있습니다. 현재 평가 패러다임은 주로 단일 기준 (ground-truth) 참조 모델에 대해 계산된 체이퍼 거리 (Chamfer Distance, CD) 나 교집합 대비 합집합 비율 (Intersection over Union, IoU) 과 같은 기하학적 유사도 지표에 의존하고 있습니다.

이 접근 방식은 텍스트- CAD 작업의 본질적 모호성으로 인해 근본적으로 결함이 있습니다. 단일 프롬프트는 종종 유효한 디자인 변형의 공간 (예: 서로 다른 크기, 회전, 또는 명시적으로 제약되지 않은 특정 기하학적 세부 사항) 을 허용합니다. 결과적으로, 참조 모델과 기하학적으로 다르지만 프롬프트의 제약 조건을 완전히 충족하는 생성된 모델은 유사도 지표에 의해 불이익을 받을 수 있습니다. 반대로, 참조 모델과 기하학적으로 유사하지만 프롬프트의 특정 구조적 또는 위상학적 요구 사항을 충족하지 못하는 모델은 통과할 수 있습니다. 또한, 기존 지표들은 종종 실행에 실패하는 코드와 같은 유효하지 않은 생성물을 고려하지 못하거나, 생성물이 실패한 이유에 대한 해석 가능성을 제공하지 못합니다.

방법론

저자들은 기하학적 비교에서 자동화된 소프트웨어 테스트로의 패러다임 전환을 제안하며, 자연어 설명을 실행 가능한 파라메트릭 프로그램으로 변환하는 코드 합성 문제로 텍스트- CAD 를 취급합니다.

1. CADTESTS

핵심 혁신은 CADTESTS로, 입력 프롬프트의 기하학적 및 위상학적 요구 사항을 생성된 CAD 모델이 충족하는지 검증하도록 설계된 실행 가능한 소프트웨어 테스트 세트입니다.

구현: 각 테스트는 프로그래밍 방식 CAD 디자인 라이브러리인 CadQuery를 활용하는 Python 코드 스니펫입니다. 이러한 스크립트는 생성된 모델의 경계 표현 (B-Rep) 을 쿼리하여 위상 수 (면, 모서리, 꼭짓점), 경계 상자 치수, 부피, 질량 중심, 공간적 관계 등의 속성을 검사합니다.
속성 기반 테스트: 특정 참조 기하학과 매칭하는 대신, CADTESTS 는 프롬프트에 의해 정의된 불변 속성 (예: "모델은 정확히 16 개의 꼭짓점을 가져야 한다" 또는 "구멍은 전체 높이를 관통해야 한다") 을 검증합니다.
해석 가능성: 블랙박스 유사도 점수와 달리, 실패한 테스트는 특정 제약 위반을 설명하는 명시적인 로그 메시지를 반환합니다.

2. CADTESTBENCH

평가를 용이하게 하기 위해 저자들은 텍스트- CAD 를 위한 최초의 테스트 기반 벤치마크인 CADTESTBENCH를 소개합니다. 이는 CADPrompt 데이터셋에서 파생된 200 개의 샘플 (추상적 및 상세한 프롬프트 포함) 에 대한 테스트 세트를 합성하는 자동화된 파이프라인을 사용하여 구축되었습니다.

합성 파이프라인: 이 파이프라인은 테스트 세트를 생성하기 위해 대규모 언어 모델 (LLM) 플래너를 사용합니다.
변이 분석: 테스트의 변별력을 보장하기 위해 파이프라인은 특정 프롬프트 요구 사항을 고의로 위반하는 CAD 변이체 (치수 변경, 기능 제거, 위상 변경 등 참조 CAD 프로그램의 수정된 버전) 를 생성합니다.
반복적 정제: 테스트 세트는 반복 루프를 통해 정제됩니다. 플래너는 "통과 세트" (유효한 참조 모델 및 그 증강 변형) 와 "변이 세트" (변이체) 에 대해 테스트를 실행합니다. 플래너는 실행 트레이스를 분석하여 기존 테스트를 수정하거나 새로운 테스트를 생성하여 모든 유효한 모델에서 테스트가 통과하고 변이체를 성공적으로 탐지 (살해) 할 때까지 이를 반복합니다. 이 과정은 높은 변이 점수 (>90%) 를 달성하기 위해 여러 라운드 (실험에서 R=4) 동안 계속됩니다.

3. 평가 프로토콜

벤치마크는 네 가지 상호 보완적 지표를 사용하여 방법을 평가합니다:

통과율 (Pass-Rate, PR): 모든 CADTESTS 가 통과하는 샘플의 백분율.
요구 사항 점수 (Requirement Score, RS): 샘플당 충족된 프롬프트 요구 사항 그룹의 비율.
유효성 부재율 (Invalidity Rate, IR): 실행에 실패하는 (런타임 오류 발생) 생성물의 비율.
카테고리 정확도: 테스트 카테고리별 성능 (예: 솔리드/쉘 유효성, 위상, 치수, 공간 배치).

주요 기여

CADTESTS 프레임워크: 참조 의존적 기하학적 유사성을 넘어 생성된 기하학에서 직접 프롬프트 준수를 검증하는 실행 가능한 속성 기반 테스트의 도입.
CADTESTBENCH: 변이 분석을 사용한 테스트 합성 및 정제를 위한 자동화된 파이프라인을 갖춘 텍스트- CAD 를 위한 최초의 테스트 주도 벤치마크. 200 개의 샘플에 걸쳐 5,937 개의 테스트를 포함합니다.
종합적 평가: CADTESTBENCH 에 대한 최근 텍스트- CAD 방법 (파인튜닝 및 학습 없는 방법 모두) 에 대한 철저한 벤치마킹을 통해 위상 및 공간 추론과 관련된 현재 접근 방식의 한계를 드러냄.
테스트 주도 생성 기준: CADTESTS 가 생성 과정에서 효과적인 피드백 메커니즘으로 작용할 수 있음을 입증. 테스트 실행 및 로그 피드백을 ReAct 루프에 통합함으로써 단순한 기준 모델이 기존 최첨단 방법보다 우수한 성능을 보임을 보임.

결과

벤치마크 성능: 현재 학습 없는 방법 (예: GPT-5.2, Claude-4.6-Sonnet) 은 일반적으로 CADTESTBENCH 에서 파인튜닝된 모델 (예: Text2CAD) 보다 우수한 성능을 보입니다. 특정 패러다임 (스케치 및 압출) 으로 제한된 합성 데이터로 훈련된 파인튜닝 모델은 CADTESTBENCH 의 다양한 제약 조건에 일반화되지 못합니다.
플래너 영향: 기본 LLM 플래너의 선택이 성능에 상당한 영향을 미치며, Claude-4.6-Sonnet 이 모든 지표에서 GPT 기반 변형보다 일관되게 우수한 성능을 보입니다.
피드백 메커니즘: ReAct 루프 (반복적 코드 실행 및 오류 수정) 를 통합한 기준 모델은 더 낮은 유효성 부재율과 더 높은 통과율을 달성합니다.
테스트 기반 기준 모델: 제안된 CADTests 및 CADTests + Log 기준 모델이 가장 높은 성능을 달성했습니다. 특히, "CADTests + Log" 접근 방식 (Claude-4.6-Sonnet 사용) 은 추상적 프롬프트에서 0.810의 통과율과 상세한 프롬프트에서 0.625의 통과율을 기록하여 모든 다른 방법을 능가했습니다.
인간 정렬: 전문가 주석가를 포함한 인간 연구는 CADTESTS 기반 평가가 기하학적 지표 (체이퍼 거리) 나 VLM 기반 점수 (AUC 약 0.66) 보다 인간 판단 (통과율에 대한 코헨의 $\kappa$ = 0.938 일치) 과 훨씬 더 밀접하게 일치함을 보여주었습니다 (CADTests 의 경우 0.928).

중요성 및 주장

본 논문은 CADTESTS가 텍스트- CAD 를 위한 더 엄격하고 해석 가능하며 참조가 없는 평가 패러다임을 제공한다고 주장합니다. CAD 생성을 코드 합성으로 취급함으로써, 저자들은 단일 참조에 대한 기하학적 유사성을 강제하는 대신 특정 제약 조건을 검증함으로써 자연어 프롬프트의 모호성을 올바르게 처리한다고 논증합니다.

저자들은 소프트웨어 공학에서 자동화된 테스트가 표준이지만, CAD 에의 적용은 간과되어 왔음을 강조합니다. 그들은 다음을 입증합니다:

변이 분석은 프롬프트 사양을 포착하면서도 유효한 기하학적 변형에 대해 견고한 고품질 테스트 세트를 합성하는 데 효과적입니다.
테스트 주도 생성은 실행 가능한 전략으로, 테스트 실행으로부터의 피드백을 통해 모델이 출력을 반복적으로 정제할 수 있게 하며, 종종 시각적 피드백이나 정적 프롬프팅에만 의존하는 방법보다 우수한 결과를 낳습니다.
현재 한계: 개선에도 불구하고, 현재 LLM 플래너들은 여전히 정밀한 위상 추론, 치수 제약, 공간 배치에 어려움을 겪고 있으며, 이는 이러한 특정 테스트 카테고리에서 낮은 정확도로 입증됩니다.

이 연구는 CADTESTBENCH 가 텍스트- CAD 연구 발전을 위한 필수적인 기반을 제공하며, 더 신뢰할 수 있고 검증 가능한 생성적 디자인 시스템으로 나아가는 길을 제시한다고 결론지었습니다. 저자들은 어떤 테스트 세트와 마찬가지로 CADTESTS 가 모든 가능한 엣지 케이스를 커버하지 못할 수 있다는 점 (테스트 커버리지 한계) 을 인정하지만, 반복적 정제 과정이 이러한 위험을 크게 완화한다고 명시합니다.