기술 요약: 자동 CAD 생성을 위한 파운데이션 모델

문제 정의

기계 설계의 자동화는 공학 정보학 분야에서 여전히 중요한 과제로 남아 있다. 전통적인 컴퓨터 지원 설계(CAD) 워크플로우는 제약 기반의 파라메트릭 모델링 및 스크립팅에 대한 전문 지식을 요구하며, 이는 비전문가에게 장벽이 되고 자동화된 처리 체인으로의 통합을 저해한다. 대규모 언어 모델(LLM)은 자연어를 구조화된 코드로 생성하는 능력을 입증해 왔으나, 구문적으로 유효한 코드를 생성하는 것과 의미론적으로 올oli적으로 정확하고 제조 가능한 3D 기하학적 형상을 생성하는 것 사이에는 결정적인 격차가 존재한다. 스크립트는 오류 없이 파싱될 수 있지만, 잘못된 치수, 누락된 기능 또는 다운스트림 메싱이나 시뮬레이션을 방해하는 위상적 결함이 있는 부품을 생성할 수 있다. 본 논문은 파운데이션 모델이 자연어 명세로부터 유효한 파라메트릭 CAD 설계를 생성할 수 있는 능력을 평가하기 위한 견고한 평가 프레임워크의 필요성을 다룬다. 특히 기계 부품을 대상으로 한다.

방법론

저자들은 통합된 파이프라인과 큐레이션된 벤치마크를 통해 파운데이션 모델의 출력을 평가하고 정제하도록 설계된 다중 모델 텍스트-투-CAD 프레임워크인 LLMForge를 소개한다.

벤치마크 데이터셋

본 연구는 네 가지 전형적인 기하학적 제품군에서 추출한 97개의 공학 설계 문제로 구성된 벤치마크를 활용한다:

1. 구멍과 볼트 서클이 있는 직사각형 플레이트.
2. 다중 기능 박스 (중공 및 솔리드).
3. 플랜지가 있는 실린더.
4. L-브래킷.

각 문제는 분석적 준수 점수를 계산하는 데 사용되는 그라운드 트루스(ground-truth) 기능 명세(구멍 개수, 치수, 표면 처리 등)와 쌍을 이룬다. 모델들은 자유 형식의 코드가 아닌, CAD 파라미터를 나타내는 엄격하게 구조화된 JSON 객체를 출력하도록 프롬프트된다.

평가 파이프라인

본 프레임워크는 7가지 최첨단 파운데이션 모델(DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B, GLM-4.5, MiniMax-M2.1, INTELLECT)을 두 가지 별도의 비평 체제 하에서 평가하며, 두 체제 모두 반복적인 정제 루프(최대 4회)를 채택한다:

1. IterTracer (분석적 체제):

   • 메커니즘: 렌더링된 비트맵의 결정론적이고 미분 가능한 기하학적 분석을 사용한다.
   • 프로세스: 폰-셰이딩(Phong-shaded) 레이 트레이싱 렌더러가 직교 뷰를 생성한다. 분석 스코어러는 실루엣 IoU, 구멍 가시성, 엣지 여유 공간, 종횡비 부합성, 단면 일관성의 다섯 가지 하위 신호를 계산한다.
   • 피드백: 이러한 지표들은 스칼라 비평값으로 변환되어 모델의 정제를 위해 다시 입력된다. 이 체제는 가볍고 빠르며 확률적 변동성을 도입하지 않는다.

2. IterVision (의미론적 체제):

   • 메커니즘: 시각-언어 모델(VLM) 기반의 의미론적 비평가(Qwen2.5-VL-72B)를 사용하여 분석적 스코어러를 확장한다.
   • 프로세스: VLM은 후보 기하학적 형상의 렌더링된 뷰를 사용하여 공간적 일관성과 설계 의도를 평가하기 위해 사고 사슬(chain-of-thought) 추론을 수행한다.
   • 피드백: VLM은 의미론적 일치 점수($s_{vlm}$)와 구조화된 텍스트 피드백(누락된 기능, 기하학적 문제)을 제공하며, 이는 분석적 지표와 함께 정제 프롬프트에 포함된다.

스코어링 축

생성된 부품은 다음의 독립적인 축을 따라 평가된다:

• 검증 ($s_{val}$): JSON 스키마 준수 여부.
• 메쉬 ($s_{mesh}$): 성공적인 워터타이트(watertight) 메쉬 생성의 이진 지표.
• 기능 ($s_{feat}$): 그라운드 트루스 명세에 대한 분석적 비교.
• 시각 ($s_{vis}$): 다섯 가지 분석적 시각 하위 신호의 합성물.
• VLM 의미론 ($s_{vlm}$): (IterVision 전용) VLM 비평가로부터 얻은 의미론적 일치 점수.

주요 기여

1. IterTracer 파이프라인: 보조 신경 모델 없이도 가볍고 기하학을 인식하는 피드백을 활용하여 분석적 시각 지표를 사용하는 반복적 텍스트-투-CAD 생성 시스템.
2. IterVision 파이프라인: 공간적 일관성과 설계 의도를 평가하기 위해 VLM 기반의 의미론적 비평가를 통합하여 평가 기록에 새로운 차원을 도입한 확장형.
3. 포괄적 벤치마크: 분석적 스코어링을 위한 그라운드 트루스 명세와 쌍을 이루는 네 가지 기하학적 제품군에 걸친 97개의 공형학적 문제 데이터셋.
4. 실증적 평가: 두 파이프라인에 걸친 7가지 파운데이션 모델의 비교 연구를 통해, 회차별 수렴 궤적과 전체 메쉬 품질 통계를 제공함.

실험 결과

• 최상위 성능 (IterTracer): 네 가지 모델(DeepSeek-V3.2, Qwen3-235B-A22B, Llama-3.3-70B, Gemma-3-27B)이 $[0.885, 0.890]$ 범위의 전체 점수와 **98.97%**의 메쉬 성공률을 기록하며 밀집된 성능 클러스터를 형성했다. 이는 분석적 비평 하에서 최상위급 인스트럭션 튜닝 모델들이 포화점에 도달했음을 시사한다.
• VLM 비평의 영향 (IterVision): VLM 축의 추가는 최상위 클러스터의 전체 점수를 약 0.04점 감소시켰으며, 이는 더 까다로운 의미론적 평가를 나타낸다. 그러나 Gemma-3-27B는 모든 메쉬가 워터타이트하고 위상적으로 유효한 상태로 100% 메쉬 성공률(97/97)을 달성했다.
• 모델 차별화: VLM 축은 분석적 지표에서는 보이지 않던 성능 차이를 드러냈다. 예를 들어, DeepSeek-V3.2는 의미론적 일치($s_{vlm}$)에서 앞섰던 반면, Gemma-3-27B는 완벽한 메쉬 생성에도 불구하고 이 특정 축에서 최상위 4개 모델 중 가장 낮은 점수를 받았다.
• 실패 모드: 하위 모델들은 뚜렷한 실패 패턴을 보였다. GLM-4.5는 간헐적인 스키마 오류와 함께 높은 변동성을 보였고, MiniMax-M2.1과 INTELLECT는 근본적인 기하학적 실패(예: 메쉬 생성 예외를 유발하는 잘못된 파라미터)를 겪었다. 특히, INTELLECT는 렌더링된 출력이 메쉬 검증에 실패했음에도 불구하고 높은 VLM 점수를 받는 "시각-기하학적 디커플링(decoupling)" 현상을 보였다.
• 기하학적 난이도: 실린더형 기하학은 플레이트나 L-브래킷보다 일관되적으로 0.04~0.07점 낮은 점수를 기록했는데, 이는 평면 구멍 기능의 부재(시각적 식별자 감소)와 VLM 학습 데이터 내 회전 대칭 부품의 잠재적 과소 표현 때문으로 분석된다.
• 정제 역학: IterTracer 하에서 최상위 모델들은 1라운드에서 정점을 찍고 하락했는데, 이는 분석적 피드백이 단 한 번의 패스로 이산적인 오류를 수정함을 시사한다. IterVision 하에서 모델들은 2라운드와 3라운드를 거치며 계속 개선되었는데, 이는 의미론적 피드백이 더 깊은 탐색을 지원하는 연속적인 품질 구배(gradient)를 제공함을 나타낸다.

의의 및 주장

본 논문은 컴팩트한 인스트럭션 튜닝 모델이 전형적인 기하학적 형상의 파라메트릭 CAD 생성에 있어 실질적으로 더 큰 시스템과 경쟁할 수 있는 신뢰성을 확보할 수 있음을 주장한다. 연구의 결론은 다음과 같다:

• 분석적 vs. 의미론적 피드백: 분석적 피드백은 빠른 제약 조건 만족(스키마 및 메쉬 유효성)에 매우 효과적이지만 빠르게 포화된다. 잔여 설계 의도 및 공간적 일관성의 변이를 찾아내기 위해서는 의미론적 시각 피드백(VLM)이 필수적이다.
• 산업 워크플로우 통합: 구조화된 JSON 표현과 다중 라운드 비평 프로토콜은 공학 제품 데이터 관리(PDM) 워크플로우에 통합하기 용이하다. 저자들은 토큰 소비와 품질 사이의 균형을 맞추기 위해, 빠른 생성을 위해 분석적 비평을 사용하고 고부가가치 또는 모호한 부품에 대해 선택적으로 VLM을 호출하는 2단계 전략을 제안한다.
• 벤치마크 포화: 분석적 비평 하에서의 최상위 모델들의 거의 동일한 성능은 현재의 벤치마크가 최첨단 모델들을 차별화하기에 불충분할 수 있음을 시사하며, 의미론적 평가 축의 포함을 필요로 한다.

저자들은 현재의 범위가 전형적인 기하학적 형상에 국한되어 있으나, 본 프레임워크가 자유 곡면 및 제조 특화 제약을 포함한 확장 가능한 자동 기계 설계 연구를 위한 토대를 제공한다고 결론짓는다.