기술 요약: ProCAD – 견고한 Text-to-CAD 생성을 위한 선제적 에이전트

1. 문제 정의

자연어 프롬프트를 파라메트릭 CAD 프로그램(특히 CadQuery)으로 변환하는 현재의 text-to-CAD 시스템은 심각한 견고성 문제에 직면해 있습니다. 대규모 언어 모델(LLM)이 초기 발전을 이끌었으나, 이들은 일반적으로 사용자 프롬프트가 정밀하고 일관적이라는 가정하에 작동합니다. 실제로는 자연어 기하학적 묘사가 미지정(under-specified) 상태이거나(중요 치수 누락), **내부적으로 모순(internally inconsistent)**되는 경우(상충하는 제약 조건 포함)가 빈번합니다.

미세 조정된 LLM을 통한 one-shot 생성이나 피드백 기반의 정제 방식 등 기존 접근법들은 사용자 프롬프트를 신뢰할 수 있는 명세(specification)로 취급하는 경向이 있습니다. 모호함에 직면했을 때, 이러한 모델들은 요청을 충족하기 위해 치수를 "환각(hallucinate)"하여 생성하는 경우가 많으며, 이는 유효하지 않은 코드나 기하학적으로 잘못된 모델로 이어집니다. 이는 정밀도가 매우 중요한 실제 엔지니어링 작업에서 text-to-CAD의 실용적 활용을 제한합니다.

2. 방법론

저자들은 코드 합성 이전에 명세 문제를 해결하도록 설계된 선제적 에이전트 프레임워크인 ProCAD를 제안합니다. 이 시스템은 작업을 두 개의 에이전트 파이프라인으로 분해합니다.

A. 두 에이전트 아키텍처

1. 선제적 명세 확인 에이전트 ($\pi_\phi$):

   • 역할: 사용자 프롬프트를 감사하여 누락되거나 상충하는 제약 조건을 탐지합니다.
   • 메커니즘: 환경이 사용자인 유한 지평 마르코프 결정 과정(MDP)으로 모델링됩니다. 에이전트는 각 단계에서 현재 명세를 **수락(ACCEPT)**할지, 아니면 타겟팅된 명확화 질문을 **요청(ASK)**할지를 결정합니다.
   • 목표: 기하학적 충실도(Chamfer Distance 최소화)와 통신 오버헤드(상호작용 라운드 및 토큰 길이 최소화) 사이의 균형을 맞추는 보상 함수를 최대화합니다.
   • 전략: 에이전트는 불필요한 중단을 피하면서 자기 일관성 있는 명세를 생성하기 위해 최소한의 필수적인 질문을 던지도록 훈련됩니다.

2. CAD 코딩 에이전트 ($\pi_\theta$):

   • 역할: 확정되고 명확해진 명세를 실행 가능한 CadQuery 프로그램으로 변환합니다.
   • 메커니즘: 고품질의 모호하지 않은 데이터로 미세 조정된 표준 text-to-code 생성 모델입니다.

B. 데이터 생성 및 훈련 파이프라인

이 에이전트들을 훈련시키기 위해 저자들은 새로운 고품질 데이터셋과 훈련 전략을 구축했습니다.

• 고품질 Text-to-CadQuery 데이터셋 (10K 샘플):

  • 출처: CadQuery 프로그램을 통해 DeepCAD 데이터셋(Wu et al., 2021)으로부터 파생되었습니다.
  • 프로세스: 텍스트로부터 코드를 생성하는 대신, 파이프라인은 여러 관점에서 형상을 렌더링한 후, 이미지와 소스 CadQuery 코드를 모두 조건으로 하여 최첨단 시각-언어 모델(GPT-5-mini)을 사용하여 자연어 묘사를 생성합니다.
  • 검증: "생성 후 검증(generate-then-verify)" 루프를 통해 품질을 보장합니다. 생성된 묘사는 다음 사항에 대해 체크됩니다:
    1. 코드 누출(Code Leakage): 원본 코드 스니펫이 텍스트에 복사되지 않았는지 확인합니다.
    2. 완결성(Completeness): 생성된 묘사가 다시 VLM에 입력되어 코드를 합성했을 때, 결과 기하 구조가 그라운드 트루스와 일치하는지(Chamfer Distance $< 2 \times 10^{-4}$) 확인하여 샘플을 수락합니다.
  • 정제: 검증에 실패한 샘플은 최대 3회까지 재시도되며, 지속적인 실패는 인간 전문가에게 전달됩니다.

• 코딩 에이전트 훈련 (ProCAD-coder):

  • 10K 데이터셋 중 엄격하게 선별된 1.6K개의 모호하지 않은 샘플을 통해 지도 미세 조정(SFT)을 수행합니다.
  • 베이스 모델: Qwen2.5-7B-Instruct.

• 명세 확인 에이전트 훈련 (ProCAD-clarifier):

  • 6,063개의 샘플로 구성된 합성 데이터셋을 통해 에이전트 SFT(Agentic SFT) 방식으로 훈련됩니다.
  • 합성: 검증된 명세에 치수를 누락하거나 충돌을 도입하여 모호한 프롬프트를 생성합니다.
  • 궤적(Trajectories): 훈련 데이터에는 에이전트가 질문을 던지고 (사용자 시뮬레이터로서의 GPT-5-mini로부터) 수정된 명세에 도달하기 위해 사용자 답변을 받는 전체 에이전트 궤적이 포함됩니다.
  • 목표: 모호함을 식별하고 이를 해결하는 데 필요한 최소한의 질문 세트를 학습하는 것입니다.

3. 주요 기여

1. 선제적 에이전트 프레임워크: 정적인 one-shot 생성에서 코드 생성 전에 선제적으로 모호함을 탐지하고 해결하는 동적인 두 에이전트 시스템으로의 패러다임 전환을 이루었습니다.
2. 큐레이션된 고품질 데이터셋: 엄격한 누출 및 완결성 검사를 거친 10K text-to-CadQuery 데이터셋을 구축하여, 더 깨끗하고 정밀한 묘사가 다운스트림 코드 합성을 크게 향상시킨다는 것을 입증했습니다.
3. 최소한의 데이터를 통한 효율적 훈련:
   • 코딩 에이전트는 단 1.6K개의 미세 조정 샘플만으로 뛰어난 성능을 달져내며, 기존의 강력한 폐쇄형 모델들을 능가했습니다.
   • 명세 확인 에이전트는 6,063개의 궤적을 가진 합성 데이터셋을 통해 모호함을 효과적으로 처리하도록 훈련되었습니다.
4. 모호성에 대한 견고성: 미지정되거나 충돌하는 프롬프트에 직면했을 때 유효하지 않은 코드 생성과 기하학적 오류를 크게 줄였습니다.

4. 실험 결과

실험은 모호하지 않은 테스트 세트와 모호한 테스트 세트에 대해 수행되었으며, ProCAD를 최첨단 모델(예: Claude Sonnet 4.5, GPT-4o-mini) 및 기존 오픈 소스 방법들과 비교하였습니다.

• 코딩 성능 (모호하지 않은 프롬프트):

  • ProCAD-coder는 **무효율 비율(Invalidity Ratio, IR)**을 zero-shot Qwen2.5의 ~86.9%에서 **0.9%**로 낮추었습니다.
  • 중앙값 Chamfer Distance(CD) 0.066 (스케일 $\times 10^{-3}$)을 달성하여, Claude Sonnet 4.5(0.077) 및 Text-CAD(0.097)와 같은 기존 방법보다 우수한 성능을 보였습니다.

• 명확화 성능 (모호한 프롬프트):

  • 시뮬레이션된 사용자 응답이 포함된 두 에이전트 설정에서, ProCAD(Clarifier + Coder)는 가장 낮은 Mean CD (0.63) 및 **Median CD (0.08)**를 기록했습니다.
  • 단일 모델인 Claude Sonnet 4.5의 무효율 비율이 14.6%인 것에 비해, ProCAD는 **무효율 비율을 0.9%**로 낮췄습니다.
  • 상호작용 품질: ProCAD는 가장 높은 효율성(Efficiency, 0.9654) 및 해결력(Resolution, 0.9341) 점수를 기록하였으며, 이는 불필요한 질문을 적게 하고 모호함을 성공적으로 해결했음을 나타냅니다.

• 일반화:

  • 사용자 시뮬레이터를 GPT-5-mini에서 Claude 4.5 Haiku로 교체했을 때도 높은 성능을 유지하여, 분포 외(out-of-distribution) 사용자 행동에 대한 견고성을 입증했습니다.
  • 인간 중심 평가: 실제 인간 어노테이터(100개 샘플)를 대상으로 한 테스트에서도 ProCAD-clarifier는 효율성, 해결력 및 최종 기하학적 충실도(Mean CD 1.28 vs 차순위 베이스라인 9.72) 측면에서 베이스라인을 계속해서 압도했습니다.

5. 의의 및 주장

본 논문은 ProCAD가 실무 엔지니어링 적용을 위한 robust한 text-to-CAD를 만드는 데 있어 중요한 진전임을 주장합니다. 주요 의의는 다음과 같습니다:

• 패러다임 전환: 모델이 누락된 정보를 추측하는 "반응적(reactive)" 생성에서, 정보를 요청하는 "선제적(proactive)" 명확화로 이동했습니다. 이는 엔지니어링 설계의 엄격한 기준에 더 부합합니다.
• 데이터 품질의 영향: 실험 결과는 텍스트 묘사의 품질이 핵심적인 병목 구간임을 시사합니다. 저자들은 강력한 베이스 모델이라 하더라도 품질이 낮거나 모호한 묘사는 실패로 이어지는 반면, 고품질의 검증된 묘사는 훨씬 작은 모델조차 거대한 최첨단 모델을 능가할 수 있음을 보여주었습니다.
• 효율성: 이 프레임워크는 상대적으로 작은 미세 조정 데이터셋(코딩 1.6K, 명확화 6K)을 통해 최첨단 수준의 견고성을 달성하였으며, 이는 반드시 거대한 규모(scale)가 신뢰할 수 있는 CAD 생성을 위해 필수적인 것은 아니라는 점을 시사합니다.

저자들은 향후 연구가 실제 인간과의 상호작용으로부터 대규모 모호성 데이터셋을 수집하고, 선제적 명확화 과정을 더욱 정교하게 만들기 위한 전용 사용자 시뮬레이터 모델을 개발하는 데 집중해야 한다고 결론지었습니다.