PLLM: Pseudo-Labeling Large Language Models for CAD Program Synthesis

1. 문제 정의 (Problem)

• 배경: 컴퓨터 지원 설계 (CAD) 프로그램은 3D 기하학적 형상을 생성하는 파라메트릭 명령어 시퀀스입니다. 주어진 3D 형상 (Shape) 에서 이를 역추적하여 CAD 프로그램을 복원하는 것은 3D 모델의 의미론적 편집, 수정, 그리고 컴팩트한 표현을 위해 중요한 과제입니다.
• 현황 및 한계: 최근 대규모 언어 모델 (LLM) 은 CAD 프로그램 합성 분야에서 뛰어난 성과를 보이고 있으나, 기존 방법론들은 지도 학습 (Supervised Learning) 에 의존합니다. 이는 3D 형상과 그에 대응하는 정답 (Ground-truth) CAD 프로그램이 쌍으로 된 데이터가 필수적입니다.
• 핵심 문제: 실제 산업 현장이나 대규모 CAD 저장소 (예: ABC 데이터셋) 에는 고품질의 3D 형상은 풍부하지만, 이를 생성한 CAD 프로그램 레이블이 존재하지 않는 경우가 대부분입니다. 이러한 레이블 부재 (Lack of labeled data) 는 새로운 도메인이나 CAD 언어로 모델 확장성을 제한하는 주요 병목 현상입니다.

2. 제안 방법론: PLLM (Methodology)

저자들은 레이블이 없는 3D 형상 데이터셋을 활용하여 CAD 프로그램을 합성하는 자가 학습 (Self-training) 프레임워크인 PLLM 을 제안합니다. 이 프레임워크는 모델의 출력을 최종 예측이 아닌, 합성 데이터 생성의 시작점으로 간주합니다.

핵심 프로세스 (4 단계)

1. 프로그램 샘플링 (Program Sampling):
   • 사전 훈련된 CAD 전용 LLM (기존 DeepCAD 데이터셋으로 훈련된 CAD-Recode) 을 사용하여, 레이블이 없는 타겟 도메인의 3D 형상 ($x^*$) 에 대해 여러 개의 후보 프로그램 ($z_i$) 을 확률적 디코딩 (Nucleus Sampling) 을 통해 생성합니다.
2. 실행 및 선별 (Execution & Selection):
   • 생성된 모든 후보 프로그램을 CAD 실행기 (CadQuery) 에 입력하여 3D 기하학을 생성합니다.
   • 생성된 형상과 입력된 원본 형상 간의 체임퍼 거리 (Chamfer Distance, CD) 를 계산하여 정합도를 평가합니다.
   • CD 가 가장 낮은 (가장 정밀한) 프로그램을 선택하여 초기 합성 감독 신호 (Synthetic Supervision) 로 사용합니다.
3. 프로그램 수준 데이터 증강 (Program-Level Data Augmentation):
   • 단순히 선택된 프로그램만 사용하는 것을 넘어, 프로그램 확장 (Expansion) 과 단축 (Shortening) 기법을 적용하여 데이터 다양성을 높입니다.
     • 확장: 기존 작업 공간에 추가 연산을 붙이거나 새로운 스케치 - 특징 시퀀스를 생성하여 복잡도를 높입니다.
     • 단축: 상위 수준의 불리언 연산 (Union, Cut 등) 을 제거하여 문법적으로 유효하지만 더 간결한 변형을 생성합니다.
   • 이를 통해 기하학적 일관성은 유지하되, 프로그램 구조와 길이의 다양성을 확보합니다.
4. 반복적 자기 훈련 (Iterative Self-Training):
   • 선별되고 증강된 프로그램 - 형상 쌍 (Synthetic Pairs) 을 사용하여 모델을 LoRA (Low-Rank Adaptation) 기법으로 미세 조정 (Fine-tuning) 합니다.
   • 이 과정을 여러 번 반복하며, 모델이 개선될수록 더 높은 품질의 합성 데이터를 생성하고, 이는 다시 모델의 성능을 향상시키는 선순환 구조를 만듭니다.

3. 주요 기여 (Key Contributions)

1. PLLM 프레임워크 도입: 레이블이 없는 3D 데이터셋을 위해 CAD 프로그램을 합성하고 풍부하게 만들어 감독 신호를 구축하는 자가 학습 프레임워크를 최초로 제안했습니다.
2. 고급 데이터 합성 전략: 단순 샘플링을 넘어, 프로그램의 실행 피드백을 기반으로 한 선별과 프로그램적 편집 (확장/단축) 을 결합하여 다양하고 정보량이 풍부한 프로그램 - 형상 쌍을 생성하는 전략을 제시했습니다.
3. 성능 입증: DeepCAD 로 훈련된 CAD-Recode 모델을 레이블이 없는 ABC 데이터셋에 적용했을 때, 기하학적 정밀도 (Geometric Fidelity) 와 프로그램 다양성이 일관되게 향상됨을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

• 데이터셋: DeepCAD(훈련용) 에서 ABC(타겟 도메인, 레이블 없음) 로의 적응 실험을 수행했습니다.
• 정량적 평가:
  • Chamfer Distance (CD): 5 회 반복 학습 (Iteration) 을 거치면서 CD 가 지속적으로 감소하여 기하학적 정합도가 크게 향상되었습니다 (기초 모델 26.12 → PLLM 9.73).
  • IoU (Intersection over Union): CD 최적화에 집중함에 따라 초기에는 증가했으나, 후기에는 표면 정합에 집중하면서 부피 일치도가 약간 감소하는 경향을 보였습니다.
  • 프로그램 길이: 초기에는 제한된 토큰 수 (768) 로 인해 길이가 제한되었으나, 증강 전략을 통해 최대 1200 토큰까지 확장되어 더 복잡한 형상을 표현할 수 있게 되었습니다.
• 비교 실험:
  • 생성된 프로그램과 실행 결과만 짝짓는 Baseline 1, 입력 형상과 생성 프로그램을 짝짓는 Baseline 2 등 다양한 전략과 비교했습니다.
  • PLLM 은 가장 낮은 CD를 기록하며 다른 모든 베이스라인을 압도했습니다. 특히, 증강된 데이터를 사용한 것이 단순 샘플링보다 모델 일반화 능력에 훨씬 효과적이었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • CAD 프로그램 합성 분야에서 지도 학습 데이터의 의존성을 탈피할 수 있는 새로운 패러다임을 제시했습니다.
  • 레이블이 없는 대규모 3D 데이터셋 (ABC 등) 을 활용하여 모델을 새로운 도메인에 적응시킬 수 있는 가능성을 열었습니다.
  • 실행 기반 (Execution-guided) 피드백을 통해 합성 데이터의 신뢰성을 보장하고, 프로그램 다양성을 인위적으로 확장하는 방법론은 다른 도메인의 프로그램 합성에도 적용 가능한 통찰을 제공합니다.
• 한계:
  • 계산 비용: 반복적인 샘플링, 실행, 필터링 과정으로 인해 상당한 컴퓨팅 자원 (GPU 시간) 이 소요됩니다. (6 회 반복에 약 150 시간 소요).
  • 그러나 이는 수동 주석을 대체하는 자동화된 감독 구축의 필수적인 트레이드오프로 간주됩니다.

결론적으로, PLLM 은 레이블이 없는 3D 형상 데이터로부터 고품질의 CAD 프로그램을 학습할 수 있는 강력한 자기 학습 프레임워크를 제시하여, CAD 역공학 및 생성 모델의 확장성을 크게 높인 연구입니다.