기술 요약: 캐스케이드 이산 확산 모델을 통한 컴퓨터 지원 설계 생성

1. 문제 제기

컴퓨터 지원 설계 (CAD) 는 현대 공학의 초석이지만, 그 생성 과정은 여전히 인간 오류에 취약한 노동 집약적 수동 워크플로우에 크게 의존하고 있습니다. 최근의 딥러닝 접근법들은 모델을 이산적 명령과 매개변수의 시퀀스로 표현하여 CAD 생성을 자동화하려 시도해 왔으나, 기존 방법들은 근본적인 한계에 직면해 있습니다.

현재 최첨단 방법들인 자기회귀 모델이나 연속 확산 모델 (예: Diffusion-CAD) 은 종종 이산적 CAD 토큰을 연속 유클리드 공간에 임베딩합니다. 저자들은 이러한 접근 방식이 CAD 데이터의 본질과 근본적으로 불일치한다고 주장합니다. CAD 토큰은 본질적으로 이산적이고 이질적입니다; 이를 연속 영역으로 투영하는 것은 의미적 이웃 관계를 보존하지 못합니다. 결과적으로, 연속 확산에서 사용되는 등방성 가우시안 노이즈는 표현을 의미상 유효하지 않거나 무의미한 CAD 기호로 매핑되는 영역으로 교란시켜, 생성된 설계의 기하학적 유효성을 훼손합니다.

2. 방법론

이러한 한계를 해결하기 위해, 본 논문은 **캐스케이드 이산 확산 모델 (Cascaded Discrete Diffusion Model, CDDM)**을 제안합니다. 이 프레임워크는 연속 임베딩이 아닌 범주형 토큰 분포에서 직접 작동하여 생성 전반에 걸쳐 의미적 일관성을 보장합니다. 아키텍처는 두 개의 순차적 단계로 나뉩니다:

A. 캐스케이드 아키텍처

생성 작업은 두 가지 조건부 확률로 인수분해됩니다: $p(M) = p(\zeta) p(\theta | \zeta)$, 여기서 $\zeta$는 이산적 CAD 명령의 시퀀스를 나타내고 $\theta$는 연관된 매개변수를 나타냅니다.

1. 명령 확산: 이산적 명령의 시퀀스 (예: Line, Circle, Extrude) 를 생성합니다.
2. 매개변수 확산: 생성된 명령에 조건부로 양자화된 매개변수를 생성합니다.

B. 순방향 과정: 기호 인식 전이 행렬

균일한 노이즈를 적용하는 표준 확산과 달리, CDDM 은 데이터의 특정 본질에 맞게 설계된 전이 행렬 ($Q_t$) 을 갖춘 마르코프 체인을 사용합니다:

• 명령의 경우: 흡수 상태 전이 행렬이 사용됩니다. 이는 토큰을 점진적으로 지정된 흡수 기호 쪽으로 오염시켜, 명령의 순차적 본질과 일치하는 방식으로 의미적 내용을 효과적으로 지웁니다.
• 매개변수의 경우: CAD 매개변수의 이질성을 인식하여, 저자들은 세 가지 특정 전이 커널을 설계합니다:
  • 좌표 매개변수: 가우시안 기반 커널이 사용되어 국소적 공간 연속성을 포착합니다 (예: 토큰 100 이 1 로 전이하는 것보다 99 나 101 로 전이할 가능성이 더 높도록 보장).
  • 치수 매개변수: 스케일 불변 커널이 사용됩니다. 이는 절대적 변화가 아닌 상대적으로 교란을 측정합니다 (예: $|i-j|/(i+j)$), 큰 치수의 1% 변화가 작은 치수의 1% 변화와 유사하게 처리되도록 보장합니다.
  • 부울 매개변수: 사전 보존 커널은 경험적 훈련 통계에 기반하여 유효한 범주로만 전이를 제한하여, 유효하지 않은 상태로 확산되는 것을 방지합니다.

C. 역방향 과정: 노이즈 제거 네트워크

오염된 상태로부터 깨끗한 데이터를 복구하는 것은 두 개의 서로 다른 네트워크가 처리합니다:

1. 명령 노이즈 제거기: 명령 토큰 간의 전역 의존성을 모델링하기 위해 멀티헤드 자기 어텐션을 갖춘 Transformer 인코더입니다.
2. 매개변수 노이즈 제거기: 다음을 포함하는 전용 Transformer 아키텍처입니다:
   • 전역 자기 어텐션: 장거리 의존성을 위해 사용됩니다.
   • 국소 자기 어텐션: 명령 수준 어텐션 마스크가 서로 다른 명령에 속하는 매개변수 간의 상호작용을 억제하여, 매개변수가 특정 명령과만 상관관계를 갖도록 보장하는 핵심 혁신입니다.
   • 교차 어텐션: 생성된 명령 시퀀스를 조건으로 주입하여 매개변수 생성을 안내합니다.

D. 조건부 생성

이 프레임워크는 PointNet 또는 길이 지표에서 온 조건부 특징을 명령 및 매개변수 특징과 융합하는 추가 교차 어텐션 레이어를 도입함으로써 (점 구름이나 특정 명령 길이에서와 같은) 조건부 생성을 지원합니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. CAD 를 위한 최초의 캐스케이드 이산 확산 프레임워크: 저자들은 연속 임베딩 없이 범주형 토큰에서 직접 작동하는 모델을 도입하여 의미적 일관성을 보존하고 연속 확산에서 흔히 발생하는 유효하지 않은 기하학을 방지합니다.
2. 기호 인식 전이 메커니즘: 이질적 매개변수를 위한 특정 전이 행렬 (좌표용 가우시안, 치수용 스케일 불변, 부울용 사전 보존) 의 설계는 연속 공간에서는 불가능한 제어 가능하고 토큰 유효한 오염 과정을 가능하게 합니다.
3. 명령 인식 매개변수 노이즈 제거 네트워크: 매개변수 상호작용을 명령 내에서 제한하는 국소 자기 어텐션과 교차 조건부화를 특징으로 하는 네트워크 아키텍처의 제안으로, 명령과 해당 매개변수 간의 구조적 관계를 명시적으로 모델링합니다.

4. 실험 결과

실험은 DeepCAD 데이터셋 (178,000 개 이상의 모델) 에서 수행되었습니다.

• 무조건부 생성: CDDM 은 여러 메트릭에 걸쳐 기존 자기회귀 모델 (DeepCAD, SkexGen) 과 연속 확산 베이스라인 (Diffusion-CAD) 을 능가했습니다. 특히, 커버리지 (COV) 가 89.10% (Diffusion-CAD 의 79.11% 대비) 를 달성했으며, 유효하지 않은 비율은 4.0% (Diffusion-CAD 의 4.1% 대비, B-rep 방법들의 20-30% 범위보다 현저히 낮음) 였습니다.
• 애블레이션 연구:
  • 캐스케이드 vs 통합: 명령과 매개변수를 단일 시퀀스로 취급하는 통합 확산 모델은 유효하지 않은 비율이 90% 를 초과하여, 캐스케이드 접근법의 필요성을 확인했습니다.
  • 이산 vs 연속: 매개변수 생성에 있어 이산 확산이 연속 확산을 크게 능가하여, 연속 노이즈가 이산 토큰 의미론을 교란한다는 주장을 검증했습니다.
  • 전이 행렬: 모든 매개변수에 균일 전이 행렬을 사용하는 것보다 제안된 혼합 전이 행렬 (가우시안, 스케일 불변, 사전 보존) 을 사용했을 때 더 우수한 결과가 도출되었습니다.
  • 어텐션 메커니즘: 매개변수 네트워크에서 전역 및 국소 자기 어텐션 레이어의 조합은 단일 레이어만 사용하는 것보다 더 우수한 성능을 보였습니다.
• 조건부 생성: 정성적 결과는 효과적인 제어 가능성을 입증하여, 특정 명령 길이를 가진 CAD 모델을 성공적으로 생성하고 점 구름 입력으로부터 유효한 CAD 시퀀스를 재구성했습니다.

5. 중요성 및 주장

본 논문은 제안된 CDDM 이 설계 데이터의 본질적인 이산적이고 이질적인 본질을 존중함으로써 자동화된 CAD 생성 분야에서 중요한 진전을 이루었다고 주장합니다. 연속 임베딩을 벗어나는 이 방법은 이전 확산 접근법들을 괴롭혀 온 의미적 불일치를 피합니다.

저자들은 이 작업을 해당 도메인에 캐스케이드 이산 확산 프레임워크를 성공적으로 적용한 첫 사례로 위치시킵니다. 그들은 기호 인식 전이 메커니즘과 명령 인식 어텐션 구조가 기하학적으로 유효하고 다양한 CAD 모델을 생성하는 강력한 솔루션을 제공하며, 무조건부 생성의 품질과 조건부 제어 가능성 모두에서 최첨단 수준을 능가한다고 단언합니다. 소스 코드는 추가 연구를 촉진하기 위해 공개될 예정입니다.