기술 요약: 3D 생성 및 편집을 위한 이산 볼록 확산 (DVD)

1. 문제 제기

최근 3D 생성 모델링의 발전은 SLAT(Structured LATent) 파이프라인을 점점 더 많이 채택하고 있습니다. 이 파이프라인은 두 단계로 운영됩니다: 먼저 거친 형태를 정의하기 위해 희소 볼록 발판 (sparse voxel scaffold) 을 생성하고, 두 번째로 활성 볼록에 부착된 연속 잠재 특징을 예측하여 메쉬, 3DGS 또는 NeRF 로 고충실도 디코딩을 수행합니다.

그러나 이러한 파이프라인의 첫 번째 단계는 일반적으로 VAE 잠재 공간에서 작동하는 연속 확산 모델에 의존합니다. 이 접근법은 연속에서 이산으로의 변환을 강제하여 볼록 점유율이 연속적으로 생성된 후 임계값 처리를 통해 이산화됩니다. 저자들은 이 패러다임에 몇 가지 치명적인 문제점이 있음을 지적합니다:

• 아티팩트: 이진화 임계값 근처의 작은 오차가 볼록을 점유 상태에서 비어있는 상태로 (또는 그 반대로) 뒤집어, 메쉬화 과정을 거쳐도 지속되는 국소적 구멍이나 단편화된 조각을 생성합니다.
• 정렬 불일치: 볼록 점유율의 본질적 구조는 희소하고 이산적이지만, 이를 연속 분포로 모델링함으로써 해석 가능성을 떨어뜨리고 하류 편집을 복잡하게 만듭니다.
• 불확실성: 연속 모델은 가우스 사후 분포를 근사하므로, 불확실성을 명시적으로 정량화하거나 모호한 기하학적 영역을 식별하기 어렵습니다.

이 논문은 희소 볼록 점유율을 직접 이산 데이터로 모델링하는 것이 이 특정 하위 작업에 더 자연스럽고 효과적인 접근법이라고 주장합니다.

2. 방법론

2.1 이산 볼록 확산 (DVD)

핵심 기여는 SLAT 파이프라인의 첫 번째 단계에 적용된 이산 확산 (Discrete Diffusion) 프레임워크입니다. DVD 는 연속 잠재 공간을 생성하는 대신, 볼록 격자 $X \in \{0, 1\}^{N \times N \times N}$를 일련의 이산 토큰으로 취급합니다.

• 균일 상태 이산 확산 (USDM): 저자들은 모든 가능한 상태 (점유 또는 비어있음) 에 걸쳐 균일한 사전 분포를 갖는 USDM 을 채택합니다. 순방향 과정은 시간 의존적 확률에 따라 각 볼록을 0 또는 1 로 무작위 재할당합니다.
• 역과정: 모델은 노이즈가 있는 샘플이 주어졌을 때 깨끗한 상태에 대한 카테고리 분포 $q(x_0 | x_t)$를 예측합니다. 평균을 추정하는 연속 확산과 달리, 이산 모델은 각 볼록 상태에 대한 확률 분포를 명시적으로 출력합니다.
• 샘플링: 생성은 **조상 샘플링 (ancestral sampling)**을 통해 진행되며, 각 시간 단계에서 예측 사후 분포로부터 샘플을 추출합니다.

2.2 불확실성 추정

이산 형식의 독특한 특징은 예측 카테고리 분포에 대한 명시적 접근입니다. 저자들은 예측 엔트로피를 강력한 불확실성 지표로 활용합니다:

• 볼록 수준: 높은 엔트로피는 모델이 볼록이 점유되어야 하는지 여부를 확신하지 못하는 모호한 영역을 나타냅니다.
• 형태 수준: 볼록 엔트로피를 집계함으로써 (특히 0 에 가까운 시간 단계 $t=\epsilon$에서), 저자들은 경량 불확실성 점수($\gamma_{\epsilon, \rho}$) 를 유도합니다. 이 점수는 기하학적 복잡성과 상관관계가 있으며, 데이터 필터링, 품질 평가, 그리고 "어려운" 샘플 식별에 사용될 수 있습니다.

2.3 편집을 위한 블록 구조 교란 (BSP)

표준 이산 모델은 공간적으로 균질한 노이즈로 훈련되므로, 특정 영역이 마스킹 (알려짐) 되고 다른 영역이 손상되는 인페인팅이나 편집에는 적합하지 않습니다. 이러한 훈련 - 추론 간극을 해소하기 위해 저자들은 **블록 구조 교란 (Block-Structured Perturbation, BSP)**을 제안합니다:

• 전략: 미세 조정 (fine-tuning) 동안, 개별 볼록을 독립적으로 교란하는 대신, 모델은 다양한 크기의 **축 정렬 초입방체 (블록)**로 훈련됩니다.
• 메커니즘: 무작위 블록이 선택되어 손상되고, 나머지 볼륨은 대부분 온전하게 유지됩니다. 이는 국소 편집 시나리오를 시뮬레이션하여 모델이 깨끗한 맥락과 일관된 구조를 생성하도록 학습시킵니다.
• 효율성: 이를 통해 RePaint 와 같은 반복적 재샘플링 전략이나 추가 네트워크 평가 없이 단일 라운드 편집 및 인페인팅이 가능해집니다.

3. 주요 기여

1. 희소 볼록 생성을 위한 이산 확산: 이 논문은 SLAT 파이프라인의 첫 번째 단계를 위한 이산 확산 형식을 도입합니다. 이는 연속에서 이산으로의 임계값 처리 아티팩트를 피하며, 연속 기준 모델에 비해 더 작은 모델 크기와 더 적은 훈련 데이터로 대부분의 지표에서 향상된 성능을 달성합니다.
2. 명시적 불확실성 모델링: 저자들은 이산 확산이 본질적인 예측 확률을 제공하여 경량 엔트로피 기반 불확실성 점수 도출을 가능하게 함을 입증합니다. 이 점수는 모호한 기하학적 영역을 효과적으로 국소화하고 형태 복잡성의 대리 지표로 작용합니다.
3. BSP 를 통한 효율적 볼록 편집: 블록 구조 교란을 사용하는 새로운 미세 조정 전략이 제안되었습니다. 이는 보조 계산 없이 단일 샘플링 궤적 내에서 원활한 볼록 인페인팅 및 편집을 가능하게 하여 구조적 무결성을 유지합니다.

4. 실험 결과

저자들은 TripoSR 및 Toys4K 데이터셋을 사용하여 이미지-to-3D 및 텍스트-to-3D 작업에서 DVD 를 평가했으며, 연속 기준 모델인 TRELLIS 및 Direct3D-S2, TripoSR과 같은 다른 방법들과 비교했습니다.

• 정량적 성능: DVD 는 다음을 포함한 대부분의 평가 지표에서 연속 기준 모델 (TRELLIS) 을 능가했습니다:
  • FID (이미지 렌더링 $FID_D$ 및 점 구름 $FID_{PC}$ 모두).
  • 챔퍼 거리 (CD 및 볼록-to-메쉬 정렬을 위한 $CD_V$).
  • CLIP 점수 (프롬프트 정렬).
  • 주목할 점은 이러한 개선이 약 4 억 4 천만 파라미터 모델 (TRELLIS 의 약 5 억 5 천만 파라미터 대비) 과 약간 더 작은 훈련 세트로 달성되었다는 것입니다.
• 정성적 개선: 시각화 결과, DVD 는 얇은 층 구조에서 특히 두드러지게 연속 방법에서 흔히 발생하는 "구멍"과 단편화된 조각을 크게 줄였습니다.
• 불확실성 활용: 불확실성 점수는 소화기 손잡이나 버섯 모양 집의 지붕 세부 사항과 같은 복잡한 영역을 성공적으로 식별했습니다. 이 점수를 사용하여 데이터 증강 (높은 불확실성 형태의 오버샘플링) 을 수행하면 생성 품질이 추가로 향상되었습니다.
• 편집 성능: 인페인팅 작업에서 BSP 로 미세 조정된 모델은 높은 공간 일관성으로 누락된 기하학을 성공적으로 재구성한 반면, 미세 조정되지 않은 모델과 RePaint 를 포함한 연속 기준 모델들은 단편화되거나 정렬되지 않은 구조를 생성했습니다.

5. 중요성 및 주장

이 논문은 이산 볼록 확산이 SLAT 기반 3D 생성을 위한 실용적이고 효과적인 1 단계 사전 지식 (prior) 이라고 주장합니다. 그 중요성은 다음과 같습니다:

• 본질적 모델링: 볼록 점유율의 이산적이고 이진적인 특성과 생성 과정을 정렬시켜 임계값 처리 아티팩트를 제거합니다.
• 해석 가능성: 생성 역학의 검사와 불확실성 지표 도출을 가능하게 하는 명시적 카테고리 모델링을 제공하며, 이는 연속 확산에서는 얻기 어렵습니다.
• 효율성: 복잡한 반복적 샘플링 대신 단순한 미세 조정 (BSP) 을 통해 효율적인 편집 및 인페인팅을 가능하게 합니다.

저자들은 이산 확산이 실시간 응용 프로그램의 제한 사항인 수백 개의 샘플링 단계를 필요로 하지만, 희소 볼록 발판을 위한 우수한 귀납적 편향을 제공하여 더 견고하고 제어 가능한 3D 자산 생성의 길을 연다고 결론지었습니다. 향후 연구는 샘플링 가속화와 특징 및 볼록의 결합 이산 - 연속 모델링으로 이러한 원칙을 확장하는 데 초점을 맞추는 것이 제안됩니다.