기술 요약: PixSDS: 왜 잠재 SDS(Latent SDS)는 노이즈가 섞인 픽셀을 생성하는가

1. 문제 정의

Score Distillation Sampling (SDS)는 텍스트-3D 쌍 데이터 없이 사전 학습된 2D 확산 모델(diffusion models)을 활용하여 3D 표현을 최적화함으로써, 텍스트 기반 3D 생성 분야의 표준 기술로 자리 잡았습니다. 그러나 잠재 확산(latent-diffusion) 기반의 SDS 파이프라인은 구조적인 색상 패턴, 고주파 텍스처 노이즈, 노이즈가 섞인 부유하는 기하학적 구조(floating geometry)와 같은 시각적으로 방해가 되는 아티팩트(artifact)를 빈번하게 생성합니다.

기존 연구들은 SDS 목적 함수를 수정하거나, 최적화 절차를 변경하거나, 그래디언트 클리핑(clipping gradients)을 적용하는 등의 해결책을 제안해 왔으나, 이러한 아티팩트의 근본적인 원인은 여전히 불분명합니다. 본 논문은 **잠재 SDS(latent SDS)**에서 발생하는 특정 실패 모드, 즉 픽셀 공간 최적화와 잠재 확산 모델에서 사용되는 변이형 오토인코더(VAE) 표현 사이의 불일치를 식별합니다.

핵심 문제는 **VAE 유도 픽셀 드리프트(VAE-induced pixel drift)**입니다. 잠재 SDS에서 확산 손실(diffusion loss)은 오직 인코딩된 잠재 표현을 통해서만 최적화된 이미지를 제약합니다. 잠재 공간에서 픽셀 공간으로의 역매핑(inverse mapping)은 제약이 부족하기 때문에(시각적으로 구별되는 많은 이미지들이 유사한 잠재 코드로 매핑됨), 최적화된 이미지는 VAE 인코더에 의해 약하게 관찰되는 픽셀 공간 방향을 따라 드리프트될 수 있습니다. 결과적으로, 잠재 코드는 깨끗하고 의미론적으로 유효하게 유지되지만, 직접 최적화되는 픽셀 이미지는 구조적인 고주파 노이즈와 아티팩트를 축적하게 됩니다.

2. 방법론: PixSDS

이를 해결하기 위해 저자는 가볍고 VAE와 일관성을 유지하는 그래디언트 복구 방법인 PixSDS를 제안합니다. 이 방법은 확산 모델을 재학습하거나, 렌더러를 수정하거나, SDS 목적 함수를 교체할 필요가 없습니다. 대신, 각 최적화 단계에서 픽셀 공간의 업데이트 방향을 복구합니다.

핵심 메커즘

1. 잠재 룩어헤드(Latent Look-Ahead): 각 반복(iteration)마다 PixSDS는 표준 잠재 공간 SDS 업데이트($g_{sds}^{latent}$)를 계산합니다.
2. 깨끗한 방향을 위한 디코딩(Decoding for Clean Direction): 노이즈가 섞인 이미지 공간 그래디언트를 직접 적용하는 대신, 업데이트된 잠재 표현을 디코딩하여 "깨끗한" 타겟 이미지($\widehat{Z}$)를 생성합니다:
   $$\widehat{Z} = \text{dec}(\text{enc}(Z) - \beta g_{sds}^{latent})$$
   여기서 $Z$는 현재 이미지이며, $\beta$는 스텝 크기를 조절합니다. 이 $\widehat{Z}$는 이미지가 이동해야 할 방향에 대한 VAE 일관적인 근사치입니다.
3. 그래디언트 복구(Gradient Repair): 깨끗한 방향 벡터를 $g_{clean} = \widehat{Z} - Z$로 정의합니다. 이 벡터는 원래의 SDS 이미지 공간 그래디언트($g_{sds}$)와 결합됩니다.
4. 픽셀별 정규화(Per-Pixel Normalization): SDS의 의미론적 가이드와 노이즈 감소 효과 사이의 균형을 맞추기 위해, 이 방법은 깨끗한 방향의 크기를 원래 SDS 그래디언트의 픽셀별 채널 노름(per-pixel channel norm)에 맞게 정규화합니다:
   $$\widetilde{g}_{sds} = g_{sds} + \frac{g_{clean}}{\|g_{clean}\|} \odot \|g_{sds}\|$$
   이를 통해 업데이트가 원래 SDS 신호의 공간적 규모를 보존하면서도, 노이즈가 섞인 픽셀 공간의 움직임을 VAE 잠재 공간과 일관된 방향으로 대체하도록 보장합니다.

3. 진단 및 증거

본 논문은 VAE 매핑을 아티팩트 생성의 충분한 메커니즘으로 격리하는 통제된 실험을 통해 "VAE 유도 픽셀 드리프트" 가설을 검증합니다.

• 텐서 형태(Tensor Shape): 저해상도 잠재 확산 모델(128$\times$128)을 사용해도 여전히 구조적인 아티팩트가 발생하므로, 텐서 형태 자체가 원인은 아님을 입증했습니다.
• 픽셀 공간 최적화: 작은 픽셀 공간 확산 모델(VAE 없이)을 사용하여 픽셀에서 직접 SDS를 실행하면 특정 구조적 아티팩트 없이 현실적인 이미지가 생성됩니다. 이는 SDS 최적화 자체가 유일한 원인이 아님을 보여줍니다.
• VAE 전용 최적화: 이미지를 오직 VAE 인코더 목적 함수( $\|\text{enc}(Z) - x\|_2^2$ 최소화)만을 사용하여 최적화하면, 최적화된 이미지는 잠재 SDS와 유사한 구조적 노이즈 패턴을 발달시키는 반면, 디코딩된 잠재 코드는 깨끗하게 유지됩니다. 이는 VAE의 제약이 부족한 역매핑이 깨끗한 잠재값과 노이즈가 섞인 이미지 사이의 불일치를 일으키기에 충분함을 확인시켜 줍니다.

4. 주요 기여

1. 실패 모드 식별: 본 논문은 VAE 유도 픽셀 드리프트를 잠재 SDS에서 구조적 아티팩트가 발생하는 주요 원인으로 식별했습니다. 여기서 픽셀 공간 파라미터는 노이즈를 축적하는 반면, 그들의 VAE 잠재값은 의미론적으로 유효하게 유지됩니다.
2. 이론적 및 경험적 진단: 저자는 인코더와 유사한 잠재 목적 함수가 픽셀로의 역매핑이 제약이 부족할 때 어떻게 이미지 공간의 노이즈를 증폭시키는지 보여주는 통제된 2D 실험과 단순화된 이론적 분석을 제공합니다.
3. PixSDS 알고리즘: 잠재 SDS 룩어헤드 단계를 디코딩하여 깨끗한 픽셀 공간 업데이트 방향을 구축하는 가벼운 그래디언트 복구 방법을 소개합니다.
4. 경험적 검증: Pix-SDS가 통제된 2D 최적화 및 텍스트-3D 생성 파이프라인(특히 DreamGaussian 및 LucidDreamer)에서 로컬 디테일을 보존하면서 구조적 아티팩트를 실질적으로 감소시킨다는 것을 입증했습니다.

5. 결과

NVIDIA V100 GPU를 사용하여 2D 이미지 생성 및 텍스트-3D 작업에 대한 실험이 수행되었습니다.

• 2D 생성: 텍스트 프롬프트로부터 이미지를 최적화하는 통제된 환경에서, PixSDS는 FID, BRISQUE(이미지 품질), CLIP-IQA Noisiness 측면에서 SDS 스타일의 방법들 중 가장 좋은 점수를 기록했습니다. 정성적 결과는 SDS, SDS-Bridge, HiFA, NFSD와 같은 베이스라인과 비교했을 때 구조적 노이즈와 색상 아티팩트가 크게 감소했음을 보여주었으며, 2-step-SDS보다 로컬 디테일(예: 물체의 구조)을 더 잘 보존했습니다.
• 3D 생성: DreamGaussian 및 LucidDreamer 파이프라인에 통합되었을 때, PixSDS는 표준 SDS에 비해 더 깨끗한 텍스처와 노이즈가 섞인 부유하는 가우시안(floating Gaussians)을 적게 생성했습니다. 이 방법은 광범위한 하이퍼파라미터 튜닝 없이도 헬멧의 노이즈 섞인 텍스처나 자산 주변의 부유하는 아티팩트와 같은 문제를 줄였습니다.

6. 의의 및 주장

본 논문은 VAE 잠재-픽셀 매핑의 기하학적 구조가 잠재 SDS 최적화에서 중요하며, 이전에는 과소평가되었던 요소라고 주장합니다. PixSDS의 의의는 확산 사전 지식(diffusion prior)의 의미론적 가이드와 VAE의 제약 없는 역매핑으로 인한 노이즈 증폭을 분리할 수 있는 능력에 있습니다.

저자는 자신들의 접근 방식이 **겸손하고 상보적(modest and complementary)**임을 강조합니다. 이는 새로운 스코어 증류 목적 함수나 새로운 3D 표현을 제안하는 것이 아닙니다. 대신, 기존의 SDS 스타일 목적 함수와 결합할 수 있는 가벼운 복구 메커니즘을 제공합니다. 결과는 향후 스코어 증류 방법들이 단순히 큰 그래디언트를 억제하는 것을 넘어, 픽셀 공간의 드리프트를 방지하기 위해 VAE 매핑 기하학을 고려해야 함을 시사합니다.