기술 요약: DiLAST – 2D 확산을 통한 일반화 가능한 스타일 해방

문제 제기

3D 생성 모델 (예: Trellis, UniLat, Hunyuan3D) 의 급속한 발전으로 텍스트나 이미지로부터 고충실도 3D 에셋을 합성할 수 있게 되었습니다. 그러나 3D 스타일 전이에는 여전히 치명적인 한계가 존재합니다. 기존 방법들은 대부분 기반 3D 생성 모델의 고유한 능력에 의존합니다. 이러한 모델들은 특정 분포로 훈련되는 경우가 많아, 분포 외 (OOD) 스타일 이미지가 제시될 때 성능이 현저히 저하되거나 완전히 실패합니다. StyleSculptor 와 MorphAny3D 와 같은 현재 접근법들은 내부 주의 메커니즘에 의존하기 때문에 분포 변화에 강건하지 않아 임의의 스타일로 일반화하는 데 어려움을 겪습니다. 이는 사용자가 제약 없이 스타일 이미지를 선택하는 실제 시나리오에서 그 적용 범위를 제한합니다.

방법론: DiLAST

이를 해결하기 위해 저자들은 DiLAST(3D 스타일 전이를 위한 2D 확산 기반 잠재 각성) 라는 테스트 시간 최적화 프레임워크를 제안합니다. 3D 생성기를 재훈련하거나 아키텍처를 수정하는 대신, DiLAST 는 사전 훈련된 2D 잠재 확산 모델 (LDM) 을 "교사"로 활용하여 구조화된 3D 잠재의 노이즈 제거 궤적을 안내합니다.

핵심 메커니즘

1. 아키텍처 및 디코딩: 이 방법은 (Trellis 등의) 구조화된 3D 잠재 표현을 활용하며, 이를 3D 가우스 스플래팅 (3DGS) 형태의 3D 포맷으로 디코딩하여 다중 뷰 이미지의 효율적이고 미분 가능한 렌더링을 가능하게 합니다.
2. 3-분기 최적화: 프레임워크는 사전 훈련된 2D LDM(예: Stable Diffusion) 내에서 세 개의 병렬 분기로 작동합니다.
   • 콘텐츠 분기: 콘텐츠 이미지에서 생성된 3D 에셋의 렌더링된 뷰를 입력받습니다.
   • 스타일 분기: 목표 OOD 스타일 이미지를 직접 입력받습니다.
   • 최적화 분기: 최적화 중인 3D 에셋의 렌더링된 뷰를 입력받습니다. 결정적으로, 이 분기는 첫 번째 생성 단계의 희소 구조를 유지하지만, 스타일을 학습하는 동안 구조적 이탈을 방지하기 위해 콘텐츠 이미지의 회색조 버전을 조건으로 사용합니다.
3. 주의 증류: 핵심 혁신은 주의 증류를 통한 스타일 안내 전이에 있습니다. 이 방법은 최적화 분기의 자기 주의 맵과 스타일 분기의 교차 주의 맵 간의 차이를 계산합니다. 이 차이를 최소화함으로써 최적화 분기는 스타일 분기의 주의 패턴 (따라서 스타일) 을 채택하도록 안내받으며, 콘텐츠 분기는 구조적 충실도를 보장합니다.
4. 경사 조종: 3D 잠재에 대한 전체 손실의 경사가 계산되어 3D 잠재 공간의 노이즈 제거 궤적을 조종하는 데 사용됩니다. 3D 생성기의 플로우 트랜스포머 파라미터는 고정된 채로 유지되며, 잠재 궤적만 조정됩니다.

손실 함수

총 최적화 목적 함수 ($L_{total}$) 는 네 가지 구성 요소로 이루어집니다.

• 주의 증류 손실 ($L_{AD}$): 목표 스타일을 전이하기 위해 최적화 분기의 주의를 스타일 분기와 정렬합니다.
• 콘텐츠 손실 ($L_C$): 최적화 분기의 쿼리 특징이 콘텐츠 분기와 일치하도록 하여 기하학적 구조와 기반 구조를 보존합니다.
• 플로터 제거 손실 ($L_{FR}$): "떠다니는 가우스 (원래 실루엣에서 기하학이 과도하게 이탈하는 아티팩트)"를 방지하기 위해 알파 합성 맵을 정규화합니다.
• 색상 스펙클 억제 손실 ($L_{CSS}$): 포화 아티팩트와 부자연스러운 색상 패치를 방지하기 위해 인접 볼륨 색상 간의 큰 불일치에 페널티를 부과합니다.

주요 기여

본 논문은 다음 사항들을 식별하고 해결합니다.

• 한계 식별: 저자들은 기존 3D 스타일 전이 방법들이 OOD 스타일에서 실패하는 원인이 모델 용량 부족이 아니라, 구조화된 3D 잠재 공간에 내재된 표현 잠재력의 미활용에 있음을 지적합니다.
• DiLAST 프레임워크: 2D 확산 교사를 사용하여 3D 생성기의 훈련 분포로부터 스타일 전이를 분리하는 플러그 앤 플레이 방식의 테스트 시간 최적화 방법입니다.
• 잠재 표현력: 이 연구는 제한된 데이터로 훈련되었음에도 구조화된 3D 잠재들이 상당한 표현 잠재력을 지니고 있다는 통찰을 제공합니다. 적절한 확산 안내를 통해 이러한 잠재들은 잠재 공간의 특정 방향으로 조종되어 다양한 OOD 스타일화를 달성할 수 있습니다.
• 일반화: 이 방법은 모델 재훈련 없이도 여러 3D 생성 백본 (Trellis, UniLat3D, Hunyuan3D) 과 다양한 스타일 입력에서 효과성을 입증했습니다.

실험 결과

콘텐츠용 TRELLIS-500K 데이터셋과 스타일용 InstantStyle-Plus 를 사용하여 광범위한 실험이 수행되었습니다.

• 정량적 성능: DiLAST 는 인간 선호도 점수 (HPSv3), 미적 점수 (AS), 사용자 선호도 (UP) 를 포함한 모든 지표에서 기존 방법 (MorphAny3D, StyleSculptor) 을 크게 능가합니다. 특히 특정 프롬프트 하에서 성능이 향상되어 콘텐츠 보존과 스타일 전이 사이의 더 나은 균형을 보여줍니다.
• 정성적 결과: 시각적 비교에서 기존 방법들은 OOD 스타일과 함께 아티팩트를 생성하거나 완전히 실패하는 반면, DiLAST 는 기하학적 일관성을 유지하면서 네온 사이버펑크, 먹물 수채화, 큐비즘 등 다양한 스타일을 성공적으로 전이합니다.
• 애블레이션 연구: 특정 손실 구성 요소를 제거하면 명확한 실패가 발생합니다.
  • $L_C$가 없으면 심각한 콘텐츠 누출이 발생합니다.
  • $L_{FR}$이 없으면 떠다니는 가우스가 나타납니다.
  • $L_{CSS}$가 없으면 색상 아티팩트 (부자연스러운 포화 패치) 로 인해 시각적 품질이 저하됩니다.
• 플러그 앤 플레이 기능: 이 방법은 UniLat3D 와 Hunyuan3D 에 성공적으로 적용되어 다양한 3D 잠재 공간 및 생성 파이프라인과의 호환성을 확인했습니다.

중요성 및 주장

본 논문은 DiLAST 가 일반화 가능한 3D 스타일화를 향한 중요한 단계라고 주장합니다. 방대한 데이터셋으로 훈련된 2D 확산 모델의 강건성을 활용함으로써, 이 방법은 3D 생성기가 임의의 스타일을 처리할 수 있도록 잠재 능력을 "각성"시킵니다. 저자들은 이 접근법이 3D 모델의 재훈련 필요성을 피하여 스타일 입력이 제약 없는 실제 응용 분야에 유연한 솔루션을 제공한다고 강조합니다. 이 연구는 구조화된 3D 잠재의 잠재력이 과소평가되어 왔으며, 확산 안내가 이러한 잠재들을 원하는 미적 결과로 조종하는 강력한 메커니즘임을 시사합니다.

저자들은 이 방법의 성능이 사용된 사전 훈련된 2D 및 3D 모델의 품질에 달려 있으며, 이러한 기반 모델이 발전함에 따라 더 많은 개선이 예상된다고 지적합니다. 또한 향후 작업에서 스타일 전이를 넘어 더 광범위한 3D 편집 작업으로 확장될 가능성을 강조합니다.