AnyStyle: Single-Pass Multimodal Stylization for 3D Gaussian Splatting

AnyStyle: 단일 패스 멀티모달 스타일라이제이션을 위한 3D 가우시안 스플래팅 기술 요약

문제 정의
피드포워드(feed-forward) 3D 재구성 방식, 특히 3D 가우시안 스플래팅(3DGS)의 급격한 발전은 희소하고 포즈 정보가 없는 이미지 컬렉션으로부터 몇 초 만에 사실적인 3D 에셋을 생성할 수 있게 했습니다. 그러나 이러한 파이프라인에 예술적 스타일링이나 외형 제어를 통합하는 작업은 여전히 미개척 분야로 남아 있습니다. 기존 방식들은 두 가지 주요 한계점에 직면해 있습니다:

1. 제한된 제어 가능성: 현재의 방식들은 거의 전적으로 단일 이미지 기반 조건부 설정에 의존합니다. 이는 스타일 제어를 시각적 예시물에 국한시켜, 새로운 참조 이미지를 찾지 않고도 "붓터치"나 "색조"를 조절하는 것과 같은 미세한 시맨틱 조작의 여지를 거의 제공하지 못합니다.
2. 구조적 경직성: 최첨단 피드포워드 스타일링 모델(예: Styl3R, Stylos)은 일반적으로 기하학적 재구성 백본과 스타일링 브랜치를 처음부터 공동으로 학습시켜야 합니다. 이는 모듈성을 저하시키고, 새로운 또는 기존의 재구성 아키텍처에 이러한 방식을 적용하기 어렵게 만듭니다.

방법론
저자들은 모듈식 멀로모달 접근 방식을 통해 이러한 한계점을 해결하는, 포즈가 필요 없는 제로샷(zero-shot) 3D 스타일링을 위한 피드포워드 프레임워크인 AnyStyle을 제안합니다.

• 아키텍처: AnyStyle은 사전 학습된 AnySplat 백본을 기반으로 한 듀얼 브랜치 설계를 채택합니다.

  • 동결된 백본 (Frozen Backbone): 기하학적 무결성, 카메라 포즈, 3D 포인트 분포를 보존하기 위해 원래의 AnySplat 백본(Aggregator 및 Camera/Depth 헤드 포함)은 동결된 상태를 유지합니다.
  • 스타일 브랜치 (Style Branch): 병렬 브랜치는 복제된 가우시안 헤드($\tilde{H}_{gs}$)와 어그리게이터($\tilde{A}$)로 구성됩니다. 이 브랜치는 장면의 외형을 적응시키기 위해 미세 조정(fine-tuning)됩니다.
  • 가우시안 어댑터 (Gaussian Adapter): 이 모듈은 동결된 백본의 기하학적 파라미터($\mu, s, \sigma$)와 스타일 브랜치의 스타일화된 특징($\tilde{r}, \tilde{c}$)을 결합하여, 스타일링 과정에서 기하학적 정확도가 저하되지 않도록 보장합니다.

• 멀티모달 조건부 설정 (Multimodal Conditioning): 시스템은 텍스트 프롬프트와 참조 이미지를 모두 스타일 입력으로 지원합니다. 두 입력 모두 장거리 시맨틱과 미세한 속성을 포착하기 위해 Long-CLIP을 사용하여 공유된 CLIP 특징 공간으로 임베딩됩니다. 텍스트와 이미지 임베딩 사이의 잔여 모달리티 격차를 완화하기 위해, 훈련 전략은 텍스트 조건부 배치와 이미지 조건부 배치를 교대로 수행합니다.

• 제로 컨볼루션 스타일 주입 (Zero-Convolution Style Injection): ControlNet에서 영감을 받은 핵심 메커니즘은 스타일 인젝터(Style Injector) 모듈입니다. 내부 어텐션 메커니즘(Query, Key, Value)을 수정하는 대신, 스타일 정보는 **제로 초기화된 컨볼루션(zero-initialized convolutions)**을 통한 가산적 조건부 설정을 통해 주입됩니다.

  • 스타일 임베딩은 투영되어 제로 초기화된 컨볼루션 레이어를 통과합니다.
  • 초기화 단계에서 이 레이어는 0을 출력하므로, 미세 조정을 시작하기 전에는 네트워크가 사전 학습된 AnySplat 모델과 동일하게 동작하도록 보장합니다.
  • 주입은 어그리게이터의 출력(헤드 주입) 또는 어그리게이터 내 선택된 중간 레이어(어그리게이터 주입)에서 발생할 수 있어 레이어별 적응을 허용합니다.

• 훈련 목적 함수 (Training Objectives): 훈련 손실은 다음을 결합합니다:

  • 콘텐츠 손실 (Content Loss): 장면 구조를 보존하기 위한 VGG 기반 지각 손실(perceptual loss).
  • 스타일 손실 (Style Loss): 렌더링된 이미지와 참조 스타일 간의 채널별 특징 통계(평균 및 표준 편차) 일치.
  • CLIP 손실 (CLIP Loss): 렌더링된 출력을 CLIP 공간 내에서 스타일 입력과 정렬하는 방향성 손실로, 미세한 질감 일관성을 위해 전역적 및 로컬 이미지 패치 모두에 적용됩니다.

주요 기여

1. 멀티모달 제로샷 스타일링: AnyStyle은 공유된 CLIP 임베딩 공간을 통해 텍스트와 시각적 스타일 제어를 통합한 최초의 피드포워드 3D 재구성 방법으로, 장면별 최적화 없이도 연속적인 보간 및 시맨틱 정교화가 가능합니다.
2. 모듈식, 아키텍처 불가지론적 설계: 제로 초기화된 컨볼루션을 사용하여 스타일을 주입함으로써, 내부 메커니즘을 변경하거나 처음부터 다시 학습할 필요 없이 모든 사전 학습된 어텐션 기반 재구성 모델에 스타일링 브랜치를 추가할 수 있습니다.
3. 효율성: 이 방법은 단일 순방향 패스(forward pass)로 스타일링된 3D 장면을 생성하며, 입력 이미지당 0.1초 미만이 소요되어 장면별 최적화 방식보다 훨씬 빠릅니다.

결과

• 정량적 성능: 여러 장면(Train, Truck, M60, Garden)에 대한 평가에서, AnyStyle은 이미지 및 텍스트 입력 모두에 대해 모든 피드포워드 방식 중 가장 우수한 ArtFID 점수를 달려냅니다. 또한 텍스트 프롬프트를 사용할 때 가장 높은 ArtScore를 달성했습니다.
• 정성적 성능: 시각적 비교 결과, AnyStyle은 기존 방식들보다 미세한 디테일과 전체적인 장면 구조를 더 잘 보존하며, ClipGaussian과 같은 텍스트 가이드 방식에서 나타나는 시맨틱 아티팩트(semantic artifacts)를 방지함을 보여줍니다.
• 사용자 조사: 40명의 참가자를 대상으로 한 연구에서 AnyStyle은 스타일링 품질 측면에서 Styl3R보다 통계적으로 유의미하게 높은 선호도를 보였으며, 콘텐츠 보존 능력은 대등한 수준으로 평가되었습니다.
• 어블레이션 연구 (Ablation Studies): 실험을 통해 시맨틱 정렬을 위한 CLIP 손실의 필요성을 확인하였으며, 헤드 레벨에서의 스타일 주입이 효과적이지만 중간 레이어 주입이 유연성을 제공한다는 점을 입증했습니다.

의의
본 논문은 AnyStyle이 스타일 제어를 기하학적 재구성과 분리함으로써 제어 가능한 3D 스타일링을 진전시킨다고 주장합니다. 이를 통해 사용자는 장면별 최적화 없이 단일 피드포워드 패스를 통해 표현력이 풍부하고 유연하며 직관적인 3D 에셋 제어가 가능합니다. 자연어를 통한 스타일 정교화나 이미지 보간을 가능하게 함으로써, 이 방법은 게임 제작, 영화 제작, 화상 회의와 같은 분야에서 확장 가능한 3D 에셋 생성을 위한 실질적인 솔루션을 제공합니다. 아키텍처 불가지론적 특성은 다양한 트랜스포머 기반 재구성 모델에 대한 폭넓은 적용 가능성을 시사합니다.