1. 문제 정의 (Problem)

기존의 3D 스타일 전이 (Style Transfer) 기술은 주로 고정된 참조 이미지 (Reference Image) 에 의존하여 3D 장면에 예술적 패턴을 적용합니다. 그러나 가상현실 (VR) 이나 증강현실 (AR) 과 같은 실제 응용 분야에서는 사용자가 텍스트 설명이나 다양한 이미지를 포함한 유연한 입력을 원합니다.

기존의 다중 모달리티 (Multi-modality) 접근법 (예: ConRF) 은 CLIP 의 텍스트 - 시각 쌍 특징을 VGG 스타일 특징 공간으로 매핑하려 시도했으나, 다음과 같은 한계가 있었습니다:

• 불완전한 정렬: CLIP 특징 분포의 모호성과 다양성으로 인해 텍스트/이미지 특징과 VGG 스타일 특징 간의 정렬이 거칠게 이루어짐.
• 화질 저하: 이로 인해 비정상적인 색상 변형 (Abnormal colors), 흐릿한 질감 (Blurred textures), 그리고 스타일 이미지와 텍스트 설명 간의 불일치가 발생함.
• 3D 일관성 부족: 3DGS(3D Gaussian Splatting) 기반의 실시간 렌더링과 예술적 스타일 전이를 결합한 연구가 부족하며, 기존 3DGS 기반 방법들은 주로 단일 스타일 전이에 국한됨.

2. 제안 방법론 (Methodology)

저자들은 M2StyleGS를 제안하여 3D 가우시안 스플래팅 (3DGS) 을 3D 표현 기반으로 사용하고, CLIP 으로 정제된 다중 모달리티 지식을 참조 스타일로 활용합니다. 주요 기술적 구성 요소는 다음과 같습니다.

가. 세분화 흐름 (Subdivisive Flow)

• 목적: CLIP 텍스트 - 시각 특징과 VGG 스타일 특징 간의 정렬 오류를 해결하고 색상 이상 현상을 방지.
• 원리: 단순한 매핑 (MSE Loss 기반) 대신 **상미분 방정식 (ODE)**을 기반으로 한 흐름 (Flow) 을 학습합니다.
  • 소스 도메인 (CLIP 특징) 에서 타겟 도메인 (VGG 특징) 으로 특징이 이동하는 경로를 ODE 를 통해 모델링합니다.
  • 세분화 (Subdivision): 정렬 과정을 여러 단계 (r rounds) 로 나누어, 이전 단계의 결과를 새로운 시작점으로 사용하여 정렬을 점진적으로 정교화합니다.
  • 이를 통해 중간 단계의 모든 특징 분포가 VGG 특징과 일관되도록 하여, 최종적으로 텍스트/이미지 참조에 맞는 정확한 색상 매핑을 달성합니다.

나. 보조 손실 함수 (Auxiliary Losses)

다중 뷰 일관성을 유지하면서 스타일 전이 성능을 향상시키기 위해 두 가지 새로운 손실 함수를 도입했습니다.

1. 관측 손실 (Observation Loss, $L_{obs}$):
   • 사전 훈련된 2D 스타일 전이 모델을 '관측 사전 (Observation Prior)'으로 활용합니다.
   • 생성된 3D 스타일 장면이 2D 참조 스타일 이미지와 전역적으로 더 잘 일치하도록 유도합니다.
2. 억제 손실 (Suppression Loss, $L_{sup}$):
   • 디코딩 과정에서 참조 색상 정보의 편차 (Offset) 를 전역적으로 억제합니다.
   • 다중 스케일 판별기를 사용하여 합성된 가짜 작품과 실제 2D 스타일 작품 간의 차이를 최소화하도록 학습시킵니다.

다. 전체 파이프라인

• 입력: 3D 장면 이미지 (다양한 각도) + 참조 스타일 (이미지 또는 텍스트).
• 처리: CLIP 인코더로 스타일 특징 추출 $\rightarrow$ Subdivisive Flow 를 통한 VGG 특징 공간 정렬 $\rightarrow$ AdaIN 모듈을 통한 가우시안 색상 변환 $\rightarrow$ 디코더를 통해 최종 3DGS 생성.
• 출력: 텍스트 또는 이미지 참조에 기반한 일관된 스타일화된 3D 장면 시퀀스.

3. 주요 기여 (Key Contributions)

1. 문제 원인 규명: 기존 연구에서 발생하는 색상 이상 현상이 거친 특징 도메인 전이 (Rough feature domain transfer) 와 불일치하는 특징 분포 때문임을 규명했습니다.
2. 새로운 정렬 기법 제안: ODE 함수를 활용한 Subdivisive Flow를 제안하여 CLIP 텍스트 - 시각 특징과 VGG 스타일 특징 간의 정밀한 정렬을 가능하게 했습니다. 이는 단순한 매핑을 넘어 중간 생성 특징들을 모두 통합합니다.
3. 보조 손실 도입: **관측 손실 (Observation Loss)**과 **억제 손실 (Suppression Loss)**을 도입하여 3D 장면 전체의 전이 품질을 높이고 다중 뷰 일관성을 보장했습니다.
4. 최고 성능 달성 (SOTA): 명시적 다중 모달리티 스타일 전이와 3DGS 를 통합하여, 기존 단일 입력 방식 및 다른 SOTA 방법들보다 장기 및 단기 일관성에서 우수한 성능을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: LLFF 및 Tanks & Temples 데이터셋을 사용했습니다.
• 정량적 평가:
  • 일관성 (Consistency): RMSE 및 LPIPS 지표를 사용하여 측정했습니다.
  • 이미지 참조 기준: ConRF 대비 단거리 일관성 (Short-range) LPIPS 가 32.92% 개선되었습니다.
  • 텍스트 참조 기준: ConRF 및 CLIPNeRF 등 다른 방법들보다 모든 메트릭에서 우수한 성능을 보였습니다.
• 정성적 평가:
  • 기존 방법 (ConRF, StyleGaussian 등) 이 겪던 흐릿한 질감이나 색상 불일치 문제를 해결하고, 선명하고 정확한 스타일 전이를 보여주었습니다.
  • 텍스트 프롬프트에 대한 이해도가 높아, CLIPNeRF 나 CLIPStyler 보다 더 풍부하고 의미 있는 색상 표현을 구현했습니다.
• Ablation Study: Subdivisive Flow 와 보조 손실 함수 ($L_{obs}, L_{sup}$) 가 제거될 경우 성능이 저하됨을 확인하여 각 구성 요소의 중요성을 입증했습니다.

5. 의의 및 결론 (Significance)

M2StyleGS 는 3D 콘텐츠 생성 분야에서 **실시간 (Real-time)**으로 작동하면서도 **다양한 입력 (텍스트/이미지)**을 처리할 수 있는 최초의 3DGS 기반 다중 모달리티 스타일 전이 프레임워크입니다.

• 기술적 혁신: CLIP 과 VGG 간의 특징 분포 불일치 문제를 ODE 기반의 세분화 흐름으로 해결하여, 3D 공간에서의 스타일 전이 정확도를 획기적으로 높였습니다.
• 응용 가능성: VR/AR, 게임, 디지털 아트 등 사용자가 즉각적이고 유연한 스타일 변경을 요구하는 다양한 3D 응용 분야에 직접 적용 가능한 잠재력을 가지고 있습니다.
• 향후 전망: 단일 이미지 스타일에 국한되지 않고 사용자의 의도 (텍스트 등) 를 정밀하게 반영하는 3D 콘텐츠 제작의 새로운 패러다임을 제시합니다.