3D Multi-View Stylization with Pose-Free Correspondences Matching for Robust 3D Geometry Preservation

1. 연구 배경 및 문제 정의 (Problem Statement)

• 배경: 단일 이미지나 비디오에 대한 신경망 스타일 전이 (Neural Style Transfer) 는 잘 연구되어 있으나, 3D 장면을 포착한 멀티뷰 (Multi-view) 이미지에 스타일을 적용하는 것은 여전히 어렵습니다.
• 핵심 문제: 기존 방법들은 각 뷰 (화면) 를 독립적으로 스타일링하는 경향이 있어, **시점 간 대응 관계 (Cross-view Correspondences)**가 깨집니다. 이로 인해 다음과 같은 문제가 발생합니다.
  • 뷰에 따라 텍스처가 흐르는 (Texture Drift) 현상.
  • 가장자리 (Edge) 가 왜곡되거나 불일치하는 그림자 발생.
  • 3D 재구성 및 SLAM (Simultaneous Localization and Mapping) 성능 저하: 스타일링으로 인해 특징점 (Keypoints) 의 반복성 (Repeatability) 이 떨어지고, 단안 깊이 (Monocular Depth) 예측이 불안정해져 3D 기하학적 정보가 손실됩니다.
• 목표: 카메라 포즈 (Camera Pose) 나 명시적인 3D 표현 (NeRF, Mesh 등) 을 훈련 단계에서 가정하지 않으면서도, 기하학적 일관성을 유지하는 동시에 예술적 스타일을 전달하는 멀티뷰 스타일링 프레임워크를 개발하는 것입니다.

2. 제안된 방법론 (Methodology)

저자는 Pose-Free (포즈 불필요) 멀티뷰 스타일링을 위한 피드포워드 (Feed-forward) 네트워크를 제안하며, 훈련 시 테스트 타임 최적화 (Test-time Optimization) 방식을 사용합니다.

A. 네트워크 아키텍처

• Stylizer Network: 입력 이미지를 스타일링된 이미지로 변환하는 CNN 기반 네트워크.
  • Residual CNN: 간단한 잔차 블록 기반 구조로, 기하학적 구조를 보존하는 데 유리함.
  • U-Net: 인코더 - 디코더 구조와 스킵 커넥션을 통해 고주파수 정보 (에지, 세부 사항) 를 보존하고 스타일 전이 능력을 강화함.
• Style Conditioning: 단일 모델로 여러 스타일을 처리하기 위해 **Conditional Instance Normalization (CIN)**을 사용하여 스타일 ID 에 따라 스타일 매개변수를 조절하는 멀티스타일 확장도 수행함.

B. 손실 함수 (Loss Functions)

스타일링의 미적 품질과 3D 기하학적 안정성을 동시에 확보하기 위해 다음과 같은 복합 손실 함수를 사용합니다:

1. 스타일 및 콘텐츠 손실 (Perceptual Losses):

   • Content Loss: VGG-19 의 relu4_2 레이어에서 추출한 특징을 사용하여 원본 이미지의 구조와 의미론적 레이아웃을 보존.
   • Style Loss (AdaIN-inspired): VGG-19 의 여러 레이어 (relu1_1 ~ relu4_1) 에서 추출한 특징의 채널별 평균과 분산 (통계량) 을 참조 스타일 이미지와 일치시킴.

2. 대응 기반 기하학적 일관성 손실 (Correspondence-based Geometry Loss, $L_{SG}$):

   • 핵심 아이디어: 스타일링된 이미지가 다른 뷰에서도 매칭 가능한 특징을 유지하도록 강제.
   • 구현: SuperPoint (특징점 검출) 와 SuperGlue (매칭) 를 사용.
   • 과정:
     1. 원본 멀티뷰 이미지에서 SuperPoint 특징을 미리 계산하여 캐시.
     2. 훈련 중 하나의 '앵커 (Anchor)' 뷰를 스타일링하고, 이 뷰의 SuperPoint 특징을 추출.
     3. 스타일링된 앵커와 다른 뷰 (원본) 간의 SuperGlue 매칭을 수행.
     4. 매칭된 특징점의 디스크립터 (Descriptor) 일관성을 손실 함수로 정의. 스타일링으로 인해 매칭 가능한 구조가 흐트러지지 않도록 패널티 부여.
   • 의의: 카메라 포즈 없이도 시점 간 기하학적 안정성을 보장.

3. 깊이 보존 손실 (Depth Preservation Loss, $L_{Depth}$):

   • 구현: 고정된 (Frozen) MiDaS/DPT 모델을 사용하여 단안 깊이 예측을 수행.
   • 도메인 어라인먼트: 스타일링된 이미지의 색상 분포가 깊이 모델의 훈련 도메인과 달라 발생하는 편향을 줄이기 위해, 원본 이미지의 색상 통계량을 스타일 이미지에 맞춰 전역적으로 조정 (Global Color Transfer) 한 후 깊이 예측을 수행.
   • 손실: 원본 뷰의 깊이 맵과 스타일링된 뷰의 깊이 맵 간의 차이를 최소화 (Normalized Depth Matching).

4. 가중치 스케줄링 (Warmup + Ramp):

   • 훈련 초기에는 스타일 손실만 적용하여 네트워크가 스타일을 학습하도록 함.
   • 이후 $L_{SG}$와 $L_{Depth}$의 가중치를 점진적으로 증가시켜 (Warmup 및 Ramp), 초기 불안정한 상태에서 기하학적 손실이 스타일 학습을 방해하거나 네트워크가 원본에 수렴하는 것을 방지.

3. 주요 기여 (Key Contributions)

1. 포즈 불필요 (Pose-Free) 대응 기반 기하학 보존: 카메라 포즈나 3D 재구성을 훈련에 사용하지 않으면서, SuperPoint/SuperGlue 기반의 대응 손실을 통해 멀티뷰 간 기하학적 일관성을 명시적으로 규제하는 새로운 프레임워크 제안.
2. 실용적인 도메인 어라인먼트를 통한 깊이 정규화: 스타일링으로 인한 색상 변화가 깊이 예측을 방해하는 문제를 해결하기 위해, 색상 통계 정렬을 통한 도메인 어라인먼트 단계를 도입하고 깊이 보존 손실을 적용.
3. SLAM 기반 정량적 평가 프로토콜: 기존 이미지 수준의 평가 (CHD, DSD) 를 넘어, DROID-SLAM을 실행하여 카메라 궤적 오차 (ATE/RTE) 와 재구성된 포인트 클라우드의 Chamfer Distance 를 측정함으로써, 스타일링된 이미지가 실제 3D 파이프라인에서 얼마나 유용한지 직접 평가.
4. 멀티스타일 및 일반화: 조건부 U-Net 과 CIN 을 활용하여 단일 모델로 여러 스타일을 처리하고, 훈련된 모델이 보지 못한 새로운 장면 (Unseen Scenes) 으로도 기하학적 안정성을 유지하며 스타일을 전이할 수 있음을 입증.

4. 실험 결과 및 평가 (Results & Evaluation)

• 데이터셋: Tanks and Temples, Mip-NeRF 360 의 다양한 장면 (Train, Truck, Horse, Lighthouse 등) 과 다양한 스타일 (Starry, Mosaic, Abstract 등) 을 사용.
• 비교 대상: 최신 멀티뷰 일관성 스타일링 방법인 MuVieCAST와 비교.
• 정량적 결과:
  • 3D 일관성 (SLAM Metrics): 제안된 방법은 MuVieCAST 대비 **ATE (Absolute Trajectory Error)**와 **RTE (Rotation Trajectory Error)**가 크게 감소 (예: Train 장면에서 ATE 약 47% 개선). 재구성된 포인트 클라우드의 Chamfer Distance도 현저히 낮아져 3D 기하학적 구조가 더 잘 보존됨을 보여줌.
  • 정적 지표: 스타일 일치도 (CHD) 는 일부 장면에서 MuVieCAST 보다 약간 낮을 수 있으나, 구조 보존도 (DSD) 는 모든 장면에서 개선됨.
  • Ablation Study: $L_{SG}$ (대응 손실) 와 $L_{Depth}$ (깊이 손실) 를 모두 적용했을 때 3D 재구성 안정성이 가장 크게 향상됨. 특히 $L_{SG}$는 국소적 특징점의 반복성을, $L_{Depth}$는 전역적 구조를 보존하는 데 상호 보완적임.
• 정성적 결과:
  • MuVieCAST 는 시점에 따라 텍스처가 흐르거나 (Texture Swimming), 가장자리가 휘는 현상이 관찰됨.
  • 제안된 방법은 에지와 구조가 시점 간에 일관되게 유지되며, SLAM 궤적 시각화에서도 원본 RGB 와 매우 유사한 경로를 추적함.
  • 실제 사진 스타일 전이: 가을, 비, 눈과 같은 실제 사진 스타일을 적용할 때도 기하학적 구조가 손상되지 않고 계절적/기상적 분위기가 잘 전달됨.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: 이 연구는 스타일링된 이미지가 단순히 예술적으로 아름답기만 한 것이 아니라, AR/VR, 로봇 공학, 3D 재구성과 같은 하위 작업 (Downstream Tasks) 에서 **기하학적으로 사용 가능 (Geometrically Usable)**해야 함을 강조합니다.
• 혁신성: 카메라 포즈나 복잡한 3D 모델링 없이, 이미지 기반의 대응 관계와 깊이 정보를 활용하여 3D 일관성을 보장하는 경량화된 프레임워크를 제시했습니다.
• 향후 방향: 매우 추상적인 스타일이나 저텍스처 영역에서의 매칭 신뢰도 향상, 더 강력한 대응자 (Matcher) 들의 통합 등을 통해 스타일 - 기하학 트레이드오프를 더욱 최적화할 수 있을 것입니다.

결론적으로, 본 논문은 스타일링과 3D 기하학적 무결성을 동시에 달성할 수 있는 새로운 패러다임을 제시하며, 멀티뷰 스타일링이 실제 3D 애플리케이션에 통합될 수 있는 길을 열었습니다.