WildShadowRemover: In-the-Wild Video Shadow Removal via Detail-Preserving Video Diffusion Models

기술 요약: WildShadowRemover

문제 정의
제약이 없는 "in-the-wild" 환경에서의 비디오 그림자 제거는 복잡한 조명, 다양한 그림자의 형태, 그리고 고품질 학습 데이터의 부족으로 인해 여전히 중요한 과제로 남아 있습니다. 그림자는 장면 이해를 위한 유용한 단서를 제공하지만, 객체 추적, 내재적 분해(intrinsic decomposition), 이미지 편집과 같은 응용 분야에는 부정적인 영향을 미칩니다. 기존 방법론들은 두 가지 주요 한계점에 직면해 있습니다:

1. 데이터 부족: 쌍을 이룬(paired) 그림자/그림자 없는 데이터셋은 규모와 장면의 다양성 측면에서 제한적입니다. 초기 데이터셋(예: ISTD, SRD)은 통제된 환경에 의존하며, 최근의 합성 데이터셋(예: OmniSR, Infinigen)은 주로 실내 환경에 집중되어 있어 도시 거리나 UAV(무인 항공기)가 촬영한 장면의 복잡성을 포괄하지 못합니다.
2. 모델의 한계: 현재의 접근 방식은 종종 단일 이미지 확산 모델(diffusion models)이나 특정 작업 전용 아키텍처에 의존하며, 이는 시공간적 일관성(temporal consistency)을 모델링하는 데 어려움을 겪습니다. 이미지 확산 모델이 유망한 결과를 보여주기는 하지만, 비디오 프레임 전반에 걸쳐 객체와 그 그림자 사이의 시공간적 상관관계를 명시적으로 포착할 수는 없습니다.

방법론
저자들은 강력한 비디오 그림자 제거를 위해 사전 학습된 비디오 확산 모델(구체적으로 Wan-Control 변형 모델)을 적응시킨 프레임워크인 WildShadowRemover를 제안합니다. 이 방법은 잠재 공간(latent space)에서 작동하며, 생성 능력과 세부 사항 보존 사이의 균형을 맞추기 위해 2단계 전략을 채택합니다:

1. LoRA 미세 조정을 통한 잠재 비디오 확산(Latent Video Diffusion):

   • 본 프레임워크는 RGB 및 깊이(depth) 조건을 사용하여 제어 가능한 비디오 생성을 지원하는 flow-matching 패러다임 기반의 사전 학습된 Wan-Control 모델을 활용합니다.
   • 처음부터 학습하는 대신, 저자들은 확산 트랜스포머(Diffusion Transformer, DiT) 블록을 미세 조정하기 위해 **LoRA (Low-Rank Adaptation)**를 사용합니다. 이를 통해 대부분의 사전 학습된 가중치는 동결된 상태로 유지하면서 매개변수 효율적인 적응이 가능합니다.
   • 모델은 입력 그림자 비디오($X$)와 **Depth Anything 3 (DA3)**에 의해 추정된 단안 깊이 지도($D$)를 조건으로 합니다. 이러한 기하학적 인지 가이드는 까다로운 조명 조건 하에서 모델이 장면 구조를 이해하도록 돕습니다.
   • 확산 과정은 거친(coarse) 그림자 없는 잠재 표현을 예측하며, 이는 다시 거친 그림자 없는 비디오($\hat{Y}_0$)로 디코딩됩니다.

2. 세부 사항 주입 및 주파수 분해 변조(Detail Injection and Frequency-Decomposed Modulation):

   • 확산 과정에서 손실된 미세한 질감을 복구하기 위해, 저자들은 동결된 VAE 디코더를 보강하는 **세부 사항 주입 모듈(Detail Injection Module)**을 도입합니다.
   • 세부 사항 주입 중 그림자 아티팩트가 재도입되는 것을 방지하기 위해, 저자들은 그림자 마스크 유도 주파수 분해 변조(Shadow-Mask-Guided Frequency-Decomposed Modulation, FDM) 모듈을 제안합니다.
   • 메커니즘: 입력 그림자 비디오와 거친 예측값을 비교하여 소프트 그림자 마스크를 추정합니다. FDM 모듈은 특징을 저주파 및 고주파 성분으로 분해합니다. 그 후, 그림자 마스크로부터 예측된 아핀(affine) 파라미터를 사용하여 이러한 성분들을 선택적으로 변조합니다. 이를 통해 모델은 고주파 텍스처(세부 사항)를 복원하는 동시에 고주파 그림자 아티팩트는 억제할 수 있습니다.
   • 복잡한 조명 아래에서의 세부 사항 복원을 가이드하기 위해 DA3의 기하학적 사전 정보(geometry priors) 또한 이 모듈에 통합됩니다.

주요 기여

• WildShadowRemover 프레임워크: 사전 학습된 비디오 파운데이션 모델의 LoRA 미세 조정과 새로운 세부 사항 주입 메커니즘을 결래한, in-the-wild 비디오 그림자 제거를 위한 확산 기반 프레임워크입니다. 이는 복잡한 질감을 효과적으로 보존하면서 복잡한 그림자를 제거하고 시공간적 일관성을 유지합니다.
• WildShadow 데이터셋: 대규모 합성 쌍(paired) 비디오 그림자 제거 데이터셋인 WildShadow를 구축했습니다. 이는 다양한 실내(3D-FRONT, HSSD), 도시 실외(iCity), 자연 실외(Infinigen) 환경을 포괄합니다.
• 벤치마크: HSSD 및 새롭게 구축된 iCity 장면을 포함하여 다양한 합성 장면에 대한 일반화 성능을 평가하기 위한 종합적인 벤치마크를 도입했습니다.
• 성능: 광범의 실험을 통해 본 방법이 합성 및 실제 세계 벤치마크 모두에서 최첨단(state-of-the-art) 성능을 달성하였으며, 그림자 제거 품질, 시공간적 일관성 및 일반화 측면에서 기존 방식들을 크게 앞선다는 것을 입증했습니다.

결과 및 주장
본 논문은 WildShadowRemover가 기존 방법들보다 우수한 시각적 품질과 함께 시간적으로 일관된 그림자 없는 비디오를 생성한다고 보고합니다. 주요 결과는 다음과 같습니다:

• 시공간적 일관성: 사전 학습된 비디오 확산 모델의 시공 공간적 사전 지식을 활용함으로써, 본 방법은 단일 이미지 방식에는 결여된 기능인, 객체의 움직임과 일치하는 일관된 장면 콘텐츠 및 그림자 진화를 유지합니다.
• 세부 사항 보존: 주파수 분해 변조 모듈은 그림자 패턴을 재도입하지 않고도 고주파 세부 사항(예: 가는 구조, 질감)을 성공적으로 복원합니다.
• 일반화: WildShadow 데이터셋의 다양성과 사전 학습된 파운데이션 모델의 견고함 덕분에, 도시 거리 및 UAV 촬영 영상을 포함한 도전적인 in-the-wild 시나리오 전반에서 강력한 일반화 능력을 보여줍니다.
• 다재다능함: 비디오용으로 설계되었으나, 아키텍처 수정 없이 단일 이미지 그림자 제거 작업에도 직접 적용할 수 있으며, 표준 이미지 벤치마크(ISTD+, SRD, INS)에서 경쟁력 있는 결과를 보여줍니다.

의의
저자들은 본 연구를 데이터와 모델의 한계로 인해 그동안 크게 탐구되지 않았던 "in-the-wild" 비디오 그림자 제거 문제를 해결하기 위한 단계로 규정합니다. 대규모 비디오 파운데이션 모델을 적응시키고 기하학적 인지 및 주파수 선택적 세부 사항 복원을 도입함으로써, 이 프레임워크는 시공간적으로 일관되고 고충실도의 그림자 제거에 대한 핵심적인 요구를 해결합니다. 이러한 능력은 일관된 그림자 없는 비디오가 필수적인 3D 콘텐츠 생성 및 내재적 분해와 같은 다운스트림 응용 분야에 유익함을 강조합니다. 본 논문은 이들의 접근 방식이 특정 작업 전용 아키텍처를 넘어, 대규모 비디오 사전 학습을 통해 학습된 객체와 그림자 사이의 내재적 상관관계를 활용한다는 점을 강조합니다.