1. 문제 정의 (Problem)

스테레오 비디오 인페인팅 (Stereo Video Inpainting) 은 왜곡된 비디오의 가려진 영역 (occluded regions) 을 시각적으로 일관된 내용으로 채우면서 시간적 일관성을 유지하는 작업입니다. 이는 AR/VR 콘텐츠 생성 및 모노큘러 (단안) 비디오를 스테레오 (양안) 비디오로 변환하는 데 필수적입니다. 그러나 현재 이 분야는 다음과 같은 두 가지 주요 난관에 직면해 있습니다:

1. 데이터 부족 및 품질 문제: 고품질의 스테레오 인페인팅 데이터셋이 부족하여 모델이 효과적인 인페인팅 사전 지식 (priors) 을 학습하기 어렵습니다. 기존 방법들은 포워드 워핑 (forward warping) 을 사용하여 새로운 뷰를 생성하는데, 이로 인해 물체 경계에서 픽셀이 흩어지거나 (scattered pixels) 불연속적인 마스크가 생성되어 데이터 품질과 인페인팅 성능을 저하시킵니다.
2. 비효율적인 계산 (Redundant Computation): 프레임의 대부분은 수정이 필요 없는 영역임에도 불구하고, 기존 방법들은 모든 픽셀을 균일하게 처리합니다. 확산 모델 (Diffusion Models) 기반의 DiT(Diffusion Transformer) 는 토큰 수에 따라 $O(N^2)$ 의 복잡도를 가지므로, 불필요한 토큰 처리로 인해 고해상도 (HD) 비디오의 실시간 처리가 불가능합니다.

2. 제안된 방법론 (Methodology)

저자들은 위 문제를 해결하기 위해 세 가지 상호 연결된 구성 요소를 제안합니다.

가. 경계 인식 시차 워핑 (Gradient-Aware Parallax Warping, GAPW)

• 목적: 기존 포워드 워핑의 단점 (흩어진 픽셀, 불연속적인 마스크) 을 해결하여 매끄러운 가장자리와 정확한 가려짐 영역을 생성합니다.
• 기술: 역방향 워핑 (backward warping) 과 좌표 매핑 함수의 기울기 (gradient) 를 결합합니다.
  • 역방향 워핑을 통해 타겟 이미지의 각 픽셀 값을 보간하여 할당합니다.
  • 좌표 변환 함수의 야코비안 (Jacobian) 행렬을 계산하여 픽셀의 변형 정도를 파악합니다.
  • 변형이 큰 영역 (가려짐 발생 영역) 을 임계값을 통해 식별하여 매끄러운 가려짐 마스크 (occlusion mask) 를 생성합니다.

나. 시차 기반 이중 투영 (Parallax-Based Dual Projection, PBDP)

• 목적: 스테레오 비디오 없이도 고품질의 스테레오 인페인팅 데이터셋을 구축합니다.
• 기술:
  1. 단안 비디오 (View 1) 와 깊이 추정기 (Depth Estimator) 를 사용하여 시차 (Disparity) 를 예측합니다.
  2. 제안된 GAPW를 사용하여 View 1 에서 View 2 로 워핑된 비디오와 시차 맵을 생성합니다.
  3. 다시 GAPW 를 사용하여 View 2 를 View 1 로 역워핑하여 가려짐 마스크를 생성합니다.
  4. 최종적으로 (원본 비디오, 가려짐 마스크) 쌍을 학습 데이터로 활용하여 스테레오 인페인팅 모델을 학습시킵니다. 이 방식은 스테레오 카메라가 필요 없어 데이터 확장성이 뛰어납니다.

다. 희소성 인식 스테레오 인페인팅 (Sparsity-Aware Stereo Inpainting, SASI)

• 목적: 인페인팅이 필요한 영역이 전체 프레임의 일부에 불과하다는 점을 활용하여 계산 비용을 대폭 절감합니다.
• 기술:
  • 마스크 기반 토큰 선택 (Mask-Based Token Selection): 가려진 영역과 그 경계 주변의 토큰만 선택하고, 나머지 불필요한 토큰 (~70% 이상) 을 제거합니다.
  • 확산 모델 가속화: 선택된 토큰만 Diffusion Transformer (DiT) 에 입력하여 연산을 수행합니다.
  • 결과: 토큰 수를 줄임으로써 DiT 의 어텐션 연산 복잡도를 낮추고 추론 속도를 획기적으로 향상시킵니다.

3. 주요 기여 (Key Contributions)

1. GAPW 제안: 포워드 워핑 대신 역방향 워핑과 기울기 정보를 활용하여 흩어진 픽셀이 적고 매끄러운 마스크를 생성하는 새로운 워핑 기법 개발.
2. PBDP 전략: 스테레오 비디오 없이 단안 비디오만으로 고품질의 스테레오 인페인팅 데이터셋을 생성하는 방법론 제시.
3. SASI 및 실시간 처리: 시각 토큰의 중복성을 제거하여 DiT 추론 속도를 10.7 배 가속화. 단일 A100 GPU 에서 768x1280 해상도의 HD 비디오를 25 FPS 로 실시간 처리 가능하게 함.

4. 실험 결과 (Results)

• 성능 (Quality): HD-100 벤치마크에서 제안된 방법은 PSNR 30.48 dB, SSIM 0.900, LPIPS 0.053을 기록하여 기존 스테레오 변환 방법 (StereoCrafter, ZeroStereo 등) 과 일반 비디오 인페인팅 모델 (ProPainter, VACE) 을 압도했습니다. 특히 1 단계 추론 (NFE=1) 만으로 최고 성능을 달성했습니다.
• 속도 (Speed):
  • 기존 방법들은 수백~수천 ms 의 지연 시간을 보인 반면, 제안된 방법은 40.1 ms/frame (약 25 FPS) 의 실시간 속도를 달성했습니다.
  • 토큰을 70% 이상 제거함으로써 10.7 배의 속도 향상을 이루었습니다.
• 2D-to-3D 변환: Dynamic Replica 및 SVD 데이터셋에서도 PSNR, SSIM, LPIPS 모든 지표에서 최상의 성능을 보였으며, 물체의 질감과 깊이 (disparity) 가 선명하게 재구성되었습니다.
• 강건성: 시차 (disparity) 가 큰 환경 (넓은 베이스라인) 에서도 성능 저하가 미미하여 인간 눈의 간격에 해당하는 3D 경험을 제공하는 데 유효함을 입증했습니다.

5. 의의 및 결론 (Significance)

DreamStereo 는 스테레오 비디오 생성의 핵심 병목 현상이었던 데이터 구축의 어려움과 계산 비용의 비효율성을 동시에 해결했습니다.

• 데이터 측면: 고비용의 스테레오 카메라 없이도 고품질의 학습 데이터를 자동 생성할 수 있는 파이프라인을 제시하여 연구 및 산업 적용의 장벽을 낮췄습니다.
• 시스템 측면: 확산 모델의 계산 복잡도를 인페인팅 작업의 '희소성' 특성에 맞춰 최적화함으로써, 고해상도 비디오의 실시간 3D 변환을 가능하게 했습니다.
• 미래 영향: 이 기술은 AR/VR 콘텐츠 제작, 모노큘러 영상 라이브러리에서의 3D 콘텐츠 재창조, 실시간 3D 스트리밍 등 다양한 분야에서 혁신적인 가능성을 열어줍니다.