From Ideal to Real: Stable Video Object Removal under Imperfect Conditions

이 논문은 그림자, 급격한 움직임, 결함이 있는 마스크와 같은 현실 세계의 불완전한 조건에서도 안정적인 비디오 객체 제거를 가능하게 하는 세 가지 핵심 설계 (MUSE, DA-Seg, 커리큘럼 2 단계 학습) 를 통해 새로운 최첨단 성능을 달성한 'Stable Video Object Removal (SVOR)' 프레임워크를 제안합니다.

핵심

🎥 "이상적인 세상"에서 "현실의 세상"으로: 완벽한 영상 지우기 기술 (SVOR)

이 논문은 **"영상 속 원치 않는 물체를 지우는 기술"**에 대한 연구입니다. 하지만 기존 기술들이 가진 치명적인 약점을 해결하고, 실제 세상에서 일어나는 복잡한 상황에서도 완벽하게 작동하는 새로운 방법 (SVOR) 을 제안합니다.

이 기술을 쉽게 이해하기 위해 사진관과 편집자의 비유를 들어 설명해 드릴게요.

---

1. 문제: 왜 기존 기술은 실패할까요? (이상 vs 현실)

기존의 영상 지우기 기술들은 마치 **"완벽한 조건만 갖춘 사진관"**에서 일하는 편집자처럼 행동합니다.

• 이상적인 조건: 편집자는 물체의 윤곽선이 아주 정확하고 (완벽한 마스크), 물체가 천천히 움직이며, 그림자나 반사광 같은 부수적인 효과도 깔끔하게 처리된다고 가정합니다.
• 현실의 문제: 하지만 실제 세상은 그렇지 않습니다.
  • 급격한 움직임: 사람이 갑자기 뛰어오르거나 카메라가 흔들리면, 편집자가 "어디로 갔지?" 하고 혼란에 빠집니다. (물체가 사라지거나 깜빡거림)
  • ** imperfect한 마스크:** 물체 테두리가 흐릿하거나, 그림자가 포함되지 않은 불완전한 지시서 (마스크) 를 받으면, 편집자는 "이 그림자도 지워야 하나?" 고민하다가 실수를 합니다.
  • 부수 효과: 물체를 지웠는데 그 물체의 그림자나 반사광은 그대로 남아 어색해 보입니다.

이 논문은 **"실제 세상처럼 messy( messy) 한 상황에서도 흔들리지 않는 편집자"**를 만들었습니다.

---

2. 해결책: SVOR 의 3 가지 비밀 무기

저자들은 이 문제를 해결하기 위해 세 가지 핵심 전략을 개발했습니다.

🛡️ 무기 1: MUSE (물체 찾기 망)

• 상황: 물체가 갑자기 움직일 때, 편집자가 한 번에 한 장의 사진만 보고 지시서를 받으면, 그 순간 물체가 어디에 있었는지 놓쳐버립니다. (예: 1 초에 4 장을 찍는데, 1 장만 보고 "여기 없네?"라고 하면 물체가 사라진 걸로 착각함)
• 해결책 (MUSE): 편집자가 **"시간 창 (Window)"**을 하나 씌웁니다. 이 창 안의 모든 프레임에서 물체가 보였던 모든 위치를 합쳐서 하나의 큰 지시서로 만듭니다.
• 비유: 물체가 빠르게 지나가는 것을 볼 때, "어디 있었지?"라고 한 번만 보는 게 아니라, "그 시간대에 물체가 지나간 모든 흔적을 다 모아서" 지우라는 명령을 내리는 것입니다. 이렇게 하면 급격한 움직임에서도 물체가 남지 않고 깔끔하게 지워집니다.

🔍 무기 2: DA-Seg (스마트 보조 편집자)

• 상황: 지시서 (마스크) 가 찢어지거나, 일부가 빠진 상태 (불완전한 마스크) 로 들어오면, 기존 편집자는 "이건 지울까, 말까?" 고민하다가 물체를 남기거나 배경을 망칩니다.
• 해결책 (DA-Seg): 메인 편집자 옆에 **작은 '스마트 보조 편집자'**를 붙였습니다. 이 보조 편집자는 지시서가 불완전해도, 영상 속 노이즈와 움직임을 분석해 "물체가 실제로 어디에 있었을지" 스스로 추측 (내부 위치 정보) 합니다.
• 비유: 메인 편집자가 "이 부분 지워줘"라고 말했을 때, 보조 편집자가 "아, 지시서가 찢어졌지만, 저기 그림자 모양을 보면 물체가 여기 있었을 거야. 내가 그 부분을 정확히 가리켜 줄게"라고 도와주는 것입니다. 이 보조 편집자는 메인 작업을 방해하지 않고, 오직 위치만 정확히 알려주는 역할만 합니다.

🎓 무기 3: 커리큘럼 2 단계 훈련 (우선 배경, 그다음 지우기)

• 상황: 처음부터 복잡한 물체와 그림자, 불완전한 지시서를 모두 한 번에 배우면 편집자가 혼란스러워합니다.
• 해결책: 두 단계로 나누어 가르칩니다.
  • 1 단계 (배경 학습): 물체 없이 아름다운 배경만 있는 영상을 보여주며 "빈 공간을 어떻게 자연스럽게 채울지"를 먼저 배웁니다. (물체를 지우기 전에 배경을 잘 그리는 법을 익힘)
  • 2 단계 (실전 훈련): 이제 물체와 그림자가 있는 영상을 보여주며, 불완전한 지시서를 주고 "물체와 그림자를 함께 지워라"라고 훈련시킵니다.
• 비유: 요리사가 처음부터 복잡한 요리를 만들지 않고, 먼저 재료 손질과 소스 만드는 법을 익힌 뒤, 실제 손님에게 대접할 요리를 만드는 것과 같습니다.

---

3. 결과: 현실 세계에서도 빛을 발하다

이 새로운 기술 (SVOR) 은 다음과 같은 성과를 냈습니다.

• 그림자 제거: 물체를 지우면 그림자도 함께 사라져 자연스럽습니다.
• 깜빡임 없음: 물체가 빠르게 움직여도 영상이 흔들리지 않고 안정적입니다.
• 불완전한 지시서도 OK: 사람이 직접 그은 imperfect한 테두리나, 일부가 빠진 마스크에서도 잘 작동합니다.

📝 한 줄 요약

**"완벽한 조건을 기다리지 말고, 실제 세상의 혼란스러움 속에서도 흔들리지 않고 물체와 그림자를 깔끔하게 지워주는, 똑똑한 영상 편집 기술"**입니다.

이 기술은 영상 편집, AR(증강현실), 영화 후반 작업 등에서 **"원치 않는 물체를 지우는 것"**을 훨씬 쉽고 자연스럽게 만들어 줄 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

기존의 비디오 객체 제거 (Video Object Removal, VOR) 기술들은 이상적인 환경 (정밀한 마스크, 부드러운 운동, 그림자/반사 효과 없음) 에서는 우수한 성능을 보이지만, 실제 세계의 불완전한 조건에서는 심각한 성능 저하를 겪습니다. 주요 문제점은 다음과 같습니다.

• 불완전한 마스크 안내 (Imperfect Mask Guidance): 실제 환경에서는 SAM(Segment Anything Model) 같은 자동 분할 도구나 수동 주석으로 생성된 마스크가 가려짐 (occlusion), 빠른 운동, 미세한 구조 (머리카락 등) 로 인해 부정확하거나 일부 프레임에서 누락될 수 있습니다. 기존 모델은 이러한 결함이 있는 마스크에 의존하면 제거가 불완전하거나 아티팩트가 발생합니다.
• 불완전한 시간적 정렬 (Imperfect Temporal Alignment): 비디오 생성 모델은 일반적으로 시간 축을 따라 마스크를 다운샘플링 (압축) 합니다. 갑작스러운 운동 (Abrupt Motion) 이 발생할 때, 단순한 다운샘플링은 특정 프레임에서 객체의 위치 정보를 잃게 만들어 제거 실패나 유령 현상 (ghosting) 을 유발합니다.
• 부수 효과 처리의 어려움 (Imperfect Side-Effect Handling): 객체 제거 시 그림자, 반사광 등 객체와 연관된 부수 효과 (side effects) 를 함께 제거해야 자연스러우나, 기존 모델은 이를 제거하지 못하거나 오히려 아티팩트를 생성합니다.
• 데이터 편향: 기존 방법들은 주로 합성 데이터 (copy-paste) 에 의존하여 훈련되는데, 이는 실제 배경의 물리적 일관성과 시맨틱 맥락을 왜곡하여 실제 비디오 적용 시 성능을 떨어뜨립니다.

2. 제안 방법: SVOR (Stable Video Object Removal)

저자들은 이상적인 설정에서 벗어나 실제 환경에 적용 가능한 SVOR이라는 새로운 프레임워크를 제안합니다. 이는 세 가지 핵심 설계와 커리큘럼 기반의 2 단계 학습 전략을 포함합니다.

A. 핵심 설계 요소

1. MUSE (Mask Union for Stable Erasure):

   • 목적: 시간적 마스크 다운샘플링 중 발생하는 갑작스러운 운동에 따른 위치 정보 손실을 방지합니다.
   • 방식: 시간 압축 윈도우 내에서 관측된 모든 마스크 위치의 **합집합 (Union)**을 유지합니다. 즉, 윈도우 내의 어떤 프레임이라도 객체가 존재했다면 압축된 마스크에 해당 영역을 포함시킵니다.
   • 효과: 갑작스러운 운동으로 인한 제거 누락 (under-erasure) 과 유령 현상을 획기적으로 줄이며, 추가 파라미터 없이 플러그 앤 플레이 방식으로 적용 가능합니다.

2. DA-Seg (Denoising-Aware Segmentation):

   • 목적: 결함이 있는 외부 마스크를 보완하기 위한 내부 위치 추정 (localization prior) 을 제공합니다.
   • 방식: 메인 생성 백본 (DiT) 과 분리된 경량 사이드 브랜치에 Segmentation Head 를 추가합니다. 이 헤드는 Denoising-Aware AdaLN을 사용하여 확산 (diffusion) 시간 단계 (timestep) 에 따라 적응적으로 작동하며, 노이즈 수준에 맞춰 마스크를 예측합니다.
   • 특징: 예측된 마스크는 생성 과정에 직접 피드백되지 않고 (분리됨), 오직 지도 학습 (supervision) 용도로만 사용됩니다. 이는 생성 품질을 해치지 않으면서 불완전한 마스크 하에서도 안정적인 제거를 가능하게 합니다.

3. Curriculum Two-Stage Training (커리큘럼 2 단계 학습):

   • Stage I (자기지도 학습): 짝이 없는 (unpaired) 실제 배경 비디오만 사용하여 훈련합니다. 랜덤한 마스크를 적용하여 객체 제거가 아닌 배경 복원 (background completion) 능력을 학습시킵니다. 이는 실제 배경의 시간적/공간적 사전 지식 (priors) 을 학습하고, 불필요한 객체 재생성을 방지합니다.
   • Stage II (지도 학습): 합성 쌍 데이터 (paired data) 를 사용하여 객체와 부수 효과 (그림자 등) 를 제거하는 능력을 정교화합니다. 이때 마스크 열화 (mask degradation) 전략을 적용하여 불완전한 마스크에 대한 강건성을 높이고, DA-Seg 와 가중치 손실 (side-effect regions 에 더 높은 가중치) 을 통해 그림자 제거 성능을 극대화합니다.

3. 주요 기여 (Key Contributions)

• 새로운 실패 모드 발견 및 해결: 시간적 마스크 다운샘플링이 갑작스러운 운동 하에서 체계적인 제거 누락을 유발한다는 점을 최초로 규명하고, 이를 해결하기 위한 MUSE 전략을 제안했습니다.
• 강건한 내부 위치 추정: 결함이 있는 마스크 하에서도 안정적인 제거를 가능하게 하는 DA-Seg라는 경량 분리형 세그멘테이션 헤드를 제안했습니다.
• 불완전한 조건을 위한 안정성 중심 프레임워크: 배경 사전 학습 (Stage I) 과 불완전한 마스크/부수 효과 제거 정교화 (Stage II) 를 결합한 2 단계 학습 전략을 통해, 실제 세계의 다양한 불완전성 (마스크 결함, 갑작스러운 운동, 그림자 등) 에 대응하는 SOTA 성능을 달성했습니다.
• 새로운 벤치마크 (RORD-50): 실제 세계의 비디오 객체 제거 평가를 위한 새로운 쌍 (paired) 데이터셋 RORD-50 을 구축하여 공개했습니다.

4. 실험 결과 (Results)

• 정량적 평가: DAVIS, ROSE Bench, 그리고 새로 구축된 RORD-50 데이터셋에서 기존 SOTA 방법들 (Propainter, DiffuEraser, MiniMax-Remover, ROSE 등) 을 능가했습니다. 특히 ReMOVE 점수 (객체 제거 품질 지표) 와 GPT-4o 기반 지각 평가에서 가장 높은 점수를 기록했습니다.
• 정성적 평가: 실제 장면과 합성 데이터 모두에서 객체와 그림자/반사 효과를 깔끔하게 제거하며, 아티팩트, 흐림 (blur), 원치 않는 객체 생성이 현저히 감소했습니다.
• 강건성 검증:
  • SAM2 분할 실패 시: SAM2 가 객체를 분할하지 못하는 프레임이 있더라도 SVOR 은 안정적인 제거를 유지하는 반면, 기존 모델들은 잔여 객체를 남깁니다.
  • 마스크 드롭 (Mask Drop): 마스크 프레임이 50% 까지 누락되더라도 성능 저하가 미미하며, DA-Seg 가 누락된 마스크를 효과적으로 보완함을 확인했습니다.
  • 갑작스러운 운동: MUSE 를 적용하면 기존 모델들의 깜빡임 (flicker) 과 제거 실패가 크게 개선됩니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 객체 제거 기술이 "이상적인 실험실 환경"에서 "실제 응용 환경"으로 나아가는 데 있어 중요한 이정표가 됩니다.

• 실용성 증대: 사용자가 매 프레임마다 정밀한 마스크를 수정할 필요가 없으며, 자동 분할 도구의 오류나 갑작스러운 운동 상황에서도 안정적인 결과를 제공합니다.
• 기술적 통찰: 단순한 모델 아키텍처 개선을 넘어, 데이터 전처리 (MUSE), 내부 보조 모듈 (DA-Seg), 그리고 학습 전략 (Curriculum Learning) 을 통합적으로 설계하여 실제 세계의 노이즈와 불완전성을 해결하는 새로운 패러다임을 제시했습니다.
• 향후 방향: 단일 프레임 마스크만으로 클립 전체의 객체를 제거하는 능력 등을 통해 더 효율적이고 자동화된 비디오 편집 도구의 기반을 마련했습니다.

요약하자면, SVOR은 실제 세계의 불완전한 조건 (불완전한 마스크, 갑작스러운 운동, 그림자 등) 에서도 안정적이고 고품질의 비디오 객체 제거를 가능하게 하는 획기적인 프레임워크입니다.