EffectErase: Joint Video Object Removal and Insertion for High-Quality Effect Erasing

이 논문은 다양한 객체 효과와 복잡한 장면을 포괄하는 대규모 데이터셋 'VOR'을 구축하고, 이를 기반으로 객체 삽입 작업을 역보조 작업으로 활용하는 상호 학습 방식을 통해 동적 객체와 그 시각적 효과를 고품질로 제거하는 'EffectErase' 모델을 제안합니다.

핵심

🎬 'EffectErase': 영상 속 원치 않는 물체와 그 '잔상'까지 싹 지우는 마법

이 논문은 **"EffectErase(이펙트 이레이저)"**라는 새로운 기술과 이를 위해 만든 거대한 데이터셋 **'VOR'**에 대해 설명합니다. 쉽게 말해, **"영상 편집기에서 물체를 지울 때, 그 물체가 남긴 그림자나 반사광까지 완벽하게 없애주는 기술"**을 개발했다는 이야기입니다.

상상해 보세요. 해변에서 사진을 찍었는데, 친구가 갑자기 화면 중앙에 서서 사진을 망쳤다고 가정해 봅시다. 기존 기술들은 친구의 몸통만 지우고 배경을 채우면, 친구의 그림자가 바닥에 그대로 남아 있거나, 친구가 비추던 빛이 사라진 자리가 어색하게 어둡게 남는 경우가 많았습니다. 마치 그림자를 지우지 않은 채 사람만 지운 것처럼 보일 수 있죠.

이 논문은 바로 그 **'잔상(Shadow, Reflection, Lighting 등)'**까지 완벽하게 지워주는 해결책을 제시합니다.

---

1. 문제점: "물체는 지웠는데 그림자는 왜 남아있지?"

기존의 영상 편집 기술들은 주로 물체의 몸통만 지우는 데 집중했습니다. 하지만 현실에서 물체는 주변 환경과 상호작용합니다.

• 그림자 (Shadow): 물체가 빛을 가려 생기는 어두운 부분.
• 반사 (Reflection): 거울이나 물에 비친 모습.
• 조명 (Lighting): 물체가 빛을 반사해 주변을 밝게 하는 효과.
• 변형 (Deformation): 커튼이나 풀밭이 물체에 의해 눌려 찌그러진 모양.

기존 기술은 이 **'부수적인 효과'**까지 지우지 못해, 지운 자리가 어색하게 남거나 배경이 뭉개지는 현상이 발생했습니다.

2. 해결책 1: 거대한 훈련 교재 'VOR' 데이터셋

AI를 가르치려면 좋은 예제 (데이터) 가 필요합니다. 하지만 '물체와 그 그림자/반사광이 모두 있는 영상'과 '그게 없는 영상'을 짝지어 만든 데이터는 거의 없었습니다.

저희는 **VOR(Video Object Removal)**라는 거대한 데이터셋을 만들었습니다.

• 실사 + 3D 애니메이션: 실제 카메라로 찍은 영상과 컴퓨터로 만든 3D 영상을 섞어서 6 만 개 이상의 쌍을 만들었습니다.
• 다양한 상황: 비 오는 날, 밤, 운동장, 거실 등 다양한 환경에서 사람, 동물, 사물이 움직이며 남기는 모든 효과 (그림자, 반사 등) 를 담았습니다.
• 비유하자면: 요리 학교가 단순히 '재료'만 주는 게 아니라, '재료와 그로 인한 냄새, 열기, 주변 환경 변화'까지 모두 기록한 완벽한 레시피 책을 만든 것과 같습니다.

3. 해결책 2: EffectErase (이펙트 이레이저) - "지우기와 넣기"의 역발상

이 기술의 핵심은 **"지우기(Removal)"**와 **"넣기(Insertion)"**를 동시에 학습한다는 점입니다.

• 역발상의 비유:

  • 지우기: "이 사람이 없다면 이 자리는 어떻게 보여야 할까?" (배경 복원)
  • 넣기: "이 빈 자리에 이 사람을 다시 넣으면 그림자와 반사는 어떻게 생겨야 할까?" (효과 생성)

  이 두 가지 작업을 거울처럼 대칭되게 학습시킵니다. "그림자를 지우는 법"을 배우면 자연스럽게 "그림자를 그리는 법"도 배우게 되고, 이를 통해 어디에 그림자가 있어야 하는지, 어디를 지워야 하는지를 정확히 파악하게 됩니다.

• 주요 기능:

  1. 영역 안내 (TARG): 물체와 그 주변 효과 (그림자 등) 가 어떻게 연결되어 있는지 AI 가 스스로 찾아내게 합니다. 마치 "이 사람은 그림자를 만들었으니, 그림자 영역도 함께 지워야 해!"라고 알려주는 나침반 같은 역할입니다.
  2. 일관성 유지 (EC Loss): 지우기와 넣기 작업이 서로 모순되지 않고, 같은 효과를 같은 방식으로 처리하도록 강제로 맞추어 줍니다.

4. 결과: 마법 같은 편집

이 기술을 적용하면 다음과 같은 일이 일어납니다.

• 그림자 제거: 사람이 걷고 있던 자리의 그림자가 자연스럽게 사라지고, 바닥의 질감이 원래대로 돌아옵니다.
• 반사 제거: 유리창에 비친 사람의 모습이 지워지면, 유리창 뒤의 풍경이 깨끗하게 드러납니다.
• 자연스러운 배경: 물체가 없던 원래의 배경이 흐트러짐 없이 복원됩니다.

요약

이 논문은 **"영상 속 원치 않는 물체를 지울 때, 그 물체가 남긴 모든 흔적 (그림자, 반사, 빛) 까지 완벽하게 지워주는 AI"**를 개발했습니다. 이를 위해 실제와 가상을 섞은 거대한 데이터를 만들고, **"지우기와 넣기를 동시에 학습"**하는 똑똑한 방식을 고안해냈습니다.

앞으로 영화 제작이나 일상 영상 편집에서, 원치 않는 사람을 지우고 싶을 때 **"그림자까지 싹 지워줘!"**라고 명령하면, 마치 처음부터 그 사람이 없었던 것처럼 자연스러운 영상을 만들어낼 수 있게 될 것입니다.

기술 요약

EffectErase: 고품질 효과 제거를 위한 결합형 비디오 객체 제거 및 삽입 기술 요약

이 논문은 비디오 내의 원치 않는 동적 객체를 제거할 때, 객체 자체뿐만 아니라 객체로 인해 발생하는 시각적 효과 (그림자, 반사, 조명, 왜곡, 가림 등) 까지 함께 제거하는 것을 목표로 하는 새로운 프레임워크 EffectErase와 이를 학습하기 위한 대규모 데이터셋 VOR을 제안합니다.

1. 문제 정의 (Problem)

기존의 비디오 객체 제거 (Video Object Removal) 및 비디오 인페인팅 (Video Inpainting) 기술들은 주로 입력된 마스크 (mask) 영역 내의 객체 본체만 제거하는 데 집중해 왔습니다. 그러나 실제 환경에서는 객체가 제거되더라도 다음과 같은 **부수적 효과 (Side Effects)**가 배경에 남아 비현실적인 결과를 초래합니다.

• 그림자 (Shadow): 객체가 빛을 가려 생기는 그림자.
• 반사 (Reflection): 거울, 물, 유리 등에서의 반사.
• 조명 (Lighting): 조명 기구 제거 시 발생하는 밝기 및 색상 변화.
• 가림 (Occlusion): 객체가 가리고 있던 배경의 복원.
• 왜곡 (Deformation): 커튼, 풀, 그물 등 물체와 상호작용하여 변형된 배경의 복원.

기존 방법들은 이러한 효과들을 명시적으로 모델링하지 못하거나, 시공간적 상관관계를 학습하는 데 한계가 있어, 제거 후에도 잔여 흔적이나 비자연스러운 배경이 남는 문제가 있었습니다. 또한, 이러한 효과들을 체계적으로 학습할 수 있는 대규모 데이터셋이 부재했습니다.

2. 주요 기여 (Key Contributions)

1) 대규모 하이브리드 데이터셋 VOR (Video Object Removal)

• 구성: 실제 촬영 (Camera-captured) 데이터와 3D 렌더링 (Synthesized) 데이터를 결합한 6 만 개의 비디오 쌍 (Video Pairs) 으로 구성됨.
• 특징:
  • 다양한 효과: 5 가지 주요 효과 유형 (가림, 그림자, 조명, 반사, 왜곡) 을 포괄.
  • 실제성: 293 개의 실제 장면과 150 개 이상의 3D 장면을 포함하며, 다양한 카메라 움직임, 객체 운동, 배경 역학을 포함.
  • 벤치마크: 정답 (Ground Truth) 이 있는 VOR-Eval과 실제 환경 데이터를 포함한 VOR-Wild 두 가지 평가 기준을 제시.

2) EffectErase 프레임워크

객체 제거와 객체 삽입 (Insertion) 을 상호 보완적인 역방향 (Inverse) 작업으로 간주하여 **결합 학습 (Joint Learning)**을 수행하는 효과 인식 (Effect-aware) 모델입니다.

• 역방향 보조 작업 (Inverse Auxiliary Task): 객체 제거와 삽입을 동시에 학습하여 서로의 성능을 향상시킵니다.
• 작업 인식 영역 안내 (Task-Aware Region Guidance, TARG):
  • 크로스 어텐션 (Cross-attention) 메커니즘을 통해 객체와 그 효과 간의 시공간적 상관관계를 모델링합니다.
  • 작업 토큰 (Task Token) 을 사용하여 제거와 삽입 작업 간의 유연한 전환을 가능하게 합니다.
• 효과 일관성 손실 (Effect Consistency, EC Loss):
  • 제거와 삽입 작업이 동일한 영향 영역 (Effect Regions) 에 집중하도록 강제합니다.
  • 이진 마스크가 아닌 **소프트 분포 (Soft Distribution)**를 사용하여 조명 변화나 그림자의 강도까지 정밀하게 학습합니다.

3. 방법론 (Methodology)

• 아키텍처: 사전 훈련된 VAE (Variational Autoencoder) 와 Diffusion Transformer (DiT) 를 기반으로 구축되었습니다.
• 학습 과정:
  1. 입력 비디오와 마스크를 잠재 공간 (Latent Space) 으로 인코딩합니다.
  2. TARG 모듈을 통해 객체와 효과의 특징을 융합하고, 크로스 어텐션 맵을 생성하여 영향 영역을 강조합니다.
  3. EC Loss를 통해 제거 작업과 삽입 작업의 어텐션 맵이 일치하도록 정규화 (Regularization) 합니다.
  4. 전체 손실 함수는 제거/삽입의 디노이징 손실과 EC 손실의 가중 합으로 구성됩니다.
• 추론: 사용자 입력 (마스크 또는 객체 비디오) 에 따라 제거 모드와 삽입 모드 간에 유연하게 전환됩니다.

4. 실험 결과 (Results)

• 정량적 평가: ROSE-Benchmark, VOR-Eval, VOR-Wild 데이터셋에서 기존 최첨단 방법 (ProPainter, ROSE, MinMax-Remover 등) 을 압도하는 성능을 기록했습니다.
  • FVD (Fréchet Video Distance): 생성된 비디오의 시간적 일관성과 품질이 가장 우수했습니다.
  • QScore 및 사용자 평가: 시각적 자연스러움과 객체 제거의 완전성에서 가장 높은 점수를 받았습니다.
• 정성적 평가: 그림자, 반사, 조명 변화 등 다양한 부수적 효과를 완벽하게 제거하고 배경을 자연스럽게 복원하는 것을 확인했습니다. 특히 복잡한 다중 객체 장면이나 야간/반사 환경에서도 강건한 성능을 보였습니다.
• 추가 기능: 동일한 모델 구조를 사용하여 객체 삽입 (Object Insertion) 작업에서도 사실적인 그림자와 반사 효과를 생성하는 능력을 입증했습니다.

5. 의의 및 결론 (Significance)

EffectErase 는 비디오 편집 및 영화 후반 작업 분야에서 **객체 제거의 새로운 기준 (State-of-the-Art)**을 제시합니다.

1. 효과 인식의 중요성: 단순히 객체를 지우는 것을 넘어, 객체가 환경에 미치는 물리적/시각적 영향까지 고려해야 고품질 복원이 가능함을 입증했습니다.
2. 데이터의 부재 해결: 효과 제거를 위한 대규모 고품질 데이터셋 (VOR) 을 공개함으로써 향후 연구의 기반을 마련했습니다.
3. 역방향 학습의 유효성: 제거와 삽입을 결합하여 학습함으로써 상호 보완적인 효과를 얻고, 복잡한 시공간적 상관관계를 효과적으로 학습할 수 있음을 보여주었습니다.

이 연구는 복잡한 동적 장면에서 자연스러운 비디오 편집을 가능하게 하여, 생성형 AI 기반 비디오 편집 기술의 실용성을 크게 높였습니다.