Object-WIPER : Training-Free Object and Associated Effect Removal in Videos

이 논문은 사전 학습된 텍스트-비디오 확산 트랜스포머 (DiT) 를 활용하여 추가적인 학습 없이 동적 객체와 그 시각적 효과를 제거하고 의미론적으로 일관된 콘텐츠로 채워 넣는 'Object-WIPER' 프레임워크를 제안하고, 새로운 평가 지표와 벤치마크를 통해 기존 방법들보다 우수한 성능을 입증합니다.

핵심

🎬 'Object-WIPER': 영상 속 원치 않는 물체와 그림자까지 싹 지우는 마법 지우개

이 논문은 **"Object-WIPER"**라는 새로운 기술을 소개합니다. 쉽게 말해, 영상 편집 프로그램에서 '물체 지우기' 기능을 할 때, 단순히 물체만 지우는 게 아니라 **그 물체가 만들어낸 그림자, 반사광, 투명한 유리의 흔적까지 모두 깔끔하게 지워주는 '초능력의 지우개'**입니다.

기존 방법들은 물체만 지우고 그림자는 그대로 남아 "어? 그림자가 왜 혼자 떠다니지?" 하는 어색함을 만들곤 했습니다. 하지만 이 새로운 기술은 물체와 그림자를 한 번에, 그리고 자연스럽게 지워줍니다.

이 기술이 어떻게 작동하는지, 그리고 왜 특별한지 일상적인 비유로 설명해 드릴게요.

---

1. 왜 이 기술이 필요한가요? (기존의 문제점)

상상해 보세요. 해변에서 친구가 모래성 앞에 서 있는 영상을 찍었는데, 친구가 싫어서 지우고 싶다고 합시다.

• 기존 기술 (구형 지우개): 친구의 몸통만 지웁니다. 하지만 햇빛 때문에 모래에 드리운 친구의 그림자는 그대로 남아 있습니다. 결과물은 "아무도 없는 해변에 그림자만 떠다니는" 기괴한 모습이 됩니다.
• 기존 기술의 한계: 물체와 그림자는 따로 떨어진 별개의 것이 아니라, 빛과 물체의 관계로 맺어진 '연결된 존재'입니다. 기존 AI 는 이 연결고리를 못 보고 물체만 지웠습니다.

2. Object-WIPER 의 핵심 원리 (마법 지우개의 작동 방식)

이 기술은 물리적으로 영상을 다시 촬영하거나, AI 를 다시 훈련시킬 필요 없이 (Training-Free), 이미 만들어진 최신 AI 모델의 '눈'을 활용합니다.

① "무엇을 지울지" 정확히 파악하기 (연결된 흔적 찾기)

사용자가 "이 물체 (예: 오리)"를 지워달라고 하면, AI 는 단순히 오리 모양만 찾지 않습니다.

• 비유: 오리가 물에 떠 있다면, AI 는 "오리"라는 단어뿐만 아니라 "물결", "반사"라는 단어도 함께 봅니다.
• 작동: AI 가 영상을 분석할 때, 텍스트와 영상이 만나는 부분 (Attention) 을 살펴봅니다. "오리"라는 글자가 영상 속 어디를 보고 있는지, 그리고 그 주변에 어떤 반사광이나 그림자가 함께 반응하는지 찾아냅니다. 마치 오리가 물에 떨어뜨린 동심원까지 모두 인식하는 것과 같습니다.

② "지우기" 전의 준비 (역방향으로 돌리기)

영상을 지우기 전에, AI 는 영상을 다시 '노이즈 (잡음)' 상태로 되돌립니다. 이때 중요한 건 배경은 그대로 두되, 지울 부분 (오리 + 그림자) 만은 비워둔다는 점입니다.

• 비유: 그림을 지우기 전에, 지우개를 대고 그 부분만 살짝 비워두는 과정입니다. 하지만 이때 배경의 색감이나 질감은 완벽하게 기억해 둡니다.

③ "새로 그리기" (자연스러운 채우기)

이제 비워진 공간 (오리와 그림자 자리) 에 새로운 내용을 채워 넣습니다.

• 핵심 전략: AI 는 "배경이 이 부분을 채워야 해!"라고 강하게 지시합니다.
• 비유: 빈 캔버스에 "물결"을 그리라고 시키면, AI 는 주변 물결의 흐름을 따라 자연스럽게 그 자리에 물결을 그립니다. 이때 배경의 흐름을 방해하지 않도록 주변과 잘 섞이게 만듭니다.

3. 기존 기술과 무엇이 다른가요?

• 기존 방식 (Omnimatte-Zero 등): 물체 주변을 대충 넓게 잡거나, 외부의 다른 프로그램을 불러와서 위치를 추적했습니다. 하지만 물체가 빠르게 움직이거나, 반사되는 물체 (거울 속 모습) 일 때는 헷갈려서 지우지 못하거나, 그림자를 남기곤 했습니다.
• Object-WIPER: 외부 프로그램 없이, AI 모델이 스스로 "오리와 그림자는 한 쌍"이라는 것을 알아내서 정확하게 지웁니다. 마치 마술사가 손가락만 튕겨서 물체와 그림자를 동시에 사라지게 하는 것과 같습니다.

4. 새로운 평가 기준 (TokSim)

논문에서는 "물체가 잘 지워졌는지"를 측정하는 새로운 점수 체계인 TokSim을 소개합니다.

• 기존 점수: "배경이 얼마나 선명한가?"만 봅니다. (물체가 안 지워져도 배경이 선명하면 점수가 높음)
• TokSim 점수: "지워진 자리가 시간에 따라 일관성 있게 유지되는가?", "배경과 자연스럽게 섞이는가?", "원래 물체와 완전히 다른가?"를 종합적으로 봅니다.
• 비유: 단순히 사진이 선명한지 보는 게 아니라, "그림자가 사라진 자리가 진짜 물이 흐르는 것처럼 자연스러운가?"를 평가하는 것입니다.

5. 결론: 왜 이 기술이 중요한가요?

이 기술은 영화 제작, 감시 카메라, 창의적인 콘텐츠 등 다양한 분야에서 쓰일 수 있습니다.

• 영화: 촬영 중 실수로 들어간 마이크나 스태프, 그리고 그들이 만든 그림자를 깔끔하게 지울 수 있습니다.
• 사생활 보호: 영상 속 특정 사람의 얼굴과 그 사람의 그림자까지 완벽하게 지워 사생활을 보호할 수 있습니다.
• 가장 큰 장점: 별도의 복잡한 학습 없이, 기존에 있는 최신 AI 기술을 똑똑하게 활용해서 **무료 (Training-Free)**로 이 모든 것을 해낸다는 점입니다.

한 줄 요약:

"Object-WIPER 는 영상 속 원치 않는 물체뿐만 아니라, 그 물체가 만들어낸 모든 흔적 (그림자, 반사) 까지 마치 처음부터 없었던 것처럼 자연스럽게 지워주는 차세대 영상 편집 마법입니다."

기술 요약

1. 문제 정의 (Problem)

비디오에서 특정 객체를 제거하는 작업 (Video Object Removal) 은 영화 제작, 감시, 프라이버시 보호 등 다양한 분야에서 중요하지만, 기존 기술들은 다음과 같은 한계를 가지고 있습니다.

• 연관 효과 (Associated Effects) 의 부재: 기존 비디오 인페인팅 (Inpainting) 기술들은 주로 객체 영역 자체를 채우는 데 집중하여, 객체가 남긴 그림자 (Shadow), 반사 (Reflection), 거울상 (Mirror), 반투명 효과 등을 제거하지 못했습니다. 이로 인해 제거된 객체 자리에 비현실적인 아티팩트 (Artifact) 가 남게 됩니다.
• 학습 비용: 객체와 그 효과를 함께 제거하는 기존 방법들 (예: ROSE, GenProp) 은 방대한 양의 합성 데이터 수집과 고비용의 파인튜닝 (Fine-tuning) 을 필요로 합니다.
• 평가 지표의 한계: 기존 객체 제거 평가 지표 (PSNR, 비디오 품질 점수 등) 는 객체가 완전히 제거되지 않거나 부분적으로만 제거되어도 높은 점수를 주는 경향이 있어, 실제 제거 성능을 정확히 반영하지 못합니다.

2. 방법론 (Methodology)

Object-WIPER는 추가 학습 없이 (Training-Free) 사전 학습된 텍스트 - 비디오 확산 모델 (Text-to-Video Diffusion Transformer, DiT) 을 활용하여 객체와 연관 효과를 제거하는 프레임워크입니다. 주요 프로세스는 다음과 같습니다.

A. 연관 효과 국소화 (Associated Effects Localization)

사용자가 제공한 객체 마스크만으로는 그림자나 반사 영역을 포함할 수 없습니다. 이를 해결하기 위해 DiT 의 멀티모달 어텐션 (MMDiT) 메커니즘을 활용합니다.

1. 텍스트 - 시각 크로스 어텐션 (Text-to-Visual Cross-Attention): 제거할 객체 (예: "오리") 와 연관 효과 (예: "반사") 를 설명하는 쿼리 텍스트 토큰을 입력받아, 해당 텍스트와 강하게 연결된 시각 토큰을 식별합니다. 이를 통해 초기 제안 마스크 (Proposal Mask) 를 생성합니다.
2. 시각 자기 어텐션 (Visual Self-Attention) 정제: 초기 제안 마스크 내부의 '구멍 (holes)'을 채우기 위해, 제안된 토큰들이 다른 시각 토큰들과 얼마나 강하게 상호작용하는지 분석하여 최종적인 연관 효과 마스크 (MAE) 를 정제합니다.
   • 핵심: 외부 추적 모델 (TAP-Net 등) 을 사용하지 않고, 모델 내부의 어텐션 맵만으로 정밀하게 효과 영역을 파악합니다.

B. 역변환 및 적응형 마스킹 (Inversion & Adaptive Masking)

1. 역변환 (Inversion): 입력 비디오를 확산 모델의 잠재 공간 (Latent Space) 으로 역변환하여 구조화된 노이즈를 얻습니다. 이 과정에서 배경의 중요한 특징 (Value features) 을 저장합니다.
2. 시간 단계 적응형 마스킹 (Time Step Adaptive Masking): 노이즈가 증가할수록 객체의 '발자국 (footprint)'이 어텐션 공간에서 확장되는 현상을 분석합니다. 고정된 마스크 대신, 시간 단계 (Timestep) 에 따라 객체 영역을 동적으로 확장하는 적응형 마스크를 생성하여, 역변환 시 객체 정보가 누출되는 것을 방지합니다.

C. 재초기화 및 노이즈 제거 (Reinitialization & Denoising)

1. 재초기화: 객체 및 연관 효과 영역의 잠재 벡터를 가우시안 노이즈로 재초기화합니다. 이는 객체에 대한 사전 지식을 지우고 배경 정보로 채우도록 유도합니다.
2. 어텐션 스케일링 (Attention Scaling):
   • 역변환 단계: 배경 토큰이 객체 토큰에 주의를 기울이는 것을 억제하여 배경의 순수성을 유지합니다.
   • 노이즈 제거 단계: 객체 영역이 배경 토큰에 더 강하게 주의를 기울이도록 (Attention Bias) 유도하여, 배경 정보로 자연스럽게 채우게 합니다.
3. 배경 복원: 노이즈 제거 과정에서 저장된 배경 특징 값을 복사하여 씬의 일관성 (Scene Fidelity) 을 유지합니다.

3. 주요 기여 (Key Contributions)

1. Training-Free 프레임워크: 추가 학습 없이 사전 학습된 DiT 모델만을 사용하여 객체와 그림자, 반사 등 모든 연관 효과를 완벽하게 제거하는 Object-WIPER를 제안했습니다.
2. 정밀한 연관 효과 국소화: 외부 모델 의존 없이 텍스트 - 시각 크로스 어텐션과 시각 자기 어텐션을 결합하여 객체와 연관 효과를 정밀하게 분리하는 새로운 마스킹 전략을 개발했습니다.
3. 새로운 평가 지표 (TokSim): 기존 지표의 한계를 극복하기 위해 Token Similarity (TokSim) 라는 새로운 지표를 제안했습니다.
   • 연속된 프레임 간 객체 토큰의 일관성 (Temporal Consistency)
   • 프레임 내 객체와 배경 토큰 간의 유사성 (Coherence)
   • 입력과 출력 간의 객체 토큰 불일치 (Dissimilarity)
   • 이 세 가지를 종합하여 객체가 얼마나 깔끔하게 제거되었는지를 정량화합니다.
4. 새로운 벤치마크 (WIPER-Bench): 실제 세계의 복잡한 연관 효과 (거울, 반투명, 분리된 효과 등) 를 포함한 60 개의 실사 비디오로 구성된 새로운 벤치마크를 구축하고 공개했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능: DAVIS 와 새로 구축한 WIPER-Bench에서 실험한 결과, Object-WIPER 는 기존 학습 기반 (ROSE, GenProp 등) 및 학습 프리 (Propainter, KV-Edit 등) 방법론들을 모두 능가했습니다.
• TokSim 점수: 제안된 TokSim 지표에서 가장 높은 점수를 기록하여, 객체와 연관 효과가 완전히 제거되었음을 입증했습니다.
• 정성적 결과: 반투명 객체, 거울상, 빠른 운동이 있는 장면에서도 배경을 자연스럽게 복원하고 객체와 그림자를 깔끔하게 제거하는 것을 확인했습니다.
• 효율성: 학습이 필요 없어 계산 자원과 시간을 절약하면서도, 학습 기반 방법보다 우수한 성능을 발휘했습니다.

5. 의의 및 결론 (Significance)

Object-WIPER 는 비디오 편집 분야에서 학습 비용 없이도 고품질의 객체 제거 및 연관 효과 처리가 가능함을 입증했습니다. 특히, 기존에 간과되었던 '연관 효과' 제거 문제를 해결하고, 이를 평가할 수 있는 새로운 표준 지표 (TokSim) 와 데이터셋 (WIPER-Bench) 을 제공함으로써 향후 연구의 방향성을 제시했습니다. 이 기술은 영화 제작, 광고, 프라이버시 보호 등 다양한 응용 분야에서 즉시 활용 가능한 강력한 도구로 평가됩니다.