기술 요약: GenEraser

문제 정의

비디오 객체 제거는 도메인 외 시나리오에서 목표 객체와 그와 관련된 물리적 효과 (예: 연기, 반사, 빛, 그림자, 물결) 를 동시에 제거하는 데 종종 어려움을 겪습니다. 기존 방법들은 주로 공간 마스크에 의존하는데, 복잡한 시공간적 모호성으로 인해 약하게 상관된 효과를 포착하지 못하는 경우가 많습니다. 예를 들어, 그림자는 객체와 강하게 상관되어 있지만, 빛이나 연기 같은 현상은 상관관계가 약하여 마스크만 안내하는 제거 방식으로는 불충분합니다.

또한, 현재 제거 모델들 사이에는 고수준 의미 일반화(다양한 장면에서 객체와 효과를 성공적으로 제거) 와 정밀한 픽셀 단위 배경 보존(편집되지 않은 영역의 충실도 유지) 간의 근본적인 최적화 충돌이 존재합니다. 단일 전문가 모델들은 훈련 중 로컬 픽셀에 과적합되는 경향이 있어 오픈 월드 시나리오에서의 일반화 능력이 저하됩니다. 또한, 사전 훈련된 텍스트 - 비전 사전 지식을 활용하기 위한 명시적 텍스트 안내의 잠재력은 아직 충분히 탐구되지 않았으며, 대부분의 방법은 정적 프롬프트에 의존하거나 물리적 효과를 위한 의미 토큰을 간과합니다.

방법론

GenEraser 는 2 단계 훈련 절차와 분리된 전문가 아키텍처를 통해 이러한 과제를 해결하도록 설계된 새로운 프레임워크입니다.

1. 이분 텍스트를 활용한 다중 조건 혼합 전문가 (MC-MoE)

Diffusion Transformer(특히 MMDiT 아키텍처) 의 다중 모달 사전 지식을 완전히 활용하기 위해, 저자들은 다중 조건 혼합 전문가 메커니즘을 도입했습니다.

• 이분 텍스트 안내: 표준 프롬프트와 달리, 이 시스템은 제거할 목표 객체 (빨간색) 와 제거할 관련 물리적 효과 (노란색) 를 명시적으로 설명하는 "이분 텍스트"를 사용하며, 원하는 배경 상태도 포함합니다. 이를 통해 크로스 어텐션 메커니즘이 복잡한 효과와 직접적인 의미 연결을 형성할 수 있습니다.
• 조건적 드롭아웃: 1 단계 훈련 중 모델은 무작위 조건 드롭아웃을 통해 세 가지 다른 분기 하에서 최적화됩니다:
  1. 텍스트-only 안내: 모델이 오직 텍스트 단서만을 사용하여 목표를 재구성하도록 강제합니다.
  2. 마스크-only 안내: 공간적 제약에 의존합니다.
  3. 결합 (전체) 안내: 두 모달리티를 모두 결합합니다.
     이 전략은 모달리티별 전문가를 육성하여 마스크만으로는 놓칠 수 있는 복잡한 효과를 식별하는 모델의 능력을 향상시킵니다.

2. 학습 가능한 심층 "CFG" 퓨전 (LD-CFG)

다양한 시나리오에서 텍스트와 마스크 조건의 우세도가 달라지는 문제 (예: 물결 제거 시 텍스트가 우세하고, 비대상 개인 제거 방지 시 마스크가 우세함) 를 해결하기 위해, 저자들은 LD-CFG 모듈을 제안합니다.

• 수동 휴리스틱 튜닝에 의존하는 기존 Classifier-Free Guidance(CFG) 와 달리, LD-CFG 는 텍스트 및 마스크 단서를 적응적으로 균형 잡습니다.
• 2 단계 훈련 중 모델은 텍스트-only, 마스크-only, 결합 분기에서 입력을 병렬로 처리합니다. 각 DiT 블록 내의 학습 가능한 선형 레이어들이 이러한 특징들을 융합하여, 수동 개입 없이 특정 장면에 대한 각 모달리티의 상대적 우세도를 동적으로 결정할 수 있게 합니다.

3. 분리된 전문가 아키텍처 (로케이터 및 프레저버)

의미 일반화와 픽셀 정렬 간의 트레이드오프를 해결하기 위해 GenEraser 는 두 가지 다른 전문가 모델을 사용합니다:

• 로케이터 (고노이즈 전문가): VOR 및 ROSE 와 같은 합성 및 실세계 데이터의 다양한 혼합으로 더 적은 최적화 단계 동안 훈련됩니다. 주요 목표는 오픈 월드 시나리오 전반에 걸쳐 복잡한 물리적 효과를 정확하게 위치시키고 제거하기 위한 강력한 의미 일반화입니다.
• 프레저버 (저노이즈 전문가): "픽셀 단위 완벽" 합성 데이터 (ROSE) 로만 더 긴 기간 동안 훈련됩니다. 목표는 실세계 데이터셋에서 흔히 발견되는 정렬 오류 아티팩트를 피하면서 편집되지 않은 배경 영역의 고충실도 재구성을 보장하는 것입니다.
• 시너지: 로케이터는 객체와 효과의 제거를 담당하고, 프레저버는 배경이 원본 비디오에 충실하도록 유지합니다.

주요 기여

1. 다중 조건 혼합 전문가 및 이분 텍스트: 객체와 그 인과적 효과를 텍스트를 통해 명시적으로 모델링함으로써 복잡한 물리적 효과의 식별 및 제거를 강화하는 다중 모달 사전 지식을 활용하는 메커니즘.
2. 학습 가능한 심층 "CFG" 퓨전 메커니즘: 수동 하이퍼파라미터 튜닝의 한계를 극복하고 마스크 및 텍스트 조건 간의 연속적이고 장면 적응형 균형을 달성하는 모듈.
3. 분리된 전문가 아키텍처: 의미 일반화와 픽셀 단위 정렬 간의 본질적 충돌을 완화하기 위해 "로케이터"와 "프레저버" 역할을 분리하는 새로운 설계.
4. 최첨단 성능: 강력한 일반화를 유지하면서 여러 벤치마크에서 우수한 성능을 보여주는 광범위한 실험.

결과

GenEraser 는 ROSE 벤치마크, VOR-Eval, VOR-Wild 데이터셋에서 평가되었습니다.

• 정량적 개선: GenEraser 의 5B 변형은 ROSE 벤치마크에서 이전 최첨단 (SVOR) 대비 PSNR 에서 2.16 dB 향상을 달성했으며, VOR-Eval 에서 EffectErase 대비 1.44 dB 향상을 기록했습니다.
• 일반화: 오픈 월드 시나리오인 VOR-Wild 벤치마크에서 GenEraser 는 5B 모델 기준 소거 선호도 (EPR) 0.5872를 달성하여 ROSE(0.3744) 및 SVOR(0.4769) 와 같은 베이스라인을 크게 능가했습니다.
• 정성적 성능: 이 모델은 경쟁 방법들이 종종 아티팩트, 배경 불연속성 또는 불완전한 제거를 남기는 연기, 변형, 빛, 거울, 그림자, 반사 등 더 넓은 범위의 물리적 효과를 성공적으로 제거합니다.

의의

본 논문은 GenEraser 가 비디오 객체 및 효과 제거 분야에서 새로운 최첨단 성능을 설정했다고 주장합니다. 그 의의는 복잡한 시공간적 효과를 처리하기 위해 텍스트 - 비전 사전 지식을 명시적으로 활용함으로써 순수 마스크 안내 방법의 한계를 넘어선 데 있습니다. 의미 소거와 배경 보존 작업을 분리함으로써, 이 프레임워크는 역사적으로 오픈 월드 시나리오에서의 일반화를 방해해 온 최적화 충돌을 성공적으로 해결합니다. LD-CFG 모듈의 도입은 수동 휴리스틱 튜닝의 필요성을 없애고 안내 모달리티의 적응형 장면별 균형을 가능하게 함으로써 해당 분야를 더욱 발전시켰습니다.