기술 요약: PROVE: 시각 미디어를 위한 지각적 제거 일관성 벤치마크

1. 문제 제기

이미지 및 비디오의 객체 제거는 본질적으로 잘 정의되지 않은 (ill-posed), 1 대 다 (one-to-many) 문제이며, 단일 삭제 영역에 대해 여러 지각적으로 타당한 복원이 존재할 수 있습니다. 따라서 고유한 정답 (Ground Truth, GT) 을 정의하는 것은 종종 불가능합니다. 이러한 특성은 전통적인 평가 프로토콜을 훼손합니다:

• 전체 참조 (Full-Reference, FR) 지표: PSNR, SSIM, LPIPS 와 같은 지표는 단일 참조에 대한 엄격한 점대점 대응을 가정합니다. 이들은 진정한 지각적 현실감 있는 제거보다 "복사 - 붙이기" 행동 (배경을 보존하는 보수적 출력) 을 더 자주 보상합니다. 또한, 확산 추론 단계를 줄여 (시각적 품질을 저하시켜) 픽셀 분산을 감소시킴으로써 역설적으로 점수가 향상되는 "평균으로의 회귀 (regression to the mean)" 편향을 겪습니다.
• 무참조 (No-Reference, NR) 지표: GT 가 필요 없다는 ReMOVE 및 CFD 와 같은 방법들은 체계적인 편향을 보입니다. 이들은 종종 흐릿한 출력에 과대평가된 점수를 부여 ("흐림은 깨끗함" 편향) 하며, 복잡한 가려짐 상황에서 구조적으로 건전한 복원을 잘못 벌점합니다.
• 시간적 지표: 기존 비디오 지표 (예: 시간적 일관성, 시간적 깜빡임) 는 전역 프레임 수준 특징에 작동합니다. 제거된 영역은 일반적으로 프레임의 작은 부분만 차지하므로, 이러한 전역 집계는 편집된 영역 내의 국소적 시간적 아티팩트를 희석하거나 완전히 가립니다.

또한, 기존 벤치마크는 현실적 진정성과 쌍을 이룬 참조 비디오의 결합이 부족합니다. 합성 데이터셋 (예: ROSE-Bench) 은 정밀한 마스크를 제공하지만 현실적 복잡성이 부족하고, 현실 데이터셋 (예: DAVIS) 은 통제된 정량적 비교를 위한 쌍을 이룬 대상이 없는 비디오가 부족합니다.

2. 방법론

2.1 RC 지표 (제거 일관성)

저자들은 RC를 제안합니다. 이는 딥 시맨틱 특징 공간에서 구현된 통합된 국소 분포 매칭 프레임워크로, 두 가지 상호 보완적인 지표로 구체화됩니다:

• RC-S (공간 일관성): 단일 프레임 내에서 복원된 콘텐츠와 주변 배경 간의 국소적 일관성을 측정합니다.

  • 과정: 대상 영역은 확장된 컨텍스트와 함께 잘립니다. DINOv2를 사용하여 딥 특징이 추출됩니다. 특징 지도 위에 슬라이딩 윈도우가 적용됩니다.
  • 메커니즘: 각 윈도우 내에서, 마스킹된 (복원된) 영역의 특징 분포는 **최대 평균 불일치 (Maximum Mean Discrepancy, MMD)**의 제곱을 사용하여 마스킹되지 않은 (배경) 영역과 비교됩니다.
  • 근거: 이 국소적 비교는 전역 집계에서 놓치는 공간적 불일치를 감지합니다. MMD 는 분포 변화 (예: 흐림) 에 대한 민감도 때문에 코사인 유사도보다 선택되었습니다.

• RC-T (시간적 일관성): 인접 프레임 간에 복원된 영역의 안정성을 측정합니다.

  • 과정: 인접 프레임의 경우, 마스크의 합집합을 사용하여 공유 평가 영역이 정의됩니다. 두 프레임은 동기화되어 잘립니다.
  • 메커니즘: 이 지표는 두 프레임에 걸친 복원 영역의 교집합에 초점을 맞춥니다. MMD 를 사용하여 이러한 교차된 영역의 특징 분포를 비교합니다.
  • 근거: 평가를 공유된 복원 영역으로 제한함으로써, RC-T 는 변경되지 않은 배경 영역으로 인한 희석 효과를 피하고 국소적 시간적 깜빡임의 민감한 감지를 가능하게 합니다.

2.2 PROVE-Bench

엄격한 평가를 지원하기 위해 저자들은 PROVE-Bench를 소개합니다. 이는 2 단계 벤치마크 스위트입니다:

• PROVE-M (운동 증강 쌍): 입력 비디오, 마스크, 대상이 없는 정답을 포함하는 80 개의 실제 세계 쌍으로 구성된 데이터셋입니다. 정적 실험실 캡처와 실제 사용자 비디오 간의 격차를 해소하기 위해, 이러한 쌍은 손떨림을 시뮬레이션하기 위해 운동 증강 (팬, 줌, 흔들기 등의 켄 번스타일 기하학적 변환) 을 거칩니다.
• PROVE-H (어려운 비제약): 정답이 없는 100 개의 비디오 데이터셋으로, 모델의 일반화를 스트레스 테스트하도록 설계되었습니다. 군중, 빠른 운동, 복잡한 반사, 그리고 매우 질감이 있는 배경을 포함한 극단적인 시나리오를 대상으로 합니다. 마스크는 실제적 불완전성을 반영하기 위해 자동으로 생성됩니다 (SAM3).

3. 주요 기여

1. 체계적 진단: 이 논문은 기존 지표의 실패 모드에 대한 엄격한 실증 분석을 제공하여, FR 지표의 "복사 - 붙이기" 선호, NR 지표의 "흐림 선호", 그리고 전역 시간적 지표의 지역 무감각성과 같은 특정 편향을 식별합니다.
2. RC 지표: 국소적 공간 일관성과 시간적 일관성을 정량화하기 위해 슬라이딩 윈도우 분포 매칭 프레임워크 (DINOv2 + MMD) 를 활용하는 RC-S 와 RC-T 의 제안입니다. 이러한 지표는 기존 프로토콜보다 인간 판단과 훨씬 더 강력한 정렬을 달성합니다.
3. PROVE-Bench: 운동 증강이 포함된 실제 세계 쌍 데이터셋 (PROVE-M) 과 도전적인 정답 없는 하위 집합 (PROVE-H) 을 결합한 고유한 벤치마크 스위트의 구축으로, 현재 데이터셋의 현실성 - 평가 가능성 딜레마를 해결합니다.

4. 실험 결과

다양한 이미지 (RORD-Val, OBER-Wild) 및 비디오 (DAVIS, ROSE-Bench, PROVE-Bench) 벤치마크에 걸쳐 광범위한 실험이 수행되었습니다.

• 인간 상관관계: RC-S 는 여섯 개의 벤치마크에서 인간 순위와 가장 높은 상관관계 (켄달의 $\tau$ 및 스피어만의 $\rho$) 를 달성하여 FR 지표 (PSNR, SSIM, LPIPS), NR 지표 (ReMOVE, CFD), 그리고 전역 시간적 지표보다 우위를 점했습니다. 특히, RC-S 는 여섯 개의 벤치마크 중 다섯 개에서 1 위를 차지했습니다.
• 민감도 분석:
  • 흐림 민감도: 흐림 강도가 증가함에 따라 점수가 종종 증가했던 ReMOVE 및 CFD 와 달리, RC-S 는 흐림이 증가함에 따라 점수가 단조롭게 감소하는 것을 올바르게 보여주어 "흐림은 깨끗함" 편향에 대한 저항력을 입증했습니다.
  • 시간적 민감도: 무작위 프레임 삭제 및 교체와 관련된 민감도 테스트에서 RC-T 는 손상 증가에 따라 점수가 단조롭게 저하되는 것을 보였습니다. 반면, TC 와 TF 는 대부분 무감각하거나 심지어 향상되어 국소적 시간적 아티팩트를 감지하지 못함을 확인했습니다.
• 절대 실험 (Ablation Studies): 저자들은 DINOv2(지각적으로 민감한 특징을 위해), 슬라이딩 윈도우(국소성을 위해), 그리고 MMD(분포 불일치를 위해) 의 조합이 중요함을 검증했습니다. 어떤 구성 요소라도 제거하면 (예: 코사인 유사도 또는 전역 집계 사용) 인간 판단과의 상관관계가 크게 감소했습니다.
• 벤치마크 난이도: PROVE-M 에 대한 실험은 시뮬레이션된 카메라 운동 도입이 모든 최첨단 모델에서 일관되고 유의미한 성능 저하를 초래함을 보여주어, 운동 인식 평가의 필요성을 강조했습니다.

5. 중요성 및 주장

이 논문은 PROVE 가 객체 제거 방법의 효과와 실패 모드를 평가하는 더 신뢰할 수 있는 기반을 제공한다고 주장합니다. "단일 참조에 대한 충실도"에서 "문맥 및 시간과의 지각적 일관성"으로 평가 패러다임을 전환함으로써, 이 프레임워크는 현재 지표와 작업의 1 대 다 특성 사이의 근본적인 불일치를 해결합니다.

저자들은 그들의 작업이 표준화된 벤치마킹을 위한 실용적 기반 역할을 한다고 명시하며, RC 지표와 PROVE-Bench 가 상호 보완적으로 작용하여 PROVE-M 을 통한 엄격한 정량적 비교와 PROVE-H 를 통한 비제약 현실 조건 하의 스트레스 테스트를 지원하는 통합 프레임워크를 제공한다고 말합니다. 코드와 데이터셋은 커뮤니티 채택을 촉진하기 위해 공개적으로 제공됩니다.