기술 요약: VDFP (플리커-밴딩 사전 정보를 활용한 비디오 디플리커링)

1. 문제 정의

본 논문은 스마트폰으로 디지털 화면 (특히 LED 매트릭스) 을 촬영할 때 발생하는 광범위하지만 충분히 탐구되지 않은 비디오 디플리커링 문제를 다룹니다. 이러한 현상은 밴딩 아티팩트로 알려진 심각하고 구조화된 주기적 휘도 변동을 초래합니다. 이러한 아티팩트는 장면의 행을 하나씩 읽는 카메라의 롤링 셔터 메커니즘과 디스플레이의 고주파수 광 변조(예: OLED 의 PWM 또는 LED 의 다중화 스캐닝) 간의 시간적 동기화 불일치에서 비롯됩니다.

기존의 비디오 복원 방법 (예: 초해상도, 디블러링, 노이즈 제거) 과 특정 플리커 제거 모델 (예: 환경광 번스트용) 은 이 작업을 효과적으로 처리하지 못합니다. 이러한 방법들은 종종 다양한 밴딩 유형 (예: 얇은 고주파수 줄무늬와 두꺼운 저주파수 밴드) 의 복잡한 동시 발생과 적합한 학습 데이터의 부재를 고려하지 않기 때문에 잔류 밴딩을 남기거나 과도하게 매끄러운 텍스처를 생성합니다.

2. 방법론: VDFP

저자들은 **VDFP (플리커-밴딩 사전 정보를 활용한 비디오 디플리커링)**를 제안합니다. 이는 두 가지 주요 단계로 구성된 새로운 지시적 생성 프레임워크입니다:

A. 데이터 구축 및 시뮬레이션

실제 데이터의 부족 문제를 해결하기 위해 저자들은 스포츠, 광고, 만화 등 다양한 장면의 108 개 비디오를 포함하는 실제 세계 데이터셋인 DeViD를 소개합니다.

• 퇴화 필드 모델링 (DFM): 실제 촬영이 제한적이므로, 저자들은 롤링 셔터 메커니즘에 기반한 물리 정보 시뮬레이션 파이프라인을 제안합니다.
  • 운동학적 시공간 모델링: 시간 의존 위상 편이를 포함하여 픽셀 좌표를 줄무늬 축으로 투영함으로써 파라미터화된 퇴화 필드 ($O_l$) 를 생성하여 롤링 셔터 지연을 시뮬레이션합니다.
  • 이중 계층 밴딩 융합: 모델은 베이스 스트라이프 레이어(고주파수 밴딩) 와 두꺼운 스트라이프 레이어라는 두 개의 독립적인 레이어를 융합하여 복잡한 시나리오를 합성합니다. 최종 퇴화는 이 두 레이어의 최댓값으로, 실제에서 발견되는 여러 아티팩트 유형의 공존을 시뮬레이션합니다.

B. VDFP 프레임워크

복원 과정은 사전 훈련된 비디오 확산 모델 (특히 STAR 아키텍처를 적용) 을 기반으로 구축된 2 단계 파이프라인입니다:

1. 공간 - 시간 연속 사전 지각 (CPP):

   • 이진 분할 대신 Video-SwinUNet이 연속적인 아티팩트 신뢰도 맵 ($\hat{A}_{flicker} \in [0, 1]$) 을 예측하도록 훈련됩니다.
   • 이 모듈은 픽셀을 단순히 "플리커" 또는 "플리커 없음"으로 분류하는 대신 휘도 전환과 줄무늬 가장자리의 전체 스펙트럼을 포착하는 플리커 인식 평균 제곱 오차 (FA-MSE) 손실 함수를 사용하여 최적화됩니다.

2. 밴딩 인식 조건 주입:

   • 예측된 신뢰도 맵은 추가 채널로서 사전 훈련된 확산 모델에 주입됩니다.
   • 제로 초기화 전략: 입력 레이어가 4 개에서 5 개 채널로 확장됩니다. 새로운 사전 채널에 해당하는 가중치는 제로 초기화됩니다. 이는 훈련 시작 시 모델이 완전히 사전 훈련된 생성적 사전 정보에 의존하도록 하여 치명적인 분포 이동을 방지합니다. 훈련이 진행됨에 따라 모델은 복원을 안내하기 위해 사전 맵을 활용하는 법을 학습합니다.
   • 이 접근 방식은 모델을 배경을 과도하게 매끄럽게 만들지 않으면서도 고충실도 공간 세부 사항과 시간적 일관성을 유지하면서 플리커-밴딩을 선택적으로 억제할 수 있게 합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 제시합니다:

1. DeViD 데이터셋: 훈련 및 평가를 용이하게 하기 위해 다양한 일상 생활 장면을 포괄하는 실제 세계 비디오 디플리커링 데이터셋 구축.
2. 퇴화 필드 모델링 (DFM): 데이터 부족 문제를 해결하기 위해 베이스 및 두꺼운 밴딩을 결합한 복잡한 다중 밴딩 시나리오를 합성하는 롤링 셔터 물리학 기반 시뮬레이션 파이프라인.
3. 공간 - 시간 연속 사전 지각 (CPP): FA-MSE 손실을 활용하여 연속적인 신뢰도 맵을 생성하는 새로운 모듈과 확산 모델을 안내하기 위한 제로 초기화 조건 주입 전략.
4. 성능 우위: 정량적 지표와 시각적 품질 모두에서 기존 방법을 크게 능가하며 복잡한 밴딩을 효과적으로 제거하면서도 구조적 무결성을 유지한다는 것을 보여주는 광범위한 실험.

4. 실험 결과

저자들은 비디오 복원 (예: STBN, DLoRAL, FPANet) 과 플리커 제거 (Flickerformer) 분야의 최첨단 방법들에 대해 VDFP 를 평가했습니다.

• 정량적 지표: VDFP 는 DeViD 테스트 세트에서 모든 참조 기반 (SSIM, LPIPS, DISTS) 및 비참조 기반 (MUSIQ, BRISQUE, DOVER, $E^*_{warp}$) 지표에서 최고의 결과를 달성했습니다. 특히 DOVER 점수 0.6484와 $E^*_{warp}$ 10.5442를 기록하여 두 번째로 좋은 방법 (DLoRAL) 보다 크게 우위를 보였습니다.
• 시각적 비교: 정성적 결과는 VDFP 가 두꺼운 밴딩과 배경 밴딩을 거의 완전히 제거함을 보여줍니다. 반면, 다른 방법들은 잔류 줄무늬를 남기거나 비디오 콘텐츠를 흐리게 하거나 비디오를 전체적으로 볼 때 시간적 일관성을 유지하지 못합니다.
• 애블레이션 연구: 이 연구는 DFM 모듈 (더 나은 훈련 데이터 시뮬레이션을 위해) 과 CPP 모듈 (정확한 사전 주입을 위해) 이 모두 최종 성능에 점진적으로 기여하며, 전체 파이프라인이 가장 높은 지표를 달성함을 확인합니다.

5. 의의 및 한계

본 논문은 VDFP 가 이전 모델들이 퇴화 복잡성과 데이터 부족으로 인해 어려움을 겪었던 실제 세계 비디오 디플리커링을 위한 매우 효과적인 프레임워크를 확립했다고 주장합니다. 지시적 생성 접근 방식을 활용함으로써 이 방법은 공격적인 아티팩트 제거와 미세 세부 사항의 보존 사이의 균형을 성공적으로 이룹니다.

한계:
저자들은 겸손하게 현재의 DeViD 데이터셋이 LED 매트릭스에서 캡처된 밴딩만을 포함한다고 지적합니다. 따라서 LCD 및 OLED 화면과 같은 다른 디스플레이 기술로 인한 밴딩에 대한 모델의 성능은 향후 연구 영역으로 남아 있습니다.

사회적 영향:
긍정적으로, 이 작업은 화면으로 인한 밴딩 아티팩트로 인해 훼손된 비디오와 소중한 기억을 복원하는 데 사용자를 돕는 것을 목표로 합니다.