기술 요약: ENCORE – 학습된 비디오 압축을 위한 이벤트 보조 보완적 움직임 정밀화 (Event-Assisted Complementary Motion Refinement for Learned Video Compression)

1. 문제 정의

학습된 비디오 압축(LVC)은 인접 프레임 간의 중복성을 활용하기 위해 정확한 시간적 모델링에 크게 의존한다. 그러나 기존 코덱은 이산적으로 샘플링된 RGB 프레임으로부터만 움직임을 추론한다. 이러한 방식은 빠른 움직임, 모션 블러, 폐쇄(occlusion), 약한 질감, 저조도 또는 급격한 밝기 변화가 발생하는 시나리오에서 신뢰도가 떨어지게 된다. 부정확한 시간적 모델링은 예측 품질을 저하시키고, 움직임 및 잔차 표현의 불확실성을 증가시키며, 궁극적으로 비트레이트를 높인다.

다중 모달 압축이 존재하기는 하지만, 대부분의 방법은 여러 모달리티를 공동으로 인코딩하거나(예: RGB-D, 스테레오), 보조 모달리티를 의미론적 가이드로 사용한다(예: text-to-image). 보조 신호 자체를 재구성하지 않으면서 RGB 비디오 압축을 위해 움직임 추정을 구체적으로 정밀화할 수 있는 보조 시간 스트림을 활용하는 방법은 부족한 실정이다. 미세한 강도 변화를 높은 시간 해상도와 동적 범위로 비동기적으로 캡처하는 이벤트 카메라(event cameras)는 RGB 프레임에 대해 프레임 간 역학에 관한 보완적인 증거를 제공한다. 그러나 이벤트 데이터를 나이브하게 융합하는 것은 종종 노이즈와 중복성을 유발하여 압축 성능을 개선하는 데 실패한다.

2. 방법론

저자들은 ENCORE(Event-Assisted Complementary Motion Refinement)를 제안한다. 이는 표준 학습된 비디오 압축 파이프라인 내에서 움직임 추정을 정밀화하기 위해 이벤트 스트림을 보조 모달리티로 통합하는 프레임워크이다. 이 시스템은 RGB를 유일한 코딩 및 재구성 대상으로 유지하며, 이벤트는 오직 인코더의 움직임 모델링을 보조하는 용도로만 사용한다.

이 프레임워크는 HyTIP 백본을 기반으로 구축되었으며, 인코더 측 움직임 추정 인터페이스에 세 가지 특화된 모듈을 삽입한다:

A. 보완적 움직임 표현 (Complementary Motion Representation, CMR)

CMR 모듈은 보완적인 단서가 희석되는 것을 방지하기 위해 정렬된 RGB 및 이벤트 특징을 세 가지 뚜렷한 성분으로 분해한다:

1. 공통 움직임 ($F^c_t$): 두 모달리티 모두에서 지원되는 구조 (예: 지배적인 변위 패턴).
2. RGB 전용 움직임 ($F^{r,s}_t$): RGB의 조밀한 외관(appearance)에 고유한 정보.
3. 이벤트 전용 움직임 ($F^{e,s}_t$): 이벤트 스트림에 고유한 역학 (예: 급격한 밝기 변화).

이 분해는 원래 정보를 보존하기 위한 재구성 손실(reconstruction loss)과 각 브랜치 간의 직교성을 보장하여 공통 브랜치가 모달리티별 정보를 중복 생성하지 않도록 하는 분리 손실(separation loss)을 통해 강제된다.

B. 공간 에너지 및 중복성 정보 기반 교정 (Spatial Energy and Redundancy-Informed Calibration, SERIC)

모든 이벤트 응답이 유용한 것은 아니다. 일부는 노이즈이거나, RGB와 중복되거나, 혹은 약하다. SERIC은 가장 가치 있는 이벤트 증거를 식별하고 교정한다:

• 활동 맵 ($E_t$): 이벤트 전용 특징의 국부 에너지(제곱 크기)를 측정하여 활성 영역을 식별한다.
• 신규성 맵 ($N_t$): 이벤트 특징과 (이벤트 공간으로 투영된) RGB 특징 사이의 차이를 계산하여 RGB로 설명되지 않는 증거를 식별한다.
• 효용성 추정: 학습 가능한 함수가 $E_t$와 $N_t$를 결합하여 효용 맵($U_t$)을 생성한다. 이 맵은 약하거나 중복된 응답은 억제하는 한편, 이벤트가 새롭고 높은 에너지를 가진 역학적 증거를 제공하는 영역은 유지한다.
• 교정 예측: 교정된 이벤트 특징은 공통 움직임과 결합되어 후보 흐름 교정값($\Delta v_t$)을 예측한다.

C. 에너지 인식 라우팅 (Energy-Aware Routing, EAR)

마지막 단계는 후보 교정이 초기 RGB 흐름을 어디에서, 그리고 얼마나 강하게 정밀화할지 결정한다.

• 라우팅 네트워크는 국부 활동, 신규성, 초기 RGB 흐로의 크기, 그리고 교정값의 크기를 입력으로 받는다.
• 이는 게이트 역할을 하는 공간 라우팅 맵 ($G_t \in [0, 1]$)을 출력한다.
• 정밀화된 흐름: 최종 움직임 벡터는 $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$로 계산된다.
• 이 메커니즘은 RGB 흐로가 이미 신뢰할 수 있는 영역에서는 교정이 억제되도록(0에 가깝게) 하여 불필요한 섭동을 방지한다. 강력한 보완적 역학이 있는 영역에서는 교정이 적용된다.

D. 최적화

시스템은 재구성된 RGB 비디오의 레이트-왜곡 비용($L_{RD}$)을 최소화하도록 엔드투엔드로 학습된다. 보조 손실은 학습 중에 분해와 정렬을 가이드하기 위해 사용되지만, 추론 시에는 폐기된다:

• 재구성 손실 ($L_r, L_s$): CMR 분해의 품질을 강제한다.
• 움직임 정렬 손실 ($L_m$): 광도 오차(photometric error)에서 유도된 신뢰성 마스크를 사용하여 신뢰할 수 있는 RGB 변위를 이벤트 스템(stem)으로 증류한다.
• 워핑 손실 ($L_w$): 이전 프레임의 워핑 오차를 최소화함으로써 정밀화된 흐름을 감독한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. 최초 적용: 저자들이 아는 바로는, 이는 RGB를 독점적인 코딩 대상으로 유지하면서 움직임 예측을 개선하기 위해 이벤트 데이터를 보조 모달리티로 사용한 최초의 연구이다.
2. 점진적 정밀화 프레임워크: 공통 및 모달리티별 움직임을 명시적으로 분리하고, RGB로 설명되지 않는 활성 이벤트 증거를 식별하며, 결과적인 흐름 교정을 공간적으로 라우팅하는 새로운 아키텍처(CMR, SERIC, EAR)를 개발하였다.
3. 포괄적 평가: 세 가지 RGB-이벤트 데이터셋(BS-ERGB, HQ-EVFI, CED)과 두 가지 GOP 설정에 걸친 광범한 실험을 통해, 계산 복잡도의 미미한 증가(P-프레임당 7.3% GFLOPs 증가)와 함께 일관된 코딩 이득을 입증하였다.

4. 실험 결과

저자들은 RGB 전용 HyTIP 베이스라인 및 나이브한 RGB+이벤트 결합 방식과 ENCORE를 비교 평가하였다.

• 데이터셋: BS-ERGB (주 데이터셋), HQ-EVFI (고프레임 레이트), CED (다른 센서).
• 짧은 GOP (GOP=8): BS-ERGB에서 ENCORE는 **19.31%**의 PSNR-RGB BD-rate 절감 및 **16.73%**의 MS-SSIM-RGB 절감을 달성했다. 나이브한 결합 방식은 베이스라인보다 성능이 낮았으며, 이는 제안된 정밀화 모듈의 필요성을 강조한다.
• 긴 GOP (GOP=32): BS-ERGB에서 ENCORE는 최대 **20.80%**의 PSNR-RGB 및 **22.14%**의 MS-SSIM-RGB BD-rate 절감을 달성했다.
• 일반화: HQ-EVFI 및 CED에서도 일관된 이득이 관찰되어, 다양한 캡처 조건 및 센서 유형에 대한 견고함을 입증했다.
• 복잡도: 이 프레임워크는 백본에 비해 P-프레임당 총 GFLOPs를 단 7.3%만 증가시킨다.

5. 의의 및 주장

본 논문은 ENCORE를 도전적인 비디오 압축 시나리오에서 RGB 전용 시간적 모델링의 한계를 해결하는 솔루션으로 포지셔닝한다. 그 의의는 다음과 같다:

• 효율성: 보조 신호를 재구성하거나 다중 모달리티를 공동으로 인코딩하는 오버헤드 없이 보조 센서가 비트레이트를 크게 줄일 수 있음을 보여준다.
• 견고성: 이벤트 증거를 명시적으로 교정하고 라우팅함으로써, 제안된 방법은 나이브한 특징 융합의 함정을 피하고 이벤트 스트림 고유의 노이즈와 중복성을 효과적으로 처리한다.
• 실용성: 이 프레임워크는 최소한의 아키텍처 변경과 계산 오버헤드로 기존 학습된 압축 파이프라인(특히 HyTIP)에 원활하게 통합되며, 이벤트 카메라를 사용할 수 있는 미래의 비디오 압축 표준의 유망한 후보가 될 수 있다.

저자들은 결과가 일관되고 유의미하지만, 이 방법이 이벤트 데이터가 동기화되어 있고 사용 가능하며, 추론 시 보조 헤드가 폐기되는 시나리오를 위해 특별히 설계되었다는 점을 언급하며 신중한 태도를 유지한다.