TVRN: Invertible Neural Networks for Compression-Aware Temporal Video Rescaling

기술 요약: TVRN: 압축 인식 시간적 비디오 리스케일링을 위한 가역 신경망

문제 제기
고프레임레이트 (HFR) 비디오 콘텐츠의 급격한 성장은 대역폭이 제한된 네트워크를 통한 전송에 병목 현상을 초래합니다. 일반적인 해결책은 전송을 위해 HFR 비디오를 저프레임레이트 (LFR) 형식으로 시간적으로 다운스케일링한 후, 클라이언트 측에서 업스케일링 (프레임 보간) 하는 것입니다. 기존 방법들은 주로 다운스케일링과 업스케일링을 별도의 작업으로 처리하거나 학습 목적 함수를 통해만 연결하여, 그 상호 보완적인 특성을 완전히 활용하지 못합니다. 이로 인해 고주파 정보 손실이 자주 발생합니다. 또한, 현재 접근 방식들은 종종 LFR 비디오에 대한 손실 비디오 코덱 (예: HEVC, VVC, AV1) 의 영향을 간과합니다. 대부분의 학습 기반 방법은 표준 손실 코덱과의 호환성을 제한하는 반올림 연산에 의존하며, 기존 대리 네트워크는 특히 모션 보편에서 발생하는 프레임 간 압축 아티팩트를 정확하게 모델링하는 데 어려움을 겪습니다. 결과적으로, 미분 불가능한 손실 압축 하에서 효과적이고 고품질의 프레임레이트 리스케일링을 달성하는 것은 여전히 중요한 과제로 남아 있습니다.

방법론
저자들은 압축 인식 프레임레이트 리스케일링을 위한 엔드 투 엔드 프레임워크인 TVRN(Temporal Video Rescaling Network) 을 제안합니다. 핵심 아키텍처 및 구성 요소는 다음과 같습니다:

1. MIMO-TWT 를 갖춘 가역 아키텍처: 다운스케일링 중 정보 손실을 정규화하기 위해 TVRN 은 가역 신경망 (INN) 구조를 채택합니다. 이는 **다중 입력 다중 출력 시간적 웨이블릿 변환 **(MIMO-TWT)을 도입합니다. 추가적인 모션 단서가 필요한 전통적인 시간적 웨이블릿과 달리, MIMO-TWT 는 경량 비디오 프레임 보간 네트워크를 예측에 사용하고 Dense3D-T 블록을 업데이트에 사용하는 예측 우선 리프팅 방식을 채택합니다. 이를 통해 추가 모션 정보를 전송할 필요 없이 HFR 비디오를 시간적 저주파 (LFR) 프레임과 고주파 (HF) 잔차로 분해합니다.
2. 고주파 재구성: 업스케일링 중 폐기된 HF 성분을 복구하기 위해, 프레임워크는 양방향 광류 기반 재구성 모듈을 활용합니다. 이 모듈은 모션으로 인한 공간적 정렬 불일치를 해결하기 위해 양방향 광류를 사용하여 인접한 LFR 프레임의 맥락적 특징을 정렬하고, 맥락 인식 U-Net 을 통해 초기 HF 추정을 정제합니다.
3. 손실 코덱을 위한 대리 네트워크: 미분 불가능한 손실 코덱을 통한 엔드 투 엔드 학습을 가능하게 하기 위해 저자들은 대리 네트워크($G$)를 설계했습니다. 이 네트워크는 HF 성분을 열화시켜 압축 왜곡을 모방합니다. 여기에는 코덱에서 파생된 양자화 파라미터 (QP) 에 변환 함수를 조건부로 적용하는 압축 인식 가역 커플링 레이어인 Q-가역 블록이 포함되어 있습니다. 이를 통해 이전 Dense3D-T 기반 대리 네트워크보다 프레임 간 예측 아티팩트와 잔차 인코딩 손실을 더 정확하게 시뮬레이션할 수 있습니다.
4. 압축 인식 특징을 갖춘 비대칭 아키텍처: 대칭적 가역 아키텍처가 다양한 압축 수준으로 인한 분포 변화에 민감하다는 점을 인식하여, TVRN 은 비대칭 설계로 확장됩니다. 이는 **비디오 품질 향상 **(VQE) 모듈을 통합합니다. 결정적으로, 아티팩트를 제거하기 위해 VQE 를 직접 적용하는 것 (이는 내장된 HF 정보를 왜곡할 수 있음) 대신, 프레임워크를 업스케일링을 분해 과정으로 취급합니다. 이는 쌍별 **학습 - 랭킹 **(learning-to-rank) 전략을 통해 학습된 압축 인식 특징을 통합합니다. 이러한 특징은 단일 모델이 다양한 QP 에 걸쳐 향상 강도를 적응적으로 제어하여 QP 별 모델을 필요로 하지 않으면서도 견고성을 향상시킵니다.
5. 교대 학습 전략: 프레임워크는 안정적인 수렴을 보장하기 위해 대리 네트워크와 리스케일링 네트워크를 교대 단계로 학습시키는 교대 최적화 전략을 사용합니다.

주요 기여

• 가역 프레임워크: MIMO-TWT 와 양방향 광류 기반 HF 재구성 모듈의 설계로, 가역 아키텍처 내에서 다운스케일링 중 손실된 고주파 정보를 효과적으로 정규화하고 재구성합니다.
• 압축 인식 대리 네트워크: 미분 불가능한 손실 코덱의 기울기를 추정하기 위해 압축 인식 가역 블록을 갖춘 대리 네트워크를 도입하여, 현실적인 압축 설정 하에서 엔드 투 엔드 최적화를 가능하게 합니다.
• 비대칭 확장: VQE 방법 통합의 과제를 식별하고, 다양한 압축 수준에 걸쳐 견고성을 향상시키기 위해 학습 - 랭킹에서 파생된 압축 인식 특징을 사용하는 비대칭 아키텍처를 제안합니다.
• 성능: 산업용 비디오 압축 설정 하에서 TVRN 이 기존 프레임 스킵 및 학습 기반 방법보다 재구성 품질에서 우월함을 입증합니다.

실험 결과
H.265, VVC, AV1 코덱을 사용하여 표준 벤치마크 (UCF-101, Vimeo90K, SNU-FILM) 에서 광범위한 실험이 수행되었습니다.

• 재구성 품질: TVRN 은 HFR 재구성에서 최첨단 성능을 달성하여, PSNR 및 SSIM 측면에서 기존 최상의 VFI 방법 (예: GIMM-VFI) 보다 상당한 차이로 우월합니다. 예를 들어, Vimeo90K 테스트 세트에서 GIMM-VFI 의 35.23 dB 에 비해 35.65 dB 의 PSNR 을 달성합니다.
• 율 - 왜곡 (RD) 성능: TVRN 은 RD 성능에서 최첨단 VFI 방법을 능가하는 최초의 학습 가능 프레임레이트 리스케일링 방법입니다. UCF-101 에서 GIMM-VFI 대비 BD-rate 개선률 (PSNR 기준 -7.22%, SSIM 기준 -16.40%) 을 달성합니다.
• 대리 네트워크 효과성: 제거 실험 (Ablation study) 은 경쟁 방법 (CSTVR) 의 기울기 추정기를 제안된 대리 네트워크로 대체하면 성능이 크게 향상됨을 보여주어, 코덱 왜곡을 모델링하는 대리 네트워크의 능력을 검증합니다.
• 효율성: 경량 변형인 TVRN-S 는 경쟁적인 품질을 유지하면서 FLOPs 를 GIMM-VFI 의 6.54% 로, 업스케일링 시간을 35.75% 로 줄입니다.
• 주관적 품질: 25 명의 참가자를 통한 평균 의견 점수 (MOS) 연구는 두 번째로 좋은 방법 (3.69) 보다 TVRN(4.02) 에 대한 명확한 선호도를 나타냅니다.

의의 및 주장
이 논문은 TVRN 이 시간적 비디오 리스케일링을 위해 가역 신경망과 압축 인식 메커니즘을 성공적으로 통합함으로써 중요한 발전을 이루었다고 주장합니다. 저자들은 이것이 현대 손실 코덱 하에서 최첨단 VFI 방법을 능가하는 최초의 학습 가능 프레임레이트 리스케일링 방법이라고 명시합니다. 다운스케일링과 업스케일링의 상호 보완적 특성을 모델링하고 손실 압축을 정확하게 시뮬레이션함으로써, TVRN 은 이론적 프레임레이트 리스케일링과 대역폭이 제한된 스트리밍 환경에서의 실제 배포 사이의 중요한 격차를 해소합니다. 이 작업은 이러한 과정을 별도로 처리하는 것이 아니라 공동으로 최적화하는 것이 고주파 모션 정보를 보존하고 고충실도 재구성을 달성하는 데 필수적임을 강조합니다.