기술 요약: 극단적인 복잡도 및 품질 스케일에 걸친 향상된 신경 비디오 표현 압축 (NVRC++)

1. 문제 정의

암시적 신경 표현(Implicit Neural Representations, INRs)은 비디오를 오버피팅된 신경 네트워크로 표현함으로써 경쟁력 있는 속도-왜곡(rate-distortion) 성능과 빠른 디코딩을 제공하는 유망한 비디오 압축 방식입니다. 그러나 기존의 INR 기반 코덱은 복잡도와 확장성 사이에서 결정적인 트레이드오프 문제에 직면해 있습니다:

• 고성능 모델(예: NVRC, HiNeRV)은 일반적으로 목표 비트레이트나 품질에 따라 모델 복잡도가 증가해야 합니다. 이는 고비트레이트에서 상당한 디코딩 계산 오버헤드를 초-래하며, 다양한 품질 수준에 대해 단일 모델을 사용할 수 없게 만듭니다.
• 경량화 모델은 고정된 복잡도로 비트레이트 확장성을 달성할 수 있지만, 표현 능력의 한계와 비디오 패치의 독립적 코딩으로 인해 전역적 시공간 중복성을 활용하지 못해 압축 성능이 저하됩니다.
• 고해상도 특징 그리드(feature grids)의 직접적인 배치(네트워크 깊이를 늘리지 않고 품질을 높이기 위한 방법)는 저비트레이트에서 최적이 아닌 성능을 보이며, 긴 비디오 시퀀스에 대한 최적화(overfitting) 과정에서 과도한 계산 및 메모리 오버헤드를 초래합니다.

핵심 과제는 광범위한 비트레이트에 걸쳐 일관된 디코딩 복잡도를 유지하면서 높은 압축 성능을 전달할 수 있는 통합된 아키텍처의 부재입니다.

2. 방법론: NVRC++ 프레임워크

저자들은 모델 복잡도와 재구성 품질을 분리하도록 설계된 새로운 INR 기반 비디오 코덱인 **NVRC++**를 제안합니다. 이 프레임워크는 네 가지 핵심 혁신 기술을 통합합니다:

A. 고정된 복잡도를 가진 고해상도 특징 그리드

NVRC++는 경량 신경망 백본과 다수의 고해상도 특징 그리드를 결합하여 사용합니다. 모델 크기가 품질에 따라 확장되는 기존 방식과 달리, NVRC++는 단일 모델 구성(고정된 네트워크 레이어)을 사용하여 넓은 비트레이트/품질 범위를 포괄합니다. 고해상도 그리드는 동적인 시공간 특징을 직접 저장하여, 디코더 네트워크의 계산 비용을 증가시키지 않고도 모델이 미세한 디테일을 표현할 수 있게 합니다.

B. 인-파라미터 코딩 구조 및 최적화 프레임워크

고차원 그리드를 긴 시퀀스에 대해 최적화할 때 발생하는 계산 및 메모리 비용을 관리하기 위해, NVRC++는 전통적인 비디오 코덱(예: Hierarchical-B)의 계층적 코딩에서 영감을 얻은 인-파라미터 코딩 구조를 도입합니다.

• 시간적 슬라이싱(Temporal Slicing): 특징 그리드 파라미터를 시간적 슬라이스로 분할합니다. 의존성은 계층적으로 모델링되며, 하위 레벨의 슬라이스는 상위 레벨의 참조 슬라이스에 의존합니다. 이는 전체 그리드 텐서를 동시에 처리하지 않습니다.
• 무조건적 양자화 및 랜덤 샘플링: 표준 오버피팅 과정에서 발생하는 특징 전파 체인에 의한 메모리 폭발을 방지하기 위해, NVRC++는 이전 프레임에 조건화되지 않는 양자화 단계(quantization step sizes)를 채택합니다. 이를 통해 최적화 과정에서 랜덤 샘플링이 가능해지며, 각 단계에서 일부 파라미터만 업데이트할 수 있습니다. 이는 학습-테스트 일관성을 유지하면서 메모리 점유율을 크게 줄여줍니다(24GB GPU에서 600프레임 1080p 시퀀스 처리 가능).
• 특징 그리드 마스킹(Feature Grid Masking): 초기 학습 단계에서 고해상도 그리드에 드롭아웃(Dropout)에서 영감을 받은 랜덤 마스킹 메커니즘이 적용됩니다. 이는 모델이 초기에 저해상도 그리드에 의존하도록 강제하여, 저비트레이트에서 미세한 디테일에 오버피팅되는 것을 방지하고 전체 비트레이트 범위에서 효과적인 시공간 중복성 활용을 보장합니다.

C. 다차원 그리드 엔트로피 모델

고차원 그리드 파라미터를 효율적으로 압축하기 위해 세 가지 유형의 사전 정보(priors)를 활용하는 고급 엔트로피 모델이 설계되었습니다:

1. 스케일 사전 정보(Scale Priors): 저해상도 그리드가 고해상도 그리드의 코딩을 조건화합니다.
2. 시간적 사전 정보(Temporal Priors): 이전 타임스텝에서 코딩된 슬라이스가 후속 슬라이스의 조건 역할을 합니다.
3. 공간적 사전 정보(Spatial Priors): 동일한 슬라이스 내의 공간적 컨텍스트가 활용됩니다.
   이 모델은 마스크된 공간 컨텍스트를 사용하는 다단계 코딩 방식을 사용하여 자기회귀(autoregressive) 모델의 느린 순차적 특성을 피하고, 압축 효율과 높은 코딩 속도 사이의 균형을 맞춥니다.

D. HiNeRV++ 아키텍처

이 프레임워크는 HiNeRV 네트워크의 향상된 버전인 **HiNeRV++**를 채택합니다. 주요 수정 사항은 다음과 같습니다:

• 다중 참조 입력(Multi-Reference Inputs): 단순히 보간된 특징에만 의존하는 대신, HiNeRV++는 주변의 여러 원본 특징 슬라이스를 입력 컨텍스트로 활용하여 더 높은 충실도의 인코딩을 제공합니다.
• 단순화된 출력: 고해상도에서의 추론 비용을 줄이기 위해 최상위 네트워크 블록을 단일 Pixel Shuffle 레이어로 대체했습니다.
• 그리드 통합: 서로 다른 특징 그리드 세트의 인코딩이 첫 번째 단계뿐만 아니라 네트워크의 여러 단계에 입력됩니다.

3. 주요 기여

1. 확장 가능한 INR 코덱: 약 7k에서 360k MACs/pixel에 이르는 네 가지 뚜렷한 복잡도 레벨을 지원하며, 각 레벨은 고정된 디코딩 복잡도로 넓은 비트레이트 및 품질 범위를 커버하는 새로운 아키텍처를 제시합니다.
2. 효율적인 최적화: 인-파라미터 코딩과 랜덤 샘플링을 통해 엄격한 메모리 제약 조건 하에서도 긴 시퀀스에 대해 고차원 그리드를 학습할 수 있는 최적화 프레임워크를 제공합니다.
3. 고급 엔트로피 모델링: 스케일, 시간, 공간 중복성을 활용하여 효율적인 파라미터 압축을 수행하는 다차원 그리드 엔트로피 모델을 개발했습니다.
4. 향상된 네트워크 설계: 고해상도 그리드와 다중 참조 입력을 활용하여 실시간 디코딩과 우수한 성능을 달달하는 HiNeRV++ 아키텍처를 구축했습니다.

4. 실험 결과

NVRC++ 프레임워크는 UVG 및 MCL-JCV 데이터셋(Full HD 시퀀스)을 대상으로 최신 전통적 코덱(x265, HM, VTM), 오토인코더 기반 신경 코덱(DCVC-FM, DCVC-RT), 그리고 기존 INR 기반 코덱(HiNeRV, NVRC, C3)과 비교 평가되었습니다.

• 속도-왜곡 성능: NVRC++ 변체들(S1–S4)은 매우 높은 확장성을 보여줍니다. S3 변체는 SOTA INR 코덱인 NVRC의 성능과 대등하면서도 7.6배 더 빠르게 디코딩합니다. S4 변체는 VTM 및 DCVC-RT와 유사한 성능을 달성합니다.
• 복잡도 대비 속도: 비트레이트에 따라 복잡도가 증가하는 NVRC 및 HiNeRV와 달리, NVRC++는 주어진 스케일에 대해 고정된 복잡도를 유지합니다. NVIDIA RTX 4090에서 S3 기준 73.4 FPS, S2 기준 162.9 FPS의 디코딩 속도를 달성하여 기존 INR 방식들을 크게 앞섭니다.
• 절제 연구(Ablation Studies): 고해상도 그리드, 마스킹, 엔트로피 사전 정보, 또는 다중 참조 입력 중 하나라도 제거할 경우 성능이 크게 저하되어, 각 혁신 요소의 필요성이 검증되었습니다.
• HiNeRV++ vs. HiNeRV: 새로운 아키텍처는 표현의 부담을 그리드로 전이함으로써 더 빠르게 수렴하고 더 높은 PSNR(예: 300 에포크에서 +2.09 dB)을 달성하며 계산 비용은 더 낮습니다.

5. 의의 및 주장

본 논문은 NVRC++가 실제적인 배포를 향한 INR 기반 비디오 코딩의 중요한 진전임을 주장합니다. 복잡도 확장성 문제를 해결함으로써, 단일 모델 구성이 하드웨어 제약과 품질 요구사항을 모두 충족할 수 있게 합니다.

저자들은 NVRC++가 탁월한 복잡도-성능 트레이드오프를 달성하여, 모든 복잡도 레벨에서 전례 없는 품질 범위에 걸쳐 최첨단 성능을 제공한다고 강조합니다. 결정적으로, NVRC++는 경쟁력 있는 속도-왜곡 성능을 유지하면서도 실시간 디코딩(최대 73.4 FPS)을 가능하게 하여, 기존의 고성능 INR 코덱들이 가졌던 주요 한계점인 과도한 계산 비용 문제를 해결했습니다. 이 연구는 경량 네트워크가 고해상도 특징 그리드 및 효율적인 최적화 전략과 결합될 때, 무거운 INR 모델이나 기존의 오토인코더 기반 방식보다 뛰어난 성능을 낼 수 있음을 입증합니다.