기술 요약: DCVC-MB: 상태 공간 모델을 이용한 신경망 B-프레임 비디오 압축

문제 정의

전통적인 비디오 코덱(예: VVC, HEV)은 양방향 예측(B-프레임)을 통해 상당한 압축 이득을 달-성하지만, 신경망 비디오 코덱(NVC)은 주로 단방향 P-프레임 구조에 의존해 왔습니다. B-프레임을 NVC에 통합하려는 기존의 시도들은 두 가지 주요 문제로 인해 어려움을 겪었습니다:

1. 비효효율적인 융합: 이전 방법들은 양방향 시간 정보를 효율적으로 융합하지 못하여, 종종 P-프레임 전용 방식보다 성능이 떨어지는 결과를 초래했습니다.
2. 계산 복잡도: 장거리 의존성을 포착할 수 있는 트랜스포머(Transformer) 기반 아키텍처는 해상도에 따라 제곱($O(N^2)$)으로 스케일링됩니다. 이는 고해상도(720p, 1080p)에서 과도한 메모리 소비(VRAM 제한 초과)와 계산 비용을 초래하여 실제 배포를 불가능하게 만듭니다.

방법론

저자들은 상태 공간 모델(SSM)을 사용하여 B-프레임 코딩을 위해 특별히 설계된 B-프레임 코딩 프레임워크인 DCVC-MB(DCVC-Mamba)를 제안합니다. 이 아키텍처는 DCVC-DC를 기반으로 구축되었으나, 과거와 미래의 시간 정보에 동시에 접근할 수 있도록 근본적인 변화를 도입했습니다.

핵심 아키텍처 구성 요소

1. Mamba를 통한 양방향 특징 융합:

   • 과거로부터의 단일 디코디드 픽처 버퍼(DPB)를 사용하는 이전 모델들과 달리, DCVC-MB는 과거 프레임($X_{t-1}$)과 미래 프레임($X_{t+1}$)에서 오는 두 개의 DPB를 유지합니다.
   • 이러한 특징들은 **양방향 맘바 블록(Bidirectional Mamba Block, BMB)**을 통해 융합됩니다. Mamba 아키텍처는 트랜스포머의 이차 복잡도($O(N^2)$)와 비교하여 선형 복잡도($O(N)$)를 제공하므로 고해상도에서도 효율적인 처리가 가능합니다.
   • 융합 과정은 참조 프레임을 연결하고, 2D CNN을 통해 임베딩하며, 이를 토큰화한 후 SSM을 통해 시퀀스를 처리하는 방식으로 진행됩니다. SSM은 학습 가능한 파라미터($A, B, C$)를 가진 이산화된 상미분 방정식(ODE)을 사용하여 시스템 역학을 모델링합니다.
   • 복잡한 양방향 의존성을 포착하기 위해, 모델은 공간 우선 양방향(Spatial-First Bidirectional) 방식을 채택하여, 순방향 및 역방향 행 우선 스캔(row-major scans)으로 토큰을 처리하고 그 출력을 합산합니다.

2. 적응형 잠재 변수 스킵(Adaptive Latent Skipping):

   • 엔트로피 코딩 시간을 줄이기 위해, 본 프레임워크는 적응형 잠재 변수 스킵 메커니즘을 사용합니다. 고정된 임계값을 사용하는 대신, 프레임 내 잠재 요소들의 표준 편차($\sigma$)를 기반으로 하는 상대적 임계값 전략을 사용합니다.
   • $\sigma_i < \text{mean}(\sigma)$인 잠재 변수는 스킵(평균값으로 대체)되고, 나머지는 인코딩됩니다. 이는 비대칭적 계산을 유발하지 않으면서 P-프레임의 경우 약 9배, B-프레임의 경우 약 5배의 엔트로피 코딩 시간을 단축합니다.

3. 정준 위치 임베딩(Canonical Position Embedding):

   • 훈련(256$\times$256)과 추론(최대 1080p) 사이의 해상도 불일치를 해결하기 위해, 저자들은 표준 픽셀 좌표 위치 임베딩을 정준 위치 임베딩으로 대체했습니다.
   • 공간 좌표는 원시 픽셀 값이 아닌 정준 이미지 평면($x, y \in [0, 1]$)으로 정규화됩니다. 이는 위치 하모닉(positional harmonics)이 해상도에 관계없이 일관되게 유지되도록 하여, 훈련 해상도에 대한 과적합을 방지합니다.

4. 추론 시 최적화:

   • Open GoP: GOP(Group of Pictures)의 마지막 B-프레임이 다음 GOP의 I-프레임을 참조할 수 있도록 하여, 시간적으로 더 가까운 참조를 제공합니다.
   • 양방향 코딩: 홀수 인덱스 GOP를 순방향 및 역방향 양방향으로 인코딩한 후, 레이트-왜곡(rate-distortion) 비용이 더 낮은 결과를 선택합니다. 짝수 인덱스 GOP는 선형 복잡도를 유지하기 위해 폐쇄형(closed) 구성을 사용합니다.

주요 기여

• 새로운 아키텍처: 트랜스포머 기반 방식이 메모리 제약으로 인해 실패하는 고해상도 영역에서도 효율적인 B-프레임 코딩을 가능하게 하는 상태 공간 모델(Mamba) 기반의 양방향 특징 융합 아키텍처를 도입했습니다.
• IBP 프레임 전략: IBP 프레임 순서를 사용하여 랜덤 액세스(RA) 비디오 코딩을 지원하는 기본 신경망 압축 모델을 구현했습니다.
• 효율성 메커니즘: 엔트로피 코딩을 가속화하기 위한 적응형 엔트로피 기반 잠재 변수 스킵 기술과, 압축 성능을 높이기 위한 추론 시 최적화 전략(Open GoP 및 양방향 코딩)을 개발했습니다.
• 해상도 일반화: 훈련 데이터의 저해상도에서 고해상도 추론으로 효과적으로 일반화하기 위해 정준 위치 임베딩을 사용했습니다.

실험 결과

본 방법은 RGB BT.709 변환을 사용하여 표준 데이터셋(HEVC, UVG, MCL-JCV)에서 VTM-19.0(LDP 및 RA 구성) 및 최첨단 NVC(DCVC-DC, DCVC-FM)와 비교 평가되었습니다.

• 전통적 코덱 대비 성능: DCVC-MB는 VTM-19.0-LDP 대비 최대 30.45%, VTM-19.0-RA(Inter-GoP=16) 대비 **1.81%**의 BD-rate 감소를 달성했습니다.
• 신경망 코덱 대비 성능: 이 모델은 이전 신경망 비디오 코덱(특히 DCVC-FM) 대비 평균 8.98%, 더 강력한 벤치마크인 VTM-19.0-RA 대비 **20.19%**의 BD-rate 감소를 보여주었습니다.
• 효율성: Mamba 융합 모델의 선형 스케일링 덕분에, 유사한 트랜스포머 아키텍처가 40GB 이상의 VRAM을 초과하는 반면, DCVC-MB의 전체 B-프레임 파이프라인은 1080p에서 13.8GB VRAM 내에 들어옵니다.
• 어블레이션 연구(Ablation Studies): 실험을 통해 Mamba 융합 모델이 BD-rate 이득의 대부분($-4.55\%$)을 차지하며, 추론 시 전략들이 부가적인 개선을 제공함을 확인했습니다. 정준 위치 임베딩은 미학습 해상도로의 일반화에 결정적이라는 것이 입증되었습니다.

의의 및 주장

본 논문은 DCVC-MB가 양방향 예측의 압축 효율성과 딥러닝 모델의 계산 가능성 사이의 간극을 성공적으로 메움으로써 신경망 비디오 압축 분야에서 중요한 진전을 이루었다고 주장합니다.

저자들은 다음과 같이 단언합니다:

1. 확장성: Mamba를 활용함으로써, 본 프레임워크는 이전의 양방향 NVC를 제한했던 메모리 병목 현상을 극복하고 고해상도(720p, 1080p)에서 실질적인 B-프레임 코딩을 달성했습니다.
2. 경쟁력: DCVC-MB는 더 강력한 VTM-19.0-RA 구성을 능가하는 최초의 NVC로서, 신경망 방식이 이제 랜덤 액세스 시나리오에서 선도적인 전통적 코덱과 경쟁하거나 이를 능가할 수 있음을 입증했습니다.
3. 실용성: 적응형 잠재 변수 스킵 및 추론 시 최적화를 통해, 이 방법은 높은 압축 성능과 감소된 인코딩/디코딩 시간 사이의 균형을 맞추어 신경망 비디오 압축을 실제 배포에 더 가깝게 만들었습니다.

저자들은 특정 데이터셋(예: 급격한 움직임이 있는 애니메이션 콘텐츠인 MCL-JCV)에서 훈련 데이터(자연 영상)와 테스트 데이터 간의 도메인 차이로 인해 성능이 저하될 수 있다는 점을 언급하며 한계를 인정했습니다. 또한, RGB 훈련과 비교하여 YUV420 최적화가 여전히 과제로 남아 있음을 밝혔습니다.