💻 computer science

NAE-VC: Neural Arithmetic Encoding as a Learned Replacement for CABAC in Modern Video Codecs

NAE-VC는 기존 비디오 코딩 표준과의 완전한 호환성을 유지하면서도 상당한 비트레이트 절감을 달성하기 위해 컨텍스트 집계, 가우시안 혼합 모델링, 하이퍼프라이어를 결합한 신경망 구조를 통해 H.264, H.265, H.266 코덱의 표준 CABAC 엔진을 대체하는 모듈형 학습 엔트로피 코딩 프레임워크이다.

원저자: Reka Sandaruwan Gallena Watthage, Anil Fernando

게시일 2026-07-17

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Reka Sandaruwan Gallena Watthage, Anil Fernando

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 전 세계에 있는 친구에게 거대한 고화질 영화를 보내려고 한다고 상상해 보세요. 인터넷을 막히지 않게 하면서 이 일을 가능하게 하려면, 파일을 최대한 작게 줄여야 합니다. 이 과정을 **비디오 압축(video compression)**이라고 합니다. 이것은 여행을 위해 캐리어를 싸는 것과 같습니다. 물건들을 그냥 무작ful하게 던져 넣는 것이 아니라, 옷을 꽉 조여 접고 배치하여 낭비되는 공간이 없도록 하는 스마트한 시스템이 필요합니다.

비디오의 세계에서, 이 "스로직한 패킹 시스템"에는 **엔트로피 코딩(entropy coding)**이라는 매우 중요한 마지막 단계가 있습니다. 이는 컴퓨터가 데이터를 정확히 어떻게 1과 0의 스트림으로 기록할지 결정하는 최종 단계입니다. 수십 년 동안 업계에서는 CABAC(문맥 기반 적응형 이진 산술 부호화)라고 불리는 특정된 수작업 방식을 사용해 왔습니다. CABAC을 책을 정리하는 방법이 적힌 거대한 규칙책을 암기하고 있는, 매우 경험이 풍부하지만 다소 경직된 사서라고 생각할 수 있습니다. 그것은 훌륭하지만, 정해진 규칙을 따르며 데이터의 특이하거나 새로운 패턴에 쉽게 적응하지 못합니다. 반면, 신경망(뇌처럼 학습하는 컴퓨터 시스템)이라는 새로운 물결은 훨씬 더 나은 패턴 예측 능력을 보여주었지만, 대개는 비디오 시스템 전체를 처음부터 교체해야 합니다. 이는 도서관의 사서만 바꾸기 위해 도서관 전체를 다시 짓는 것과 같습니다.

이 논문은 NAE-VC라는 영리한 절충안을 소개합니다. 연구진들은 전체 비디오 시스템을 허물어뜨리는 대신, 기존의 규칙에 얽매인 사서(CABAC)를 교체할 수 있는 "신경망 사서"를 구축하여 나머지 비디오 시스템의 모든 부분을 그대로 유지했습니다. 그들은 이 새로운 시스템을 세 세대의 비디오 표준(H.264, H.265, H.266)에 대해 테스트했으며, 이 새로운 방식이 기존의 방식보다 일관되게 파일 크기를 더 줄인다는 것을 발견했습니다. 이는 인간이 만든 최고의 규칙이라 할지라도, 학습하는 컴퓨터가 운전대를 잡게 되면 개선의 여지가 있다는 것을 증명합니다.

문제점: 경직된 사서

수년 동안 비디오 코덱(비디오를 압축하는 소프트웨어)은 최종 패킹을 수행하기 위해 CABAC에 의존해 왔습니다. CABAC은 거대한 수기 규칙집을 암기한 사서와 같습니다. 새로운 데이터가 도착하면, 사서는 그 데이터가 다음에 나타날 확률이 얼마나 되는지 추측하기 위해 책의 특정 인덱스를 확인합니다. 데이터가 흔하다면 짧은 코드로 기록하고, 드물다면 더 긴 코드를 사용합니다.

문제는 이 규칙집이 고정되어 있다는 점입니다. 이것은 몇 년 전 인간에 의해 설계되었으며, 시청 중인 특정 영화에 따라 변할 수 없습니다. 또한 복잡한 데이터를 단순한 "예/아니오"(이진) 질문으로 분해하는데, 이는 실제 비디오에서 발견되는 풍부하고 복잡한 패턴을 손실시킵니다. 이는 마치 전체 붓터치를 이해하기보다는, 한 픽셀씩 "이것은 빨간색인가?" 또는 "파란색인가?"라는 질문만 던져서 복잡한 그림을 설명하려는 것과 같습니다.

해결책: 학습하는 사서

연구진은 NAE-VC(비디오 압축을 위한 신경 산술 인코딩)를 제안했습니다. 그 경직된 사서를 똑똑한 AI 비서로 교체한다고 상상해 보세요. 이 비서는 단순히 규칙을 찾아보는 것이 아니라, 전체 그림을 봅니다.

AI 비서는 데이터를 어떻게 패킹할지 결정하기 전에 세 가지 특별한 방식으로 단서를 수집합니다:

공간적 문맥(Spatial Context): 주변을 살핍니다. 옆 방에 무엇이 있는지 현재 방을 보고 알 수 있듯이, AI는 현재 픽셀 주변의 픽셀을 보고 다음에 무엇이 올지 예측합니다.
채널 문맥(Channel Context): 주파수를 살핍니다. 비디오 데이터에는 다양한 세부 사항의 "층"(음악의 저음과 고음 같은)이 있습니다. AI는 이러한 층들이 서로 어떻게 연관되어 있는지 이해합니다.
시간적 문맥(Temporal Context): 과거를 살핍니다. 공이 움직이는 영상을 보고 있다면, AI는 다음 프레임에서도 공이 비슷한 위치에 있을 가능성이 높다는 것을 압니다. AI는 이 움직임을 사용하여 더 나은 예측을 합니다.

AI는 **멀티 헤드 크로스 어텐션(multi-head cross-attention)**이라는 기술을 사용하여 이 모든 단서를 결합합니다(이는 네 명의 전문가가 회의를 하며 각자 다른 종류의 단서에 집중한 뒤, 최선의 예측에 투표하는 것과 같습니다). 단순히 "예 또는 아니오"를 추측하는 대신, AI는 **가우시안 혼합 모델(Gaussian Mixture Model)**을 예측합니다. 쉬운 말로, AI는 단 하나의 숫자만을 추측하는 것이 아니라, 데이터가 몇 가지 방식으로 클러스터링될 수 있음을 이해하며 전체적인 가능성의 구름을 예측합니다. 이를 통해 데이터를 훨씬 더 촘촘하게 패킹할 수 있습니다.

결과: 비트 줄이기

연구진은 이 새로운 "신경망 사서"를 세 가지 비디오 표준인 H.264, H.265, H.266의 참조 소프트웨어에 교체하여 테스트했습니다. 새로운 사서가 정말 더 나은지 확인하기 위해 다른 모든 부분은 똑같이 유지했습니다.

결과는 전반적으로 일관되었습니다:

H.264 (가장 오래된 표준): 새로운 시스템은 "All-Intra" 모드(모든 프레임이 독립적인 모드)에서 파일 크기를 약 4.82% 절감했고, "Low-Delay" 모드(프레임 간 의존성이 있는 모드)에서는 6.15% 절감했습니다.
H.265 (중간 단계 표준): 3.67%(All-Intra) 및 4.93%(Low-Delay)를 절감했습니다.
H.266 (가장 최신의, 가장 발전된 표준): 이 표준은 이미 매우 정교한 시스템을 갖추고 있음에도 불구하고, 새로운 AI는 여전히 2.41%(All-Intra)와 3.28%(Low-Delay)를 절감해 냈습니다.

논문은 명확한 패턴을 제시합니다: 원래 시스템이 더 발전될수록 개선할 여지는 줄어듭니다. 가장 오래되고 단순한 H.264가 AI가 개선할 수 있는 가장 많은 "여유 공간"을 가지고 있었습니다. 그러나 AI가 최신 기술인 H.266을 2% 이상 개선했다는 사실은 매우 중요합니다. 이는 인간이 아무리 잘 설계된 규칙집을 만들더라도, 학습하는 시스템은 인간이 놓친 패턴을 찾아낼 수 있음을 시사합니다.

이것이 의미하는 바

이 연구는 더 나은 압축을 위해 비디오 시스템 전체를 버릴 필요가 없다는 것을 보여줍니다. "패킹" 부분만을 스마트한 학습형 AI로 정밀하게 교체할 수 있습니다.

연구진은 또한 이것이 영상 품질에 미치는 영향도 확인했습니다. 절감 효과는 단순히 수학적인 트릭이 아니었습니다. 영상은 인간의 눈에 실제로 더 좋아 보였습니다(VMAF 및 MS-SSIM과 같은 지표로 측정됨). AI는 영상이 날카롭고 자연스럽게 보이게 만드는 중요한 디테일을 보존하는 데 더 뛰어났습니다.

한 가지 흥ered로운 발견은, 새로운 시스템이 움직임이 있는 장면(스포츠 경기나 영화 등)에서 가장 잘 작동한다는 것입니다. 왜냐하면 "시간적 문맥"(과거를 보는 것)을 사용하여 더 똑똑한 추측을 할 수 있기 때문입니다. 정적인 장면에서는 개선 폭이 작지만, 여전히 개선 효과는 존재합니다.

주의할 점

이러한 추가적인 똑똑함에는 비용이 따릅니다. 새로운 시스템은 실행하는 데 더 많은 컴퓨터 자원을 필요로 합니다. 오래된 H.264 표준의 경우, 인코딩 시간(영상을 압축하는 데 걸리는 시간)이 약 4배 증가했습니다. 이미 복잡한 최신 H.266의 경우, 시간 증가폭은 약 **15%**에 불과했습니다. 이는 이 기술이 현대의 고성능 비디오 시스템(컴퓨터가 이미 열심히 작동하고 있는 환경)이나, 속도보다 저장 공간 절약이 더 중요한 클라우드 서버에서 가장 실용적임을 시사합니다.

요약하자면, 이 논문은 비디오 압축의 마지막 단계를 학습형 AI로 교체함으로써, 차세대 비디오 기술이 나올 때까지 기다리지 않고도 기존 비디오 표준에서 더 높은 효율성을 끌어낼 수 있음을 입증합니다.

기술 요약: NAE-VC – CABAC의 학습된 대체제로서의 신경 산술 인코딩(Neural Arithmetic Encoding)

1. 문제 정의

엔트로피 코딩은 하이브리드 비디오 코덱(H.264/AVC, H.265/HEVC, H.266/VVC)의 마지막 무손실 단계로, 특정 재구성 품질을 달기 위해 필요한 비트레이트를 직접적으로 결정한다. 현재의 표준인 문맥 기반 적응형 이진 산술 코딩(CABAC)은 확률 추정 정확도를 제한하는 세 가지 근본적인 구조적 제약에 의존한다:

이진 확률 모델링 (Binary Probability Modelling): CABAC은 다중 값 구문 요소(syntax elements)를 이진 결정으로 분해하여 각 비트에 대해 별도의 베르누이 확률을 추정한다. 이는 변환 계수(transform coefficients)의 결합 통계 구조와 다봉성(multimodal) 특성을 소실시킨다.
고정된 문맥 유도 (Fixed Context Derivation): 코딩 상태에서 문맥 모델 인덱스로의 매핑은 표준화 시점에 설계되어 고정된다. 이는 개별 비디오 시퀀스나 국소적 콘텐츠 영역의 특정 통계적 특성에 적응할 수 없다.
단일 속도 적응 (Single-Rate Adaptation): 확률 업데이트는 고정된 지수 이동 평균(EMA) 규칙을 사용하며, 이는 정적 문맥(느린 적응 필요)과 비정적 문맥(빠른 적응 필요)을 구분하지 못한다.

엔드 투 엔드(end-to-end) 신경망 압축 프레임워크는 학습된 하이퍼프라이어(hyperpriors), 자기회귀 문맥(autoregressive contexts), 가우시안 혼합 모델(GMM)을 사용하여 우수한 확률 모델링 성능을 입증했으나, 이러한 방식은 전체 코덱 파이프라인을 교체해야 한다. 이들은 표준 준수성이 없으며 하위 호환성이 부족하다. 따라서 예측, 변환 또는 필터링 도구를 변경하지 않고 기존 표준 코덱의 엔트로피 코딩 단계에 이러한 학습된 모델링의 진보를 전이하는 데에는 상당한 격차가 존재한다.

2. 방법론: NAE-VC 프레임워크

저자들은 기존 코덱(JM-19.0, HM-16.25, VTM-17.0)의 다른 모든 코딩 도구는 보존하면서 CABAC 모듈만을 정밀하게 교체하도록 설계된 모듈형 프레임워크인 NAE-VC(Neural Arithmetic Encoding for Video Compression)를 제안한다. 이 프레임워크는 세 가지 주요 구성 요소로 이루어져 있다:

A. 문맥 집계 네트워크 (Context Aggregation Network)

고정된 CABAC 문맥 인덱스의 제한된 표현 용량을 극복하기 위해, NAE-VC는 세 가지 상호 보완적인 문맥 소스를 하나의 통합된 조건 벡터( $D=192$ )로 융합하는 학습된 네트워크를 사용한다:

공간적 문맥 (Spatial Context): 현재 블록 내의 이전에 코딩된 계수들에 대해 마스크 처리된 $3\times3$ 컨볼루션을 통해 추출되며, 경계 처리를 위해 인접한 복원 블록(좌측/상단)의 특징이 추가된다.
채널별 자기회귀 문맥 (Channel-wise Autoregressive Context): 계수들을 네 개의 그룹으로 분할하고 순차적으로 다층 퍼셉트론(MLP)을 통해 처리하여 채널 간 의존성(예: DC와 AC 계수 사이)을 포착한다.
시간적 문맥 (Temporal Context): 인터 코딩 프레임의 경우, 움직임 보상 참조 블록에서 특징을 추출한다. 인트라 프레임의 경우, 학습된 기본 임베딩을 사용한다.
융합 (Fusion): 이러한 경로들은 멀티 헤드 교차 주의(Multi-Head Cross-Attention) 메커니즘( $H=4$ 헤드, $d_k=48$ )을 사용하여 융합되며, 이를 통해 네트워크는 각 구문 요소에 대해 가장 정보가 풍부한 문맥 소스에 적응적으로 가중치를 부여할 수 있다.

B. 신경 확률 추정 (GMM)

단일 베르누이 확률 대신, NAE-VC는 $K=3$ 개의 성분을 가진 **가우시안 혼합 모델(GMM)**을 사용하여 양자화된 변환 계수의 분포를 모델링한다.

예측 헤드 (Prediction Heads): 세 개의 병렬 선형 헤드가 융합된 문맥 벡터를 기반으로 GMM 성분의 평균( $\mu$ ), 스케일( $\sigma$ , Softplus를 통해), 그리고 혼합 가중치( $\pi$ , Softmax를 통해)를 예측한다.
이산화 (Discretization): 연속적인 GMM 밀도는 단위 양자화 빈(bin)에 대해 적분되어 이산 확률 질량 함수(PMF)를 생성하며, 이는 엔트로피 코딩을 위한 누적 분포 함수(CDF)로 변환된다.
장점: 이 접근 방식은 CABAC의 단일 모드 모델이 표현할 수 없는 다봉성, 두꺼운 꼬리(heavy-tailed), 비대칭 분포를 포착한다.

C. 계층적 문맥 모델링 및 rANS 인코딩

하이퍼프라이어 (Hyperprior): 경량 인코더 네트워크(1.8M 파라미터)는 전역 계수 통계를 잠재 측면 정보 벡터( $\hat{z}$ )로 압축하며, 이는 공간적으로 적응적인 초기 추정치를 제공하기 위해 측면 정보로 전송된다.
체커보드 병렬성 (Checkerboard Parallelism): 인과적 의존성을 위반하지 않으면서 부분적 병렬성을 가능하게 하기 위해, 계수 위치를 짝수와 홀수 세트로 나눈다(체커보드 패턴). 짝수 위치가 하이퍼프라이어와 시간적 문맥을 사용하여 먼저 코딩된 후, 홀수 위치가 디코딩된 짝수 위치에 추가로 조건화되어 코딩된다.
인코딩 엔진: 프레임워크는 이진 산술 코더를 대체하여 16비트 CDF 정밀도를 가진 rANS(Range Asymmetric Numeral Systems)를 활용한다. 이는 이론적 엔트로피와 거의 동일한 압축 효율(심볼당 0.01 비트 이내)과 비트 단위의 정확한 동기화를 보장한다.

3. 주요 기여

최초의 통합 신경 교체 모델: NAE-VC는 단일 아키텍처 하에서 세 세대의 표준화된 하이브리드 코덱(H.264, H.265, H.266) 전체에 대해 평가된 최초의 변환 계수 엔트로피 코딩 파이프라인용 신경 교체 모델로 제시된다.
멀티 헤드 교차 주의 융합: 고정된 매핑을 가진 CABAC을 능가하여 공간적, 채널별, 시간적 문맥을 적응적으로 결합하는 학습된 융합 메커니즘을 도입하였다.
포괄적인 교차 코덱 평가: 여섯 개의 벤치마크 데이터셋(UVG, MCL-JCV, HEVC Classes B–E)과 두 가지 구성(All-Intra, Low-Delay P)에 대한 광범적인 평가를 통해 PSNR, MS-SSIM, VMAF 지표 전반에서 일관된 이득을 입증하였다.
모듈형 통합 전략: 본 연구는 학습된 엔트로피 코딩이 예측, 변환, 필터링 도구의 의미론을 보존하면서 CABAC의 드롭인(drop-in) 교체제로 통합될 수 있음을 보여줌으로써, 확률 추정의 기여도를 다른 코딩 도구로부터 격리하였다.

4. 실험 결과

실험은 QP 값 {22, 27, 32, 37}에 대해 여섯 개의 벤치마크 데이터셋에서 수행되었다.

BD-Rate 절감 효과 (Native CABAC 대비)

NAE-VC는 모든 코덱에서 일관되게 비트레이트 절감을 달성했으며, 개선의 폭은 네이티브 CABAC 구현의 정교함과 반비례 관계를 보였다:

H.2 \text{.64/AVC:} $-4.82\%$ (All-Intra), $-6.15\%$ (Low-Delay P).
H.2 \text{.65/HEVC:} $-3.67\%$ (All-Intra), $-4.93\%$ (Low-Delay P).
H.2 \text{.66/VVC:} $-2.41\%$ (All-Intra), $-3.28\%$ (Low-Delay P).

주요 관찰 사항

역관계 (Inverse Relationship): 결과는 네이티브 CABAC이 정교해질수록(H.264에서 H.266으로) 신경 교체를 위한 "여유 공간(headroom)"이 줄어든다는 가설을 확인시켜 주었으나, 고도로 최적화된 VRC에서도 측정 가능한 이득이 지속되었다.
시간적 문맥 (Temporal Context): Low-Delay P 구성은 All-Intra보다 더 큰 이득을 얻었으며(예: H.264에서 추가로 $1.33$ 퍼센티지 포인트), 이는 CABAC이 사용할 수 없는 교차 프레임 계수 상관관계를 모델링하는 시간적 문맥 경로의 기여를 입증한다.
지각적 품질 (Perceptual Quality): 이득은 여러 지표에서 일관되게 나타났으며, VMAF 개선( $-5.47\%$ for H.264)이 PSNR 개선을 약간 상회했다. 이는 GMM이 구조적으로 중요한 계수를 더 잘 보존함을 시사한다.
구성 요소 절제 실험 (Component Ablation): 가장 큰 개별 이득은 고정 테이블을 신경 확률 추정으로 교체했을 때($-1.18$ pp) 발생했으며, 그 뒤를 GMM 모델링($-0.64$ pp), 하이퍼프라이어($-0.56$ pp), 공간적 문맥($-0.49$ pp)이 이었다.
세대 간 영향: H.265+NAE-VC는 네이티브 H.266과의 압축 격차를 약 $25\%$ 메우며, 학습된 엔트로피 코딩이 전체 코덱 재설계 없이도 세대적 이득의 유의미한 부분을 제공할 수 있음을 보여주었다.

계산 오버헤드

인코딩: 오버헤드는 빠른 네이티브 인코딩을 가진 H.264에서 가장 높았으나(약 $3.9\times$ 기준 대비), 이미 파이프라인이 계산 집약적인 H.266에서는 $1.15\times$ 로 비교적 완만했다.
모델 크기: 총 학습 가능한 파라미터는 $8.6$ M이며, ONNX 모델 크기는 약 $34$ MB이다.
배포: 저자들은 실시간 H.264/H.265를 위해서는 하드웨어 가속이나 모델 압축이 필요할 것이며, 클라우드 기반 트랜스코딩이 더 즉각적으로 실행 가능한 시나리오라고 언급했다.

5. 의의 및 주장

본 논문은 학습된 엔트로피 코딩이 모든 CABAC 변형에서 지속되는 근본적인 구조적 한계(이진 모델링, 고정된 문맥 유도, 단일 속도 적응)를 해결한다는 구체적인 증거를 제공한다고 주장한다.

모듈성: 이 접근 방식은 코덱 생태계 전체를 교체하지 않고도 압축 효율을 높일 수 있는 경로를 제공하며, 코딩 도구 수준에서의 하위 호환성을 보존한다(비트스트림 형식은 변경되므로 일치하는 디코더가 필요함).
여유 공간 정량화: 결과는 가장 진보된 표준인 VVC에서도 잔여 엔트로피 코딩 여유 공간이 존재함을 정량화하며, 이는 학습된 확률 모델링을 통해 추가적인 이득이 가능하다는 것을 시사한다.
실용성: 엔트로피 단계를 격리함으로써, 본 연구는 엔드 투 엔드 신경 코덱의 높은 성능과 표준화된 비디오 코딩의 배포 현실 사이의 간극을 메우며, 기존 인프라를 위한 "정밀한(surgical)" 업그레이드 경로를 제공한다.

저자들은 CABAC의 정교함과 신경망 이득 사이의 역관계가 방향성 있게 일치하지만, 다른 코덱 수준의 차이(분할, 변환 등)에 의해 영향을 받는다고 결론지었다. 그럼에도 불구하고, 모든 세대에 걸친 일관된 개선은 모듈형 신경 엔트로피 코딩이 미래 비디오 압축 표준의 실행 가능한 향상책으로서 잠재력이 있음을 입증한다.