💻 computer science

NPDO: Neural Prediction Direction Optimizer for Fast VVC Intra Coding

본 논문은 다중 스케일 특징 추출을 계층적 CNN 및 Vision Transformer 구조와 결합한 하이브리드 신경망 프레임워크인 NPDO를 제안하며, 이를 통해 VTM 23.0 대비 단 1.18%의 BD-Rate 증가만으로 VVC 인트라 예측 탐색 공간을 지능적으로 가지치기하여 인코딩 시간을 54.0% 단축한다.

원저자: Reka Sandaruwan Gallena Watthage, Anil Fernando

게시일 2026-07-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Reka Sandaruwan Gallena Watthage, Anil Fernando

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한, 혼란스러운 다락방의 물건들을 인터넷을 통해 보낼 작은 여행 가방에 담으려고 노력한다고 상상해 보세요. 다락방은 고화질 비디오 프레임을 나타내고, 여행 가방은 당신이 보내고자 하는 압축된 파일입니다. 과제는 무엇일까요? 다락방에는 물건을 접고 쌓는 67가지의 서로 다른 방법(이를 "예측 모드"라고 부릅니다)이 가득 차 있습니다. 가장 적은 공간을 차지하면서도 물건을 망가뜨리지 않고 완벽하게 짐을 싸는 방법을 찾기 위해, 표준 비디오 코더(VTM 23.0 참조 모델)는 이 67가지 방법을 하나하나 모두 시도합니다. 이는 마치 상자를 쌀 때마다 셔츠를 접는 모든 가능한 조합을 매번 다 시도하는 것과 같습니다. 효과는 있지만, 매우 느리고 많은 에너지를 소모합니다.

여기에 NPDO(Neural Prediction Direction Optimizer)가 등장합니다. 이는 최신 비디오 표준인 VVC를 위한 이 패킹 과정을 가속화하기 위해 설계된 새로운 "스마트 어시스턴트"입니다.

기존 방식의 문제점
이 논문은 67가지의 접는 방향을 모두 확인하는 전통적인 방식이, 특히 4K 비디오의 경우 실시간 사용에는 너무 느리다고 주장합니다. 이는 마치 필요한 책을 찾기 위해 단순히 가장 가능성 높은 선반만 확인하는 대신, 도서관의 모든 책을 다 읽어야 한다고 고집하는 사서와 같습니다. 저자들은 "수작업으로 만든(hand-crafted)" 규칙(단순한 수학적 트릭으로 방향을 추측하는 방식)에만 의존하거나, 단 한 종류의 컴퓨터 뇌(표준 카메라 같은 신경망 하나만 사용하는 방식)만을 사용하는 것을 명시적으로 배제했습니다. 그들은 이러한 오래된 방식들이 전체적인 그림을 놓치거나 복잡한 질감에 의해 혼란을 겪는다는 것을 발견했습니다.

NPDO 솔루션: 두 개의 뇌를 가진 탐정
모든 것을 확인하는 대신, NPDO는 "다락방"을 살펴보고 가장 잘 작동할 몇 가지 폴딩 방법(folding methods)을 즉각적으로 추측하는 초스마트 탐정 역할을 합니다. 이는 영리한 3단계 과정을 통해 수행됩니다:

멀티 스케일 스캔 (The Multi-Scale Scan): 먼저, NPDO는 "마법 렌료"인 이산 웨이브릿 변환(Discrete Wavelet Transform, DWT)을 사용하여 드론에서 본 숲과 지면에서 본 숲처럼 다양한 크기로 비디오의 질감을 관찰합니다. 또한 히스토그램을 사용하여 가장자리(나무의 윤곽선 같은)의 지도를 그립니다.
두 개의 뇌 팀 (The Two-Brain Team): 이 정보는 협력하는 두 가지 유형의 인공지능에 입력됩니다.
- 로컬 전문가 (HCNN): 계층적 합성곱 신경망(Hierarchical Convolutional Neural Network)으로, 특정 나뭇잎 모양을 알아채는 것처럼 작고 국소적인 패턴을 포착하는 데 탁격합니다.
- 글로벌 전문가 (ViT): 전체적인 레이아웃을 이해하기 위해 전체 그림을 보는 경량 비전 트랜스포머(Vision Transformer)입니다.
- 이 두 뇌는 서로 대화하며 의견을 결합하여 최종 결정을 내립니다.
스마트 필터 (The Smart Filter): 마지막으로, 시스템은 비디오 영역이 얼마나 "무질서한지" 또는 복잡한지를 확인합니다. 만약 영역이 단순하다면(예: 파란 하늘), 3가지 폴딩 옵션만 확인합니다. 만약 복잡하다면(예: 북적이는 군중), 5가지를 확인합니다. 결코 67가지 옵션을 모두 확인하며 시간을 낭비하지 않습니다.

숫자가 말해주는 것
저자들은 이 방식이 실제로 작동하는지 확인하기 위해 수천 개의 비디오 시퀀스를 대상으로 광범위한 테스트를 실시했습니다. 그들은 단순히 추측한 것이 아니라, VTM 23.0 인코더와 비교하여 결과를 측정했습니다.

속도: NPDO는 비디오 인코딩 시간을 54.0% 단축합니다. 즉, 두 배 이상 빠르다는 뜻입니다.
품질: 트레이드오프(trade-off)는 미미합니다. 비디오 품질은 비트레이트 효율성(BD-Rate라는 지표) 측면에서 단 **1.18%**만 떨어집니다.
정확도: 이 시스템은 추측하는 데 매우 뛰어납니다. 상위 5개의 폴딩 방향을 **98.1%**의 확률로 정확하게 선택합니다.
효율성: 67개의 옵션을 테스트하는 대신, 블록당 평균 4.2개의 옵션만을 테스트하여 작업량을 93.7% 줄였습니다.

이것이 아닌 것 (What It's Not)
논문은 NPDO가 빠르긴 하지만, 비디오 코딩 시스템 전체를 대체하는 것이 아니라 단지 "인트라 예측(intra prediction)" 부분(주변 블록을 기반으로 블록이 어떻게 보이는지 예측하는 부분)을 가속화하는 것뿐이라고 주의를 기울입니다. 또한, 4K 비디오에서는 훌륭하게 작동하지만, 저자들은 저해상도 비디오(Class D 등)의 경우 분석할 질감 정보가 적기 때문에 속도 향상이 약간 덜 나타나지만, 여전히 기존 방식보다는 우수하다고 언급했습니다.

결론
이러한 시뮬레이션과 테스트에서, NPDO는 보물을 찾기 위해 모든 문을 확인할 필요가 없다는 것을 증명합니다. 작은 디테일과 큰 그림을 모두 보는 하이브리드 AI 팀을 사용함으로써, 무익한 추측의 대다수를 건너뛸 수 있습니다. 그 결과는 무엇일까요? 컴퓨터가 지치지 않으면서도 4K 비디오를 실시간(초당 30프레임)으로 인코딩할 수 있으며, 동시에 화질을 기존의 느린 전수 조사 방식과 거의 동일하게 유지할 수 있습니다. 이는 느리고 수동적인 패킹 작업을 번개처럼 빠른 자동화 작업으로 바꾸는 중요한 진전입니다.

기술 요약: NPDO: 빠른 VVC 인트라 코딩을 위한 신경망 예측 방향 최적화 도구

문제 정의

Versatile Video Coding (VVC/H.266)는 이전 세대인 HEVC에 비해 약 50%의 비트레이트 감소를 달면서도, 계산 복잡성은 크게 증가했습니다. 주요 병목 구간은 최대 67개의 예측 모드(Planar, DC, 65개의 각도 모드 및 교차 성분 선형 모델 포함)를 지원하는 인트라 예측 프레임워크입니다. 표준 인코더는 모든 코딩 단위(CU)에 대해 부호율-왜곡 최적화(RDO)를 통해 모든 모드를 철저히 평가해야 하며, 이 과정은 일반적으로 HEV보다 10~20배 더 많은 계산 자원을 필요로 합니다. 이러한 전수 조사는 4K와 같은 고해解상도 콘텐츠의 실시간 인코딩 구현을 심각하게 저해합니다.

기존의 빠른 인코딩 방법들은 다음과 같은 몇 가지 한계에 직면해 있습니다:

파편화된 특징 표현: 전통적인 접근 방식은 종종 주파수 영역 분석(예: DWT)이나 공간 그래디언트 특징에만 의존하며, 이를 통합된 프레임워크 내에서 결합하는 데 실패합니다.
정적 결정 메커니즘: 많은 방법이 콘텐츠 복잡도와 관계없이 고정된 임계값을 사용하므로, 단순한 질감에서는 과도한 연산을 수행하거나 복잡한 영역에서는 품질 저하를 초래합니다.
아키텍처적 한계: 현재의 딥러닝 솔루션은 대개 로컬 패턴을 위한 합성곱 신경망(CNN)이나 글로벌 의존성을 위한 트랜스포머(Transformer) 중 하나에만 전적으로 의존하여, 두 기술의 상호 보완적인 강점을 활용할 기회를 놓치고 있습니다.
통합의 어려움: 실질적인 인코더 수정 없이 원활한 확장성이나 완전한 표준 호환성을 제공하는 프레임워크는 거의 없습니다.

방법론

본 논문은 RDO 단계 이전에 예측 탐색 공간을 지능적으로 가지치기(pruning)하도록 설계된 하이브리드 프레임워크인 **NPDO (Neural Prediction Direction Optimizer)**를 제안합니다. 이 시스템은 다섯 가지 순차적 단계로 작동합니다:

1. 특징 추출 엔진 (Feature Extraction Engine)

NPDO는 세 가지 상호 보완적인 모듈을 시너지 효과를 내도록 결합하여 통합된 30차원 특징 벡터를 구축합니다:

이산 웨이브릿 변환 (DWT) 모듈: 4단계 Haar 또는 Daubechies-4 웨이브릿을 사용하여 CU를 분해합니다. 다중 스케일 텍스처 방향을 포착하기 위해 네 가지 서브밴드(LL, LH, HL, HH)에 대한 에너지 값을 계산합니다.
히스토그램 모듈: Canny 에지 검출과 Sobel 연산자를 적용하여 그래디언트 크기와 방향을 계산합니다. 이는 국부적인 방향성 에지 정보를 포착하기 위해 16개 빈(22.5°당 1개 빈)으로 누적됩니다.
컨텍스트 모듈: 인접한 CU(Left, Top, Top-Left)로부터의 예측 모드를 포함하여 공간적 상관관계를 활용함으로써 최적 확률 모드(MPM) 리스트를 구성합니다. 또한 기하학적 특징(CU 크기, 깊이, 종횡비)과 텍스처 복잡도 지표(분산, 엔트로피)를 포함합니다.

2. 이중 신경망 아키텍처 (Dual Neural Network Architecture)

추출된 특징은 67개의 인트라 모드에 대한 신뢰도 점수를 생성하기 위해 두 개의 병렬 신경망 아키텍처에 의해 처리됩니다:

계층적 CNN (HCNN): 효율적인 로컬 패턴 인식을 위해 최적화된 3단계 잔차(residual) 아키텍처입니다. 1D 컨볼루션, 배치 정규화(Batch Normalization), ReLU 활성화 함수를 사용하여 채널 차원을 확장(64 → 128 → 256)하며, 글로벌 평균 풀링(Global Average Pooling)과 완전 연결 계층(Fully Connected Layer)으로 마무리됩니다.
경량 비전 트랜스포머 (ViT): 장거리 의존성을 포착하도록 설계되었습니다. CU 차원에 따라 패치 크기를 적응시키며(큰 CU는 8×8, 작은 CU는 4×4), 멀티 헤드 셀프 어텐션(4개 헤드)을 활용하고, 글로벌 컨텍스트를 집계하기 위해 클래스 토큰([CLS])을 처리합니다.

3. 적응형 퓨전 및 방향성 어텐션 인덱스 (DAI)

HCNN과 ViT의 출력은 학습된 적응형 가중치 파라미터( $\alpha = 0.6$ )를 사용하여 융합되어 각 모드에 대한 최종 신뢰도 점수를 생성합니다. 이를 통해 방향성 어텐션 인덱스(DAI), 즉 모드-신뢰도 쌍의 집합이 생성됩니다.

4. 콘텐츠 적응형 Top-K 선택 (Content-Adaptive Top-K Selection)

고정된 가지치기 전략 대신, NPDO는 분산, 그래디언트 크기, DCT 에너지 및 이웃 일관성을 기반으로 **복잡도 점수(Complexity Score)**를 계산합니다. 이 점수에 따라 시스템은 후보 모드의 수( $K$ )와 신뢰도 임계값( $\tau$ )을 동적으로 조정합니다:

단순 콘텐츠 ( $S < 0.3$ ): $K=3$ , $\tau=0.7$
중간 콘텐츠 ( $0.3 \le S < 0.6$ ): $K=4$ , $\tau=0.6$
복잡한 콘텐츠 ( $S \ge 0.6$ ): $K=5$ , $\tau=0.5$

5. 선택적 RDO (Selective RDO)

인코더는 모든 67개 모드를 조사하는 대신, DAI를 통해 식별된 상위 $K$ 개의 후보만을 표준 RDO 과정을 통해 평가합니다.

주요 기여 (Key Contributions)

본 논문은 네 가지 주요 기여를 식별합니다:

하이브리드 특징 추출: 방향성 콘텐츠 특성을 효과적으로 포착하기 위해 DWT 기반 다중 스케일 분석, 그래디언트 지향 히스토그램, 공간적 컨텍스트 특징을 결합한 포괄적인 엔진을 제공합니다.
상호 보완적 신경망 아키텍처: 로컬 패턴을 위한 계층적 CNN과 글로벌 의존성을 위한 경량 비전 트랜스포머를 통합하고, 이를 적응형 학습 융합 메커니즘을 통해 결합했습니다.
적응형 선택이 포함된 방향성 어텐션 인덱스 (DAI): 텍스처 복잡도에 따라 후보 모드 집합 크기를 동적으로 조정하여, 98.1%의 top-5 예측 정확도를 유지하면서 높은 가지치기 효율(92.5–95.5%)을 달축하는 새로운 스킴을 제시합니다.
실험적 검증: 상당한 인코딩 시간 단축과 최소한의 품질 저하를 입증하여 실시간 4K VVC 인코딩을 가능하게 하는 광범적인 테스트를 수행했습니다.

실험 결과

프레임워크는 VTM 23.0 참조 인코더 및 최첨단 베이스라인들과 함께 JVET 공통 테스트 조건 및 기타 다양한 데이터셋(UVG, BVI-DVC)을 사용하여 평가되었습니다.

인코딩 시간 단축: NPDO는 VTM 23.0 대비 평균 54.0%의 인코딩 시간 단축을 달성했습니다.
부호율-왜곡 성능: 이 방법은 최소 1.18%의 BD-Rate 증가를 초래했습니다.
베이스라인과의 비교:
- DWT/Histogram 베이스라인(50.5% 시간 단축, 1.53% BD-Rate 증가)과 비교했을 때, NPDO는 3.5% 향상된 인코딩 속도와 우수한 부호율-왜곡 성능을 제공했습니다.
- Tissier 등[17]과 같은 머신러닝 접근 방식(43.5% 시간 단축, 2.26% BD-Rate 증가)과 비교했을 때, NPDO는 모든 비디오 클래스에서 일관된 개선을 보여주었습니다.
예측 정확도: 프레임워크는 98.1%의 top-5 예측 정확도를 달성하여, 대다수의 CU에서 최적의 모드가 후보 집합에 포함되도록 보장했습니다.
복잡도 감소: CU당 모드 평가는 67개에서 평균 4.2개로 93.7% 감소했습니다. 이는 2.17배의 속도 향상, 40%의 메모리 사용량 감소, 34%의 전력 소비 감소를 가져왔습니다.
실시간 능력: 이 시스템은 46%의 CPU 점유율로 30fps의 실시간 4K 인코딩을 가능하게 합니다.

의의 및 주장

본 논문은 NPDO가 클라우드 인코딩, 모바일 애플리케이션, 방송 시스템을 포함한 실용적인 배포 시나리오를 향한 중요한 진전임을 주장합니다. 전통적인 신호 처리(DWT, 히스토그램)와 학습된 표현(HCNN, ViT)을 성공적으로 통합함으로써, 본 프레임워크는 기존 문헌의 "파편화된 특징 표현" 문제를 해결합니다.

저자들은 콘텐츠 적응형 top-K 선택의 중요성을 강조합니다. 이는 복잡한 영역의 정확도를 희생하지 않으면서도 단순한 질감에 대해 공격적인 가지치기를 수행할 수 있게 하며, 이는 정적 임계값 방법이 달성하지 못하는 균형입니다. 결과는 로컬 및 글로벌 신경망 아키텍처를 결합하는 것이 단일 아키텍처를 사용하는 것보다 우월한 복잡도-품질 트레이드오프를 제공한다는 것을 입증합니다. 프레임워크는 핵심 코딩 도구의 수정 없이 pre-RDO 모드 선택 로직만을 요구하므로 VVC 표준과 완전한 호환성을 유지하며, 이는 광범한 채택을 용이하게 합니다.