기술 요약: 비디오 품질 향상을 위한 NU-Class Net

1. 문제 정의

전 세계 인터넷 트래픽의 80% 이상을 차지하게 된 비디오 콘텐츠의 급증은 저장 공간과 네트워크 대역폭에 엄청난 압박을 가하고 있습니다. 비디오 압축은 표준적인 해결책이지만, 높은 압축률을 달 Achieve 하기 위해서는 복잡한 알고리즘(예: Versatile Video Coding)이 필요하며, 이는 계산 요구량을 크게 증가시킵니다. 이러한 복잡성은 고성능 인코더를 실행할 프로세싱 능력과 에너지 예산이 부족한 자원 제한적 임베디드 시스템 및 IoT 엣지 노드(예: 배터리로 작동하는 드론)에 결정적인 장벽이 됩니다. 결과적으로, 이러한 장치들은 효율성이 낮게 작동하거나, 눈에 띄는 아티팩트와 품질 저하가 발생하는 저비트레이트 영상을 전송해야 하는 상황에 처하게 됩니다.

2. 방법론

본 논문은 인코딩 과정 자체를 수정하는 대신, 디코딩 후에 비디오 품질을 향상하도록 설계된 딥러닝 기반 접근 방식인 NU-Class Net을 제안합니다. 이 전략을 통해 엣지 장치는 단순화된 저복잡도 인코더를 사용하여 저비트레이트 스트림을 생성할 수 있으며, 품질 복원을 위한 계산 부담을 자원이 일반적으로 더 풍부한 디코더 측으로 전환할 수 있습니다.

핵심 아키텍처

NU-Class Net은 유명한 AutoEncoder 모델인 U-Net 아키텍처를 기반으로 구축되었으나, 비디오 프레임 향상에 특화되도록 조정되었습니다. 이 시스템은 압축된 저비트레이트 프레임과 원래의 고품질 프레임 사이의 **잔차 차이(residual difference)**를 예측함으로써 작동합니다. 이렇게 예측된 잔차는 압축된 프레임 위에 중첩되어 고품질 출력을 재구성합니다.

주요 아키텍처 구성 요소는 다음과 같습니다:

• 인코더-디코더 구조: 모델은 6개의 인코더 블록과 6개의 디코더 블록을 활용합니다.
• NU-Blocks: 더 넓은 수용 영역(receptive field)과 정밀한 형상을 포착하기 위해 (표준 3×3에서 확장된) 7×7 컨볼루션 커널을 특징으로 하는 커스텀 컨볼루션 블록입니다. 이 블록들은 Instance Normalization과 LeakyReLU 및 CELU와 같은 활성화 함수를 사용합니다.
• 스킵 연결(Skip Connections): 인코더와 디코더 레이어 사이의 직접적인 연결은 다운샘플링 중에 손실되기 쉬운 저수준, 고해상도 특징(질감 및 픽셀 수준 정보)을 보존합니다.
• 잔차 블록(Residual Blocks): 더 깊은 네트워크 학습을 용이하게 하고 기울기 소실 문제를 완화하기 위해 병목(bottleneck) 구간에 8개의 잔차 블록이 통합되었습니다. 또한 흐릿함을 줄이기 위해 출력부에 5개의 추가 잔차 블록이 배치되었습니다.
• 정규화(Normalization): 채널별 노이즈 또는 소실된 정보를 예측하는 목적에 부합하도록, 개별 훈련 사례에 대해 채널 간 정규화를 수행하는 Instance Normalization이 컨볼루션 이후에 사용됩니다.

변형 모델

저자들은 서로 다른 과제를 해결하기 위해 세 가지 특정 구성을 도입했습니다:

1. Base NU-Class Net: 개별 프레임에 대한 잔차를 예측하는 표준 모델입니다.
2. Sequential NU-Class Net: 이전 프레임의 잔차 결과를 사용하여 후속 프레임을 예측함으로써 시간적 일관성(temporal consistency)을 통합합니다. 이 방식은 액션 장면에서의 깜빡임(flickering) 아티팩트를 줄이고 학습 수렴 속도를 약 30% 가속화하는 것을 목표로 합니다.
3. Diffusion NU-Class Net: 세 개의 NU-Class Net 모델이 순차적으로 작동하여 프레임을 반복적으로 정제하고 노이즈를 제거하는 3단계 프로세스를 통해 확산 모델(diffusion model)의 원리를 활용합니다.

훈련 전략

• 손실 함수: 모델은 평균 제곱 오차(MSE) 대신 **픽셀 거리 손실(Pixel-Distance Loss, 평균 절대 오차, MAE)**을 사용하여 훈련됩니다. MAE는 이상치에 대한 강건함과 작은 픽셀 단위 차이를 더 잘 처리하는 특성 때문에 선호됩니다.
• 잔차 학습(Residual Learning): 네트워크는 전체 프레임을 생성하는 대신 잔차(원본과 압축된 프레임 사이의 차이)를 예측하도록 훈련되어 학습 과업을 단순화합니다.
• 데이터셋: 2시간 분량의 비디오에서 6 FPS로 프레임을 추출하여 커스텀 데이터셋을 제작했습니다. 고품질(CRF=13) 및 저품질(CRF=40) 버전은 FFmpeg를 사용하여 생성되었습니다.

3. 주요 기여

• 직교적 향상(Orthogonal Enhancement): 기존 코덱을 대체하거나 통합하려는 많은 딥러닝 접근 방식과 달리, NU-Class Net은 후처리 모듈로서 작동합니다. 이는 코덱에 종속되지 않으며(codec-agnostic), 전송 프로토콜이나 인코더 하드웨어를 변경하지 않고도 모든 표준 비디오 스트림에 적용될 수 있습니다.
• 엣지-클라우드 시너지: 이 방법은 복잡성의 전이를 가능하게 하여, 자원이 제한된 엣지 노드가 저복잡도 인코딩을 수행하는 동안 품질 복구라는 무거운 작업을 더 강력한 디코더 측 인프라로 오프로딩할 수 있게 합니다.
• 잔차 예측 집중: 전체 이미지를 합성하는 생성 모델과 달리 잔차 차이를 예측하는 데 집중함으로써, 모델은 더 높은 효율성과 빠른 학습 속도를 달면합니다.
• 일반화 성능: 모델은 고수준의 문맥 정보에만 의존하는 대신 미세한 저수준 특징을 학습함으로써, 보지 못한 비디오 콘텐츠에 대해서도 일반화할 수 있는 능력을 입증합니다.

4. 실험 결과

제안된 모델들은 320×240 해상도의 테스트 세트에 대해 픽셀 거리 손실, 최대 신호 대 잡음비(PSNR), 구조적 유사도 지수(SSIM)의 세 가지 지표를 사용하여 평가되었습니다.

• 압축 효율성: 시스템은 "일반적인" 비디오가 제공하는 약 1.7배의 감소율과 비교하여, 원래 해상도를 유지하면서도 최대 17배의 비디오 파일 크기 감소(약 7910 MB에서 445 MB로)를 달성했습니다.
• 품질 개선:
  • PSNR: 제안된 모든 모델(Base, Sequential, Diffusion)은 압축된 입력값이 28 dB 미만이었던 것과 달리, PSNR 값을 허용 가능한 임계값인 30 dB 이상(약 31.0 ~ 33.7 dB 범위)으로 성공적으로 높였습니다.
  • SSIM: 모델들은 SSIM 점수를 0.9 미만(0.855)에서 0.9 이상(0.906 ~ 0.935 범위)으로 개선하여 구조적 유사성을 복원했습니다.
  • 손실 감소: 훈련 과정을 통해 테스트 세트의 손실이 약 30% 감소했습니다.
• 실행 시간: V100 GPU에서 Base NU-Class Net은 단일 프레임을 83.33 ms(24 fps) 내에 처리합니다. **16비트 고정 소수점 양자화(16-bit fixed-point quantization)**를 통해 실행 시간은 19.84 ms로 단축되었으며, 모델 크기는 절반으로 줄어들었으나 정확도 손실은 원본 32비트 모델의 1% 이내로 유지되었습니다.

5. 의의 및 주장

본 논문은 NU-Class Net을 "인터넷 사물 비디오(Internet of Video Things, IoVT)"를 위한 실질적인 솔루션으로 자리매김합니다. 이 연구의 주요 의의는 엄격한 에너지 및 대역폭 제약이 있는 환경에서 고품질 비디오 경험을 가능하게 한다는 점에 있습니다. 엣지 장치가 고충실도 인코딩에 따른 계산적 페널티 없이 고도로 압축된 스트림을 전송할 수 있도록 함으로써, 소스 측에서의 대역폭 사용량과 에너지 소비를 줄일 수 있습니다.

저자들은 이 방법이 비디오 품질과 인코딩 복잡도를 분리하기 위해 딥러닝을 활용하는 하나의 "개념 증명(proof of concept)"을 제공한다고 주장합니다. 그들은 모델이 디코딩 후에 작동할 수 있다는 점이 매우 다재다능하여, 캡처 노드의 하드웨어 변경 없이도 비트레이트 요구 사항을 완화하기 위해 현대의 모든 비디오 코덱과 시너지 효과를 낼 수 있는 도구임을 강조합니다. 본 연구는 향endo 하드웨어 가속의 발전이 디코더 측의 복잡성을 더욱 낮추어, 이 접근 방식이 광범적인 IoT 배포에 더욱 유효하게 만들 수 있음을 시사합니다.