기술 요약: NeR-SC – 신경 영상 표현을 화면 콘텐츠에 적응시키기

1. 문제 제기

암시적 신경 표현 (INR) 은 자연 영상에 특히 적합하며 영상 압축을 위한 경쟁력 있는 패러다임으로 부상했습니다. 그러나 기존 방법들 (예: NeRV, SNeRV) 은 화면 콘텐츠 영상 (원격 데스크톱, 온라인 교육, 클라우드 게이밍에서 흔히 사용됨) 에서는 어려움을 겪습니다. 화면 콘텐츠는 자연 영상 코덱이 활용하지 못하는 고유한 통계적 특성을 보입니다:

• 이산적 색상 팔레트: 날카로운 가장자리와 UI 요소는 연속적인 그라데이션 대신 제한된 색상 집합을 사용합니다.
• 강한 시간적 중복성: 프레임의 상당 부분이 시퀀스 전반에 걸쳐 정지되어 있으며, 변화는 커서와 같은 작은 영역으로 제한됩니다.
• 다중 스케일 구조: 텍스트 및 그래픽 요소는 날카로운 전환의 정밀한 처리를 요구합니다.

현재의 신경 영상 표현 방법들은 연속적인 RGB 값을 회귀시키고, 그래픽 콘텐츠에 최적화되지 않을 수 있는 순차적 특징 융합을 사용하며, 시간적 중복성을 무시하고 모든 프레임을 독립적으로 디코딩합니다. 이로 인해 화면 콘텐츠에 대한 기존 코덱 (H.264/H.265 등) 및 전문 딥러닝 코덱 (DSCVC 등) 대비 성능 격차가 발생합니다.

2. 방법론

저자들은 SNeRV 백본을 기반으로 구축된 NeR-SC(Screen Content 를 위한 신경 표현) 프레임워크를 제안합니다. 이 아키텍처는 단일 레벨 2D Haar 웨이블릿 변환을 사용하여 입력 프레임을 분해합니다. 저주파 (LL) 서브밴드는 무거운 ConvNeXt 인코더 - 디코더로 처리되고, 고주파 (HF) 서브밴드는 경량 합성곱 헤드를 통해 재구성됩니다.

NeR-SC 는 이 백본을 화면 콘텐츠에 적응시키기 위해 세 가지 구체적인 혁신을 도입합니다:

A. 학습 가능한 색상 팔레트

화면 콘텐츠가 이산적 색상에 의존한다는 점을 인식하여, 저주파 서브밴드에 대한 무제약 RGB 회귀를 픽셀 단위 분류 방식으로 대체합니다.

• 학습 가능한 팔레트 행렬 $P \in \mathbb{R}^{K \times 3}$ (여기서 $K=64$) 이 학습됩니다.
• 디코더는 $K$ 개의 색상 인덱스에 대한 로짓을 출력하며, 이는 온도 조절 소프트맥스를 통해 확률로 변환됩니다.
• 재구성된 LL 서브밴드는 이러한 팔레트 항목들의 볼록 결합입니다.
• 고주파 서브밴드는 가장자리 충실도와 그라데이션을 보존하기 위해 무제약으로 유지됩니다.

B. 멀티 게이트 밀집 융합 (MGF) 모듈

기존 SNeRV 는 인접 단계로의 정보 흐름만 제한하는 순차적 쌍별 융합 전략 (MRF) 을 사용합니다. NeR-SC 는 이를 마지막 세 디코더 단계 ($F_3, F_4, F_5$) 의 밀집된 동시 융합으로 대체합니다.

• 특징들은 공통 차원으로 투영되고 비선형 보간을 통해 정렬됩니다.
• 잔여 블록이 연결된 특징들을 융합합니다.
• Squeeze-and-Excitation (SE) 블록이 잔여 방식으로 채널별 주의 게이트를 적용하여, 네트워크가 단계 간 특징의 중요성을 동적으로 학습할 수 있게 합니다.

C. 임베딩 수준 프레임 스킵 전략

강한 시간적 중복성을 해결하기 위해, 저자들은 정지 프레임에 대해 디코더를 우회하는 메커니즘을 도입합니다.

• 디코딩 함수가 결정적이므로, 유사한 잠재 임베딩을 가진 프레임들은 거의 동일한 재구성을 생성합니다.
• 디코딩 중 현재 프레임의 잠재 임베딩 $z_i$는 정규화된 L1 거리를 사용하여 마지막 디코딩된 프레임의 임베딩 $z_k$와 비교됩니다.
• 거리가 임계값 $\tau$(기본값 0.005) 미만이면 디코더가 스킵되고 이전 프레임이 재사용됩니다.
• 이 전략은 제로 훈련 오버헤드를 발생시키며 단일 스칼라 임계값만 저장하면 됩니다.

3. 주요 기여

1. 학습 가능한 색상 팔레트: 저주파 서브밴드에 대한 연속 회귀를 이산 분류로 전환하여 화면 콘텐츠의 제한된 색상 팔레트를 효과적으로 모델링하면서도 고주파 세부 사항에 대한 표현력을 유지합니다.
2. 멀티 게이트 밀집 융합 (MGF): 순차적 융합을 밀집된 주의 게이트가 적용된 교차 단계 상호작용으로 대체하여 다중 스케일 특징 통합을 개선하고 파라미터 수를 줄입니다.
3. 임베딩 수준 스킵 전략: 시간적 중복성을 컴팩트한 잠재 임베딩을 통해 감지하는 제로 오버헤드 메커니즘으로, 불필요한 디코더 호출을 생략함으로써 실시간 디코딩을 가능하게 합니다.
4. 성능 검증: NeR-SC 가 대표적인 신경 영상 표현 방법들을 능가하며, 저비트레이트에서 화면 콘텐츠 벤치마크에 대해 H.264, H.265 와 같은 기존 코덱을 능가함을 입증했습니다.

4. 실험 결과

이 방법은 DSCVC(다양한 화면 콘텐츠) 와 VCD(화상 회의) 두 데이터셋에서 평가되었습니다.

• 정량적 성능:

  • NeR-SC 는 DSCVC 에서 평균 PSNR 40.32 dB, VCD 에서 41.73 dB를 달성했습니다.
  • SNeRV 백본보다 DSCVC 에서 0.54 dB, VCD 에서 0.11 dB 더 우수한 성능을 보였습니다.
  • 저비트레이트에서 NeR-SC 는 H.264 및 H.265 를 능가하여 화면 콘텐츠 통계에 맞춤화된 우수한 속도 - 왜곡 성능을 입증했습니다.
  • 모델 크기 제거 실험에서, NeR-SC 는 1.5M 파라미터 (38.54 dB) 로 이미 6.0M 파라미터 (36.81 dB) 인 HNeRV 를 능가했습니다.

• 정성적 성능:

  • 시각적 비교에서 NeR-SC 는 NeRV 및 HNeRV 보다 더 날카로운 구조와 일관된 색상 재현을 보여주었습니다.
  • SNeRV 와 비교하여 NeR-SC 는 팔레트 및 MGF 모듈의 기여로 인해 어두운 직사각형 블록과 같은 콘텐츠 요소 및 경계를 더 잘 보존했습니다.

• 효율성:

  • 임베딩 수준 스킵 전략은 디코딩 처리량을 20.7 FPS 증가시켜 PSNR 손실 없이 61.7 FPS(실시간) 를 달성했습니다.
  • 제거 실험은 팔레트 모듈이 PSNR 을 +0.22 dB 향상시키고, MGF 가 파라미터를 줄이면서 PSNR 을 +0.17 dB 향상시켰으며, 스킵 전략이 처리량 증가를 제공했음을 확인했습니다.

5. 중요성 및 주장

이 논문은 NeR-SC 가 범용 신경 영상 표현과 화면 콘텐츠의 특정 통계적 요구 사항 사이의 격차를 성공적으로 해소했다고 주장합니다. 이산적 색상을 명시적으로 모델링하고, 다중 스케일 융합을 강화하며, 임베딩 수준에서 시간적 중복성을 활용함으로써 이 프레임워크는 신경 방법들 사이에서 최첨단 성능을 달성합니다.

저자들은 신경 표현 방법이 대상 콘텐츠 유형에 적절히 적응될 경우, 화면 콘텐츠에 대해 기존 코덱과 경쟁할 뿐만 아니라 능가할 수 있다고 강조합니다. 특히 저비트레이트에서 그렇습니다. 또한 이 작업은 품질을 저해하지 않으면서 실시간 디코딩을 가능하게 하는 제로 오버헤드 스킵 전략의 잠재력을 부각시켜, 클라우드 게이밍 및 원격 데스크톱과 같은 상호작용 애플리케이션에 신경 코덱을 배포하는 데 있어 중요한 병목 현상을 해결합니다.

향후 연구는 NeR-SC 를 더 높은 해상도로 확장하고 하이브리드 파이프라인을 위해 기존 화면 콘텐츠 코딩 (SCC) 도구와 통합하는 데 초점을 맞출 것으로 언급되었습니다.