⚡ electrical engineering

Accelerating Merge with Motion Vector Difference via Filter Difference Analysis for VVenC

본 논문은 코딩 효율을 유지하면서 계산 복잡도를 크게 줄이기 위해 분수 차동 모션 벡터 필터 분석 및 구현 최적화를 활용하는 VVenC 인코더를 위한 새로운 빠른 MMVD 알고리즘을 제안한다.

원저자: Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

게시일 2026-07-01

📖 3 분 읽기☕ 가벼운 읽기

원저자: Xinmin Feng, Shengyang Xu, Jianhua Chen, Li Li, Dong Liu, Feng Wu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 비디오 속 움직이는 자동차 위에 스티커를 붙일 완벽한 위치를 찾으려고 노력하고 있다고 상상해 보세요. 비디오 압축(VVC 표준과 같은)의 세계에서 이 "스티커"는 다음 프레임에서 이미지의 한 조각이 어디에 있을지에 대한 예측입니다.

문제점: 전수 조사 (The Exhaustive Search)
현재 방식인 MMVD(Merge with Motion Vector Difference)는 추측하기를 거부하는 탐정과 같습니다. 가장 가능성 있는 지점을 고르는 대신, 그림을 가장 좋게 만드는 모든 가능한 미세한 이동(위, 아래, 왼쪽, 오른쪽 및 다양한 거리)을 일일 하나하나 다 확인합니다.

이 방식은 높은 품질을 보장하지만, 믿을 수 없을 정도로 느립니다. 이는 마치 피아노 건반의 중간쯤 어딘가에 맞는 음이 있을 것이라고 확신하면서도, 그 음을 찾기 위해 거대한 피아노의 모든 건반을 하나씩 다 눌러보는 것과 같습니다. 이러한 "전수 조사"는 비디오 인코딩(영상을 압축하는 과정) 시간을 매우 길게 만들며, 이는 라이브 스트리밍이나 저지연 애플리케이션에 있어 치명적입니다.

해결책: "필터 차이"라는 지름길 (The "Filter Difference" Shortcut)
이 논문의 저자들은 영리한 지름길을 제안합니다. 모든 건반을 확인하는 대신, 그들은 어떤 건반이 확실히 "틀렸는지"를 확인하기도 전에 미리 결정하는 "수학적 직관"을 사용합니다.

이들이 이 방법을 사용하는 방식은 다음과 같은 간단한 비유를 통해 설명할 수 있습니다.

초안 vs. 미세 조정 (The Rough Draft vs. The Fine-Tune):
- 일반적인 Merge: 자동차가 어디에 있는지에 대한 대략적인 스케치를 가지고 있다고 상상해 보세요.
- MMVD: 이것은 그 스케치를 약간씩 움직여서 완벽하게 맞추는 미세 조정 단계입니다.
- 비결: 저자들은 스케치를 "미세하게 조정"하는 데 사용되는 도구(보간 필터라고 불림)가 대략적인 스케치에 사용되는 도구와 매우 유사하다는 사실을 발견했습니다. 이 도구들은 너무나 비슷해서, 복잡한 8개 부분의 도구를 단순한 2개 부분의 도구로 근사화할 수 있습니다.
경사도 테스트 (The "Slope" Check):
- 비디오 이미지를 언덕과 골짜기(밝고 어두운 영역)가 있는 풍경이라고 생각해 보세요.
- 저자들은 자동차가 있는 풍경의 경사도(gradient)를 살펴봅니다.
- 그들은 대략적인 스케치의 오차(error)와 풍경의 경사도 사이의 "내적"(dot product, 간단한 수학적 곱셈)을 계산합니다.
- 규칙: 만약 수학적 계산 결과가 "이 방향으로 스케치를 움직이면 오차가 오히려 커지거나 그대로 유지될 것이다"라고 말한다면, 그들은 즉시 해당 방향을 건너뜁니다. 그들은 그 방향을 확인하는 데 시간을 낭비하지 않습니다.
"경계 케이스" 처리 (Handling the "Edge Cases"):
- 때때로 스케치를 미세하게 조정하다 보면 참조 데이터가 변하는 "경계"를 넘어가기도 합니다. 저자들은 무거운 수학 계산을 다시 할 필요 없이 이 변화를 처리할 수 있는 특별한 규칙을 만들었습니다. 그들은 단순히 부호를 바꾸거나 계산을 약간 조정하기만 하면 됩니다.
스마트한 엔지니어링 ("십자" 모양 (The "Cross" Shape):
- 이 지름길을 더 빠르게 만들기 위해, 그들은 전체 그림 블록을 확인하는 대신, 중심을 가로지르는 십자 모양의 띠(가로 이동을 위한 중간 행, 세로 이동을 위한 중간 열)만을 확인합니다.
- 이는 방의 온도를 측정할 때 바닥과 천장의 모든 인치를 측정하는 대신, 벽의 중앙 부분만 만져보는 것과 같습니다. 빠르면서도 결정을 내리기에 충분히 정확합니다.

결과: 품질 손실 없는 속도 향상 (The Results: Faster Without Losing Quality)
연구팀은 이 새로운 방법을 VVenC 인코더(특정 비디오 코딩 소프트웨어)에서 테스트했습니다.

이전: 기존의 속도 향상 기법을 적용한 후에도 인코더는 여전히 가능한 모든 "미세 조정" 옵션의 약 **21%**를 확인하고 있었습니다.
이후: 이 새로운 방법을 적용하자, 약 **11%**만을 확인하게 되었습니다.
승리: 그들은 영상 품질을 거의 동일하게 유지하면서도, 검색에 소요되는 시간(효율성 대비 품질 지표)을 절반 가까이 줄였습니다.

요약
이 논문은 비디오 압축을 위한 "스마트 필터"를 소개합니다. 움직이는 물체의 위치를 조정하기 위해 모든 가능한 미세한 조정을 무작정 시도하는 대신, 이 알고리즘은 이미지의 질감과 현재의 예측 오차를 빠르게 분석합니다. 특정 조정이 도움이 되지 않을 것이라고 수학적으로 판단되면, 아예 그 과정을 건너뜁니다. 이를 통해 영상의 시각적 품질을 희생하지 않으면서도 비디오 인코딩 속도를 훨씬 빠르게 만들 수 있으며, 이는 실시간 비디오 애플리케이션에 매우 유용한 도구가 됩니다.

기술 요약: 필터 차이 분석을 통한 VVenC의 MMVD 가속화

문제 정의
Merge with Motion Vector Difference (MMVD)는 VVC(Versatile Video Coding)에서 방향성 오프셋과 거리로 기본 움직임 벡터를 정밀하게 조정하여 움직임 예측 정확도를 높이기 위해 설계된 핵심 도구이다. 그러나 표준 구현은 모든 방향-거리 조합(4개 방향 및 8개 거리 단계)에 대한 전수 조사를 수행하므로 상당한 계산 부담을 초래한다. VVenC 인코더에서 MMVD를 활성화하면 "faster" 프리셋에서는 약 36.39%, "fast" 프리셋에서는 21.20%의 인코딩 시간 증가가 발생한다. 이러한 오버헤드는 저지연 시나리오에서의 MMVD 채택을 저해한다. VVenC의 기존 빠른 탐색 전략들은 이러한 부담을 줄여주지만, 특히 전체 시도의 60%~80%를 차지하는 쿼터 픽셀(quarter-pixel) MVD 후보들을 여전히 상당 부분 평가해야 한다는 문제를 안고 있다.

방법론
저자들은 분수 단위 움직임 벡터 필터 차이 분석을 활용하여 MMVD 후보의 잠재적 코딩 이득을 추정하고, 유망하지 않은 탐색 경로를 조기에 종료할 수 있는 새로운 빠른 MMVD 알고리즘을 제안한다. 핵심 접근 방식은 다음 단계들로 구성된다:

필터 근사화: 본 방법은 VVC에서 사용되는 표준 8-탭 보간 필터를 경량화된 2-탭 필터로 근사화한다. 이러한 단순화를 통해 일반 머지 예측과 MMVD 예측 사이의 차이를 공간적 기울기(spatial gradient)를 사용하여 모델링할 수 있다.
잔차-기울기 기준 (Residual-Gradient Criterion):
- 정렬된 서포트 케이스 (Aligned-Support Case): MMVD 오프셋이 정수 위치의 참조 샘플을 이동시키지 않을 때, 예측의 차이는 참조 블록의 공간적 기울기( $g_{ref}$ )와 일반 머지 후보의 잔차( $e_i$ )의 함수로 근사될 수 있다. 만약 내적 항 $-\alpha_{i,j}\langle e_i, g_{ref} \rangle \geq 0$ 이라면, 이는 MMVD 후보가 일반 머지보다 낮은 왜곡을 제공할 가능성이 낮음을 의미하므로 해당 후보를 건너뛴다.
- 이동된 서포트 케이스 (Shifted-Support Case): 오프셋이 정수 샘플 경계를 가로지를 때 서포트가 이동한다. 저자들은 필터 차이를 인수분해하고 간단한 2-탭 필터를 기울기에 적용함으로써 이를 처리할 수 있도록 기준을 일반화하였으며, 이를 통해 참조 블록에 대한 직접적인 3-탭 필터링을 피할 수 있다.
- 2D 분리 가능 필터링 (2D Separable Filtering): 1D 분석을 VVC의 2D 분리 가능 보간으로 확장한다. MMVD는 기본 방향(cardinal directions)만을 탐색하므로 교차 항(cross-terms)이 소멸하며, 이를 통해 잔차-기울기 기준을 수평 및 수직 오프셋에 독립적으로 적용할 수 있다.
구현 최적화: 제안된 방법 자체의 오버헤드를 최소화하기 위해 두 가지 최적화 기법을 도입한다.
- 대칭 오프셋 추론 (Symmetric Offset Inference): 대칭 오프셋(예: $+\Delta$ 및 $-\Delta$ )에 대해, 이동된 서포트 케이스의 응답을 정렬된 서포트 케이스 응답의 부호 반전으로 추론하여 중복 계산을 줄인다.
- 십자형 다운샘플링 내적 (Cross-Shaped Downsampled Dot-Product): 블록 전체에 대해 내적을 계산하는 대신, 계산 범위를 중앙의 십자형 영역(수평 오프셋의 경우 중간 행, 수직 오프셋의 경우 중간 열)으로 제한한다.

주요 기여

새로운 기준 제시: 전수 조사 없이 MMVD 이득을 추정하기 위해 공간적 기울기와 예측 잔차에 기반한 경량화된 기준을 도출하였다.
일반화: 실제 VVC 시나리오를 포괄할 수 있도록 정수 참조 샘플의 이동과 2D 분리 가능 필터링을 모두 수용하도록 기준을 확장하였다.
엔지니어링 최적화: 제안된 가속 방법 자체가 최소한의 복잡도만을 더하도록 대칭 오로셋 추론 및 효율적인 내적 계산을 도입하였다.
통합: 제안된 알고리즘을 기존 VVenC의 빠른 탐색 프레임워크(Fast1, Fast2, Fast3 전략과 결합)에 원활하게 통합하였다.

실험 결과
실험은 네 가지 프리셋(faster, fast, medium, slow)과 표준 테스트 시퀀스(JVET CTC Class A1, A2, B, C, D)를 사용하여 VVenC-1.14.0 인코더를 통해 수행되었다.

탐색 감소: 제안된 방법은 평균 MMVD 탐색 비율을 기존 빠른 전략 적용 시 21.07%에서 11.05%로 감소시킨다.
복잡도 대비 성능: "fast" 프리셋에서 인코딩 시간 오버헤드는 기존 빠른 전략의 4.52%에서 2.23%로 감소하였다.
효율성 지표 ( $\eta$ ): 효율성-복잡도 지표 $\eta$ (단위 BD-rate 이득당 인코딩 시간 오버헤드)가 크게 개선되었다. "fast" 프리셋의 경우, $\eta$ 가 기존 빠른 전략의 11.79에서 7.10으로 감소하였다. 다른 프리셋에서도 유사한 개선이 관찰되었다.
코딩 이득: 제안된 프루닝(pruning)을 결와했을 때, 본 방법은 전수 조사 베이스라인과 비교하여 BD-rate 손실이 무시할 만한 수준이면서 MMVD가 제공하는 코딩 이득의 대부분을 보존한다.

의의 및 주장
본 논문은 제안된 알고리즘이 기존 VVenC의 MMVD 가속 스킴에 비해 인코딩 복잡도와 레이트-왜곡(RD) 성능 사이에서 우수한 트레이드오프를 달alog성함을 주장한다. 필터 차이 분석을 통해 유망하지 않은 후보를 효과적으로 제거함으로써, 본 방법은 코딩 효율을 희생하지 않으면서 MMVD의 계산 부하를 크게 줄인다. 저자들은 현재 구현이 표준 4개 기본 방향만을 지원하며, 향후 연구에서 유연한 대각선 각도를 가진 MMVD 모드를 지원하도록 확장할 계획이라고 밝혔다.

유사한 논문