기술 요약: HyperGS: 빠르고 일반화 가능한 가우시안 비디오 표현

문제 정의

3D 가우시안 스플래팅(3DGS)은 정적 장면과 동적 비디오에 효과적임이 입증되었으나, 기존의 비디오 적응 방법들은 **비디오별 최적화(per-video optimization)**에 의존합니다. 이러한 방식은 반복적인 경사 하강법 기반 최적화를 통해 각 비디오에 가우시안 파라미터를 개별적으로 맞추며, 종종 비디오당 수만 번의 단계와 수 시간의 계산량을 요구합니다. 이러한 비적용성(lack of amortization)은 학습된 구조를 다른 비디오로 전이하는 것을 방해하며, 이로 인해 해당 방법들은 실시간 처리에 부적합하고 재최적화 없이 OOD(out-of-distribution) 비디오나 고해Resolution에 일반화하는 능력을 제한합니다.

비디오 표현을 위한 피드포워드 대안을 만들려는 이전 시도들은 주로 디코더의 가중치를 예측하는 **내재적 신경 표현(Implicit Neural Representations, INRs)**에 집중해 왔습니다. 그러나 이러한 방법들은 표현을 특정 신경망 아키텍처에 종속시키며 추가적인 비선형 디코딩 단계를 필요로 합니다.

방법론: HyperGS

저자들은 비디오 입력으로부터 단 한 번의 순전파(forward pass)를 통해 명시적인 2D 가우시안 프리미티브를 직접 예측하는 피드포워드, 최적화 불필요(optimization-free) 프레임워크인 HyperGS를 제안합니다. 이 접근 방식은 가우시안 스플래팅의 효율적인 래스터화 기능을 활용하여 표현을 어떠한 내재적 디코더와도 분리합니다.

아키텍처

모델은 **인자 분해 시공간 트랜스포머(factorized spatiotemporal Transformer)**와 **쿼리 기반 트랜스포머(query-based Transformer)**로 구성됩니다:

1. 비디오 토큰화: 입력 비디오는 학습 가능한 시공간 위치 인코딩(RoPE)을 가진 3D 컨볼루션을 사용하여 패치 임베딩으로 투영됩니다.
2. ST-Transformer (인코더): 인자 분해 시공간 트랜스포머는 비디오 토큰을 처리합니다. 이는 공간적 자기 주의(spatial self-attention, 2D RoPE)와 시간적 자기 주의(temporal self-attention, 1D RoPE)를 순차적으로 적용하여 시공간 전체의 특징을 맥락화합니다. 스킵 연결(skip connection)은 안정성을 돕기 위해 원래의 패치 임베딩을 보존합니다.
3. Q-Transformer (디코더): 학습 가능한 가우시안 토큰(쿼리) 세트가 맥락화된 비디오 특징에 어텐션을 수행합니다. 자기 주의를 통해 이 토큰들은 관련 정보를 집계하여 각 프레임에 대한 최종 8-파라미터 가우시안 표현을 회귀(regress)합니다.
4. 파라미터 예측: 모델은 프레임당 $N$개의 가우시안에 대한 해석 가능한 파라미터인 평균 위치($\mu$), 비등방성 스케일($s$), 회전($r$), 색상($c$)을 출력합니다. 이들은 유효한 범위 내로 제한됩니다 (예: 스케일은 양수로 강제되며, 회전은 $[0, 2\pi)$ 범위를 커버함).
5. 렌더링: 예측된 가우시안은 비디오 프레임을 재구성하기 위해 미분 가능한 2D 가우시안 래스터화를 통해 렌더링됩니다.

학습 안정성 및 정규화

저자들은 제어되지 않은 최적화가 가우시안을 "바늘 형태"의 비등방성(한 축을 따라 극단적으로 늘어남)으로 몰아넣어 학습 중간에 성능이 급격히 붕괴되는 결정적인 학습 불안정성을 식별했습니다. 이를 해결하기 위해 이들은 **적응형 기하학적 정규화기(adaptive geometric regularizers)**를 도입했습니다:

• 유효 랭크 정규화 ($\mathcal{L}_{erank}$): 스케일 분포의 유효 랭크(Effective Rank)를 사용하여 퇴화된 바늘 모양의 형태에 페널티를 부여합니다. 임계값은 배치 전체의 1백분위수 유효 랭크에 대한 지수 이동 평균(EMA)을 사용하여 동적으로 적응됩니다.
• 적응형 스케일 정규화 ($\mathcal{L}_{scale}$): EMA를 통해 스케일 크기의 99백분위수를 추적하여 비정상적으로 큰 스케일을 방지하고, 이상치에 대해 제곱 초과 손실(squared excess loss)로 페널티를 부여합니다.

주요 기여

1. 최초의 피드포워드 가우시안 예측기: HyperGS는 비디오별 최적화 없이 단 한 번의 순전파로 명시적인 가우시안 프리미티브를 예측하는 최초의 방법입니다.
2. 성능 및 효율성:
   • 동일한 재구성 품질에서 가우시안 최적화 방식보다 104–105배 빠른 인코딩을 달성합니다.
   • 더 작은 표현 크기(64K 파라미터 vs 85K–139K)를 사용함에도 불구하고, K400, SSv2, UCF101 데이터셋에서 기존 피드포워드 비디오 인코더(예: FastNeRV)보다 PSNR을 2.9–3.1 dB 향상시킵니다.
   • 인코딩 속도는 ~400–2200 FPS에 도달하며, 디코딩은 ~3900–4400 FPS에 달합니다.
3. 제로샷 일반화: 모델은 미학습된 고해상도(720p) 비디오에 파인튜닝 없이 일반화됩니다. 고해상도 프레임을 타일링하기 위한 **패치 그리드 인코딩(patch-grid encoding)**을 지원하여, 재인코딩 없이 표현 크기를 조절하여 더 높은 충실도를 얻을 수 있습니다.
4. 안정화 메커니즘: 랭크 기반 적응형 정규화의 도입은 피드포워드 가우시안 학습을 괴롭히는 "바늘 형태"의 퇴화를 성공적으로 방지합니다.

실험 결과

• 최적화 기반 방법과의 비교: 720p DAVIS 및 UVG 데이터셋에서 HyperGS는 2DGS(비디오별 최적화)의 재구성 품질과 일치하면서도 인코딩 시간을 시간 단위에서 밀리초 단위로 단축합니다. 패치 그리드 변형은 품질 면에서 비디오별 최적화를 능가합니다.
• 피드포워드 INR과의 비교: K400, SSv2, UCF101에서 HyperGS는 더 높은 해상도(640×480)에서 학습 및 평가된 최첨단 피드포워드 INR 방법들(TransINR, GINR, FastNeRV, TeCoNeRV)보다 PSNR과 SSIM 모두에서 우수한 성능을 보입니다. 이는 HyperGS가 오직 256×256에서만 학습되었음에도 달성한 결과입니다.
• 전통적인 코덱과의 비교: H.265와 비교했을 때, HyperGS는 동일한 레이트-왜곡(rate-distortion) 지점에서 더 높은 충실도를 유지하면서 1.3–2.7배 빠른 인코딩과 ~1.3배 빠른 디코딩을 제공합니다.
• 절제 연구(Ablation Studies):
  • 가우시안 개수 ($N$): $N$을 250에서 3000으로 늘리면 학습 시간에 미미한 영향을 주면서 품질이 선형적으로 개선됩니다 (K400에서 +7.31 dB).
  • 아키텍처: Q-Transformer의 쿼리 기반 자기 주의 메커니즘은 필수적입니다. 이를 단순한 MLP로 교체하면 품질이 급격히 저하됩니다 (~9 dB).
  • 정규화: 적응형 정규화는 학습 안정성에 결정적이며, 모델 용량에 민려한 고정 임계값보다 우수한 성능을 보입니다.

의의 및 주장

본 논문은 HyperGS가 가우시안 스플래팅을 빠르고 일반화 가능한 비디오 표현을 위한 실용적인 방향으로 진전시킨다고 주장합니다. 가우시안 스플래팅의 빠르고 유연한 렌더링과 피드포워드 예측의 속도 및 일반화 능력을 결리함으로써, HyperGS는 비디오별 최적화라는 근본적인 병목 현상을 극복합니다. 이는 명시적인 기하학적 프리미티브가 픽셀로부터 직접 학습될 수 있음을 보여주며, 실시간 인코딩, 제로샷 고해상도 렌더링, 그리고 전통적인 코덱 및 이전의 신경 비디오 표현보다 우수한 레이트-왜곡 성능을 가능하게 합니다.