기술 요약: 피드포워드 2D 가우시안 스플래팅 토큰화를 통한 다재다능한 비디오 표현

문제 정의

기존의 비디오 표현 방식, 특히 고정된 그리드 기반의 패치 단위 토큰화(예: MAGVIT-v2)에 의존하는 방식은 공간 및 시간 영역 모두에서 제한된 범용성을 갖는 문제가 있습니다.

• 공간적 한계: 고정된 수의 토큰을 균등하게 할당함으로써, 정보가 적은 영역(예: 매끄러운 배경)에는 과도하게 인코딩되는 반면, 세부 정보가 많은 영역은 충분히 표현하지 못할 가능성이 있습니다.
• 시간적 한계: 현재의 접근 방식은 정적 콘텐츠(예: 배경)와 동적 콘텐츠(예: 움직이는 객체)를 명시적으로 구분하지 않고 타임스텝을 균일하게 처리합니다. 이는 변하지 않는 구간에 중복된 토큰 예산을 할당하게 되어, 전체 토큰 수와 계산 비용을 증가시킵니다.
• 일반화 문제: 최근의 가우시안 스플래팅(GS) 방법론들은 유망한 성과를 보이고 있으나, 대개 비디오별 최적화(per-video optimization)에 의존하므로 계산 비용이 많이 들고 미학습 비디오에 대한 일반화 능력이 제한적입니다.

방법론: 가우시안 비디오 트랜스포머 (GVT)

저자들은 고정된 패치형 토큰화를 대신하여 피드포워드 방식의 2D 가우시안 스플래팅(2DGS) 체계를 사용하는 **가우시안 비디오 트랜스포머(GVT)**를 제안합니다. 핵심 아키텍처는 세 가지 주요 단계로 구성됩니다.

1. 시공간 가우시안 임베딩 (STGE)

GVT는 경직된 잠재 벡터를 직접 양자화하는 대신, 피드포워드 방식으로 잠재 비디오 특징을 일련의 2D 가우시안으로 투영합니다.

• 입력: 비디오 클립은 먼저 표준 패치형 특징 추출기(인과적 3D CNN)를 사용하여 일련의 잠재 텐서 $Z$로 인코딩됩니다.
• 메커니즘: STGE 모듈은 두 가지 핵심 서브 모듈을 활용합니다.
  • 시공간 어텐션 (STA): 글로벌 상관관계를 포착하기 위해 특징을 집계합니다.
  • 변형 가능한 시공간 융합 (DSTF): 학습 가능한 쿼리를 사용하여 잠재 벡터로부터 특정 2D 가우시안 파라미터(위치 $\mu$, 공분산 $\Sigma$, 특징 계수 $\varsigma$)로 정보를 투영합니다.
• 출력: 각 타임스텝에 대한 2D 가우시안 집합 $G = \{G_t\}$이며, 각 가우시안은 국소적인 공간 구조와 다양한 수준의 세부 사항을 명시적으로 모델링합니다.

2. 가우시안 집합 분할 (GSP)

시간적 중복성을 해결하기 위해, GVT는 정적 콘텐츠와 동적 콘텐츠를 분리하는 전략을 도입합니다.

• 분할: 학습 가능한 이진 마스크를 생성하여 가우시안을 두 가지 집합으로 분류합니다.
  • 정적 가우시안 ($G_{static}$): 모든 타임스텝에 걸쳐 공유되는 정지된 영역(예: 배경)을 나타냅니다. 이는 $t=1$에서 한 번만 계산되어 이후 프레임에서 재사용됩니다.
  • 동적 가우시안 ($G_{dynamic}$): 시간적으로 변화하는 콘텐츠(예: 움직이는 객체)를 나타내며, 각 타임스텝마다 업데이트됩니다.
• 최적화: 제약 손실($L_{GSP}$)은 동적 가우시안의 비율을 규제하여, 모델이 중복성을 최소화하면서도 학습 가능한 토큰 수를 유지하도록 유도합니다.

3. 벡터 양자화 및 재구성

• 양자화: 2D 가우시안의 특징 계수($\varsigma$)는 학습 가능한 코드북을 가진 벡터 양자화(VQ) 전략을 사용하여 양자화되며, 이를 통해 연속적인 파라미터를 이산적인 토큰으로 변환합니다.
• 렌더링: 재구성 과정에서 양자화된 가우시안은 래스터화됩니다. 정적 가우시안은 모든 타임스텝에 걸쳐 복제되며, 동적 가우시안은 프레임별로 렌더링됩니다. 최종 비디오는 집계된 복사 휘도 가중치와 계수를 다시 픽셀 공간으로 디코딩하여 재구성됩니다.

주요 기여

1. STGE (시공간 가우시안 임베딩): 압축된 잠재 비디오 표현을 피드포워드 방식으로 2D 가우시안 스플래팅에 매핑하는 새로운 투영 모듈로, 비디오별 최적화 없이도 다재다능한 토큰화를 가능하게 합니다.
2. GSP (가우시안 집합 분할): 가우시안을 정적 집합과 동적 집합으로 명시적으로 분할하는 학습 가능한 전략입니다. 이는 정적 콘텐츠를 재사용함으로써 시간적 중복성을 줄이고, 시간적 범용성과 표현의 압축성을 높입니다.
3. GVT 프레임워크: STGE와 GSP를 통합한 엔드투엔드 비디오 토큰화 프레임워크입니다. 이는 가우시안 스플래팅을 비디오 토큰화 연구에 도입한 첫 번째 사례로, 재구성 및 압축 분야에서 최첨단(SOTA) 성능을 달면합니다.

실험 결과

저자들은 UCF101, Kinetics (K600/K400), DAVIS 데이터셋을 사용하여 네 가지 작업(비디오 재구성, 행동 인식, 압축, 생성)에 대해 GVT를 평가했습니다.

• 비디오 재구성:
  • UCF101 및 Kinetics-600에서 GVT는 재구성된 비디오 FVD(rFVD) 측면에서 SOTA 성능을 달성하였으며, MAGVIT-v2 및 기타 토크나이저(예: UCF101에서 MAGVIT-v2의 16.7 대비 12.6 rFVD)를 능가했습니다.
  • DAVIS-2017-480P에서 GVT는 Radiance Field 기반 방법들 중 우수한 인스턴스 수준 충실도(최고 LPIPS, 세 번째로 높은 SSIM)를 보여주었습니다. 결정적으로, 이는 비교 대상 중 유일한 피드포워드 방식으로서, NeRF나 4DGS 기반 방식에 필요한 수 시간의 비디오별 피팅 시간을 피할 수 있었습니다.
• 비디오 행동 인식:
  • 재구성된 비디오를 VideoMAE의 입력으로 사용했을 때, GVT는 UCF101 및 K400에서 MAGVIT-v2보다 높은 Top-1 및 Top-5 정확도를 달성하였으며, 이는 의미론적 정보의 보존이 더 잘 이루어졌음을 나타냅니다.
• 비디오 압축:
  • GVT는 우수한 레이트-왜곡(Rate-Distortion, RD) 성능을 입증했습니다. H.266/VVC 표준과 비교했을 때, GVT는 평균 비트레이트 감소를 달성했습니다 (DISTS 기준 54.8%, LPIPS 기준 2.1%).
• 비디오 생성:
  • UCF101에서의 무조건적 비디오 생성 작업에서, GVT는 동일한 플로우 매칭 패러다임을 갖춘 MAGVIT-v2(FVD 3772)보다 뛰어난 FVD 1240을 달 기록하며, MCVD 및 TGAN-v2와 같은 다른 방법들과 경쟁할 만한 성능을 보였습니다.

의의 및 주장

본 논문은 GVT가 가우시안 스플래팅의 명시적이고 적응적인 특성을 활용함으로써 비디오 표현의 중요한 변화를 나타낸다고 주장합니다.

• 범용성: 고정된 그리드에서 벗어남으로써, GVT는 정보 콘텐츠에 따라 공간적 토큰 밀도를 조절하고 정적 요소와 동적 요소를 구분합니다.
• 효율성: 피드포워드 설계는 비용이 많이 드는 비디오별 최적화 과정을 제거하여, 접근 방식의 확장성과 미학습 비디오에 대한 일반화 가능성을 높입니다.
• 성능: 이 방법은 재구성 품질과 압축 효율에서 새로운 벤치마크를 설정하는 동시에, 행동 인식 및 생성과 같은 다운스트림 작업에서도 경쟁력 있는 성능을 유지합니다.

저자들은 현재의 생성 능력이 2DGS를 위한 사전 학습된 멀티모달 정렬 모델의 부재로 인해 무조건적 설정에 국한되어 있다는 점을 인정하며 한계점을 언급했습니다. 그들은 현재의 생성 결과가 프레임워크의 잠재력을 보여주는 예비적 증거라고 보고 있으며, 향후 조건부 생성(예: 텍스트-투-비디오)을 탐구할 계획입니다.