기술 요약: SSM과 비디오 확산 모델의 만남

1. 문제 정의

연구 커뮤니티는 이미지 생성에서 비디오 생성으로 확산 모델(Diffusion Models)을 확장하는 데 점점 더 집중하고 있습니다. 최근의 비디오 확산 모델(Video Diffusion Models, VDMs)은 인상적인 능력을 보여주었으나, 이들은 주로 비디오 프레임 전반의 시간적 특징을 추출하기 위해 **어텐션 메커니나즘(attention mechanisms)**에 의존합니다. 이러한 접근 방식의 결정적인 한계는 어텐션 레이어의 계산 비용(메모리 및 시간)이 시퀀스 길이 $L$에 대해 이차적(quadratic)($O(L^2)$)으로 증가한다는 점입니다.

이러한 이차적 스케일링은 장기 비디오 시퀀스를 생성하는 데 있어 상당한 장벽이 됩니다. 결과적으로, 많은 최첨단 방법론들이 짧은 시퀀스(예: 16 프레임, 또는 8 fps 기준 약 2초)로 제한됩니다. 최근의 일부 대규모 모델들이 더 긴 시퀀스를 해결하려고 시도하고 있지만, 실제적인 메모리 및 계산 제약으로 인해 실행 가능한 생성 길이는 종종 제한됩니다. 본 논문은 높은 생성 품질을 유지하면서도 효율적인 장기 비디오 생성을 가능하게 하는 선형 계산 복잡도를 가진 시간적 특징 추출기의 필요성을 식별합니다.

2. 방법론

저자들은 표준 비디오 확산 모델의 시간적 어텐션 레이어를 구조적 상태 공간 모델(Structured State Space Models, SSMs), 구체적으로는 맘바(Mamba) 아키텍처를 사용하여 교체할 것을 제안합니다.

핵심 아키텍처

• 베이스라인: 본 연구는 U-Net 기반 비디오 확산 모델(VDM)을 베이스라인으로 사용합니다. 표준 VDM에서는 프레임 간의 의존성을 포착하기 위해 공간 어텐션 레이어가 시간적 어텐션 레이어와 교차 배치됩니다.
• 제안된 수정 사항: 저자들은 공간 레이어(컨볼루션 및 공간 어텐션)는 변경하지 않은 채, 시간적 어텐션 레이어를 **시간적 SSM 레이어(Temporal SSM Layers)**로 교체합니다.
• 양방향 맘바(Bidirectional Mamba): 본질적으로 인과적(unidirectional)인 표준 SSM과 달리, 제안된 시간적 레이어는 양방향 맘바 블록을 채택합니다. 이는 두 개의 병렬 브랜치로 구성됩니다:
  • 시작부터 끝까지 프레임을 처리하는 순방향 브랜치(forward branch).
  • 끝에서 시작까지 프레임을 처리하는 역방향 브랜치(backward branch).
  • 최종 선형 투영(linear projection) 전, 두 브랜치의 출력을 합산합니다. 이를 통해 모델은 과거와 미래 프레임 모두에 의존하는 시간적 역학을 포착할 수 있습니다.
• 선택적 스캔(Selective Scan, S6): 구현에는 맘바에서 발견되는 선택적 스캔 메커니즘이 활용됩니다. 상태 공간을 제어하는 파라미터($B$, $C$, 그리고 이산화 단계 $\Delta$)는 입력에 따라 결정됩니다. 이를 통해 모델은 불필요한 정보를 선택적으로 버리고 필수적인 정보를 장기간 유지하며, 각 프레임의 콘텐츠에 따라 상태 업데이트를 적응시킬 수 있습니다.
• 복잡도: SSM을 활용함으로써, 시간적 레이어의 메모리 할당 및 계산 시간은 시퀀스 길이에 대해 어텐션의 이차적 스케일링과 달리 **선형적($O(L)$)**으로 증가합니다.

3. 주요 기여

1. 아키텍처 제안: 본 논문은 장기 생성(≥256 프레임)을 위한 비디오 확산 모델의 **시간 축(temporal axis)**에 양방향 맘바 블록을 적용한 첫 사례를 제시합니다.
2. 효율성 분석: SSM 기반의 시간적 레이어가 어텐션 기반 레이어와 대등하거나 더 우수한 생성 성능을 달성하면서도, 긴 시퀀스에 대한 계산 비용(메모리 및 추론 시간)을 크게 줄일 수 있음을 입증합니다.
3. 절제 연구(Ablation) 통찰: 다음을 보여주는 상세한 절제 분석을 제공합니다:
   • **양방향성(Bidirectionality)**이 매우 중요합니다; 단방향 SSM은 어텐션 기반 베이스라인보다 성능이 떨어집니다.
   • **선택적 스캔(Selective Scanning)**이 필수적입니다; 비선택적 SSM(예: S4D)은 긴 시퀀스에서 시간적 의존성을 포착하는 데 있어 선택적 변형보다 현저히 낮은 성능을 보입니다.
4. 포괄적 평가: 제안된 방법은 다양한 데이터셋(MineRL Navigate, GQN-Mazes, CARLA-Town01)과 다양한 모델 크기(약 14M에서 913M 파라미터 범위) 및 시퀀스 길이(16, 64, 256 프레임)에 대해 평가되었습니다.

4. 실험 결과

실험은 세 가지 데이터셋에 대해 수행되었습니다:

• MineRL Navigate: 1,186개의 비디오 (마인크래프트 환경).
• GQN-Mazes: 108,200개의 비디오 (3D 미로 시뮬레이터).
• CARLA-Town01: 508개의 비디오 (자율 주행 시뮬레이터).

주요 결과:

• 단기 시퀀스 (16–64 프레임): SSM 기반 모델은 동일한 계산 제약 조건 하에서 어텐션 기반 모델과 대등한 생성 성능(FVD로 측정)을 달성합니다.
• 장기 시퀀스 (256 프레임): SSM 기반 모델은 어텐션 기반 모델을 유의미하게 능가합니다. 동일한 메모리 및 시간 제약 조건 하에서, SSM 모델은 더 낮은 FVD(더 나은 품질)를 달성합니다.
• 자원 효율성: 256 프레임 시퀀스의 경우, SSM 기반 접근 방식은 동일한 크기의 어텐션 기반 대응 모델에 비해 약 1.56배 빠른 추론 속도와 1.56배 낮은 메모리 사용량을 보여주었습니다.
• 스케일링 동작: 어텐션 모델의 메모리와 추론 시간이 시퀀스 길이에 따라 이차적으로 증가하는 반면, SSM 기반 모델은 선형적인 증가만을 보입니다.
• 절제 연구 결과: MineRL 256 프레임 데이터셋에서, 전체 양방향 선택적 스캔 SSM은 381의 FVD를 달성한 반면, 비선택적 SSM은 458, 단방향 SSM은 610을 기록했습니다.

5. 의의 및 주장

본 논문은 SSM을 시간적 특징 추출기로 활용함으로써, 특히 장기 시퀀스에 대해 어텐션 기반 방법과 비교하여 동일한 계산 비용으로 더 높은 생성 성능을 얻을 수 있다고 주장합니다.

• 접근성: 장기 비디오 생성을 위한 계산 장벽을 낮춤으로써, 이 접근 방식은 제한된 계산 자원을 가진 기관들도 최첨단 비디오 생성 연구에 참여할 수 있게 합니다.
• 아키텍처의 우월성: 본 연구는 시간적 아키텍처의 선택이 매우 중요하다는 점을 시사합니다. 단순히 어텐션을 나이브(naive)한 SSM으로 교체하는 것만으로는 부족하며, 양방향성과 선택적 스캔의 결 조합이 비디오 생성에서 어텐션 메커니즘의 성능을 따라잡거나 능가하기 위해 필수적입니다.
• 미래 잠재력: 저자들은 자신들의 시간적 SSM 블록이 시간적 셀프 어텐션에 대한 "드롭인 교체(drop-in replacement)"가 가능하다고 언급합니다. 이는 이 블록이 시간적 혼합 레이어의 근본적인 복잡도를 수정하지 않고도, 기존의 다른 전략들(예: 잠재 확산, 캐스케이드 파이프라인 또는 자기회귀 생성)과 결 결합되어 장기 시퀀스 생성을 더욱 개선할 수 있음을 의미합니다.

저자들은 실험이 시간적 효과를 분리하기 위해 32×32 해상도로 고정되었다는 점과, I3D 백본이 짧은 클립으로 사전 학습되었기 때문에 매우 긴 시퀀스(≥512 프레임)에 대해서는 FVD와 같은 평가 지표가 신뢰도가 낮아질 수 있다는 점을 인정하며 한계점에 대해 겸허한 태도를 유지합니다. 이들은 더 높은 해상도로의 확장과 더 나은 장기 호라이즌 평가 프로토콜 개발을 향후 과제로 꼽았습니다.