VideoSEMA: a scalable and efficient Mamba-like attention for video understanding

VideoSEMA 기술 요약: 비디오 이해를 위한 확장 가능하고 효율적인 Mamba 스타일 어텐션

문제 정의
복잡한 시공간 패턴을 이해하는 것은 비디오 이해의 근본적인 과제로, 행동 분류부터 자율 주행 시스템을 위한 월드 모델링에 이르기까지 다양한 응용 분야에서 매우 중요합니다. 최근 트랜스포머 기반 아키텍처와 대규모 파운데이션 모델을 활용한 발전이 괄목할 만한 성과를 거두었으나, 이들은 주로 비전 트랜스포머(ViT) 백본에 의존합니다. 이러한 모델들은 전체 시공간 어텐션(full space-time attention)의 이차 복잡도(quadratic complexity)로 인해 대규모 비디오 입력에 대해 지나치게 높은 계산 비용을 발생시킵니다. 긴 시퀀스의 비용을 줄이기 위해 Mamba와 같은 상태 공간 모델(SSM)이 탐구되었고 선형 어텐션 또한 효율적인 경로를 제공하지만, 전체 결합 어텐션의 무거운 계산 부담이나 기존 비디오 컨텍스트에서의 Mamba 구현이 가진 한계를 피하면서 공간적 및 시간적 특징을 모두 효율적으로 포착할 수 있는 백본에 대한 필요성이 여전히 존재합니다.

방법론: VideoSEMA
저자들은 **분할 시공간 어텐션 프레임워크(split space-time attention framework)**를 기반으로 한 새로운 비디오 분류 모델인 VideoSEMA를 제안합니다. 이 아키텍처는 확장성과 효율성을 달성하기 위해 공간 및 시간 처리를 분리합니다:

1. 공간 처리 (SEMA 블록): 전체 글로벌 어텐션이나 표준 Mamba 재귀 대신, 모델은 공간 차원을 위해 Mamba 스타일의 어텐션(SEMA) 블록을 사용합니다. SEMA는 **로컬 윈도우 어텐션(local window attention)**과 글로벌 평균화(global averaging) 연산을 결합하여 Mamba의 지수적 망각 특성을 모사합니다. 이 설계는 모델이 공간 차원에 대해 선형 계산 복잡도($O(N)$)를 유지하면서도 전역 정보에 효율적으로 접근할 수 있게 하며, 이는 풀 소프트맥스 어텐션의 $O(N^2)$ 비용을 피하게 해줍니다.
2. 시간 처리: 모델은 프레임 시퀀스에 대해 표준 **소프트맥스 시간 어텐션(softmax temporal attention)**을 적용합니다. 저자들은 적당한 길이의 비디오(예: 16~32 프레임)의 경우, 시간 차원에서의 글로벌 소프트맥스 어텐션이 계산적으로 감당 가능하며 효과적이라고 주장하며, 시간 차원에서의 선형 근사를 불필요하게 만듭니다.
3. 아키텍처: 모델은 3D 컨볼루션을 사용하여 입력 비디오를 토큰화하고, 학습 가능한 분류기 토큰을 추가하며, 위치 및 시간 임베딩을 더합니다. 핵심 프로세스는 SEMA 및 시간 어텐션의 교차 레이어로 구성되며, 이후 컨볼루션 레이어를 통한 계층적 다운샘플링이 이어집니다.
4. 이론적 등가성: 논문은 특정 랭크 조건 하에서 이 분할 시공간 어텐션이 전체 시공간 어텐션과 수학적으로 동일하다는 이론적 증명을 제공합니다. 구체적으로, 시간 및 공간 점수 행렬이 모델의 헤드 차원에 대해 특정 랭크 제약 조건을 만족한다면, 분할 어텐션은 전체 어텐션 행렬의 정확한 주변-조건부 분해(marginal-conditional decomposition) 역할을 수행합니다.

주요 기여

• 새로운 아키텍처: 분할 시공간 어텐션 프레임워크 내에서 Mamba 스타일의 확장 가능하고 효율적인 이미지 백본(SEMA)을 사용하는 최초의 비디오 모델 개발.
• 이론적 통찰: 분할 시공간 어텐션과 전체 시공간 어텐션 사이의 등가성을 특정 랭크 조건 하에서 입증하여, 분해의 이론적 타당성을 검증함.
• 효율성 및 성능: VideoSEMA가 더 많은 파라미터와 FLOPs를 가진 모델들보다 표준 벤치마크에서 더 우수한 성능을 보이면서도 낮은 파라미터 수와 FLOPs를 유지함을 입증함.
• 해상도 강건성: 입력 해상도가 높아질 때($224^2$에서 $1024^2$까지) 미세 조정 없이도 VideoSEMA가 훨씬 더 완만하게 성능이 저하된다는 증거 제시.

실험 결과
모델은 Kinetics-400 (K400) 및 Something-Something v2 (SSv2) 데이터셋에서 평가되었습니다:

• K400 성능: VideoSEMA는 유사하거나 더 큰 파라미터 크기 및 FLOPs를 가진 모델들에 비해 우수한 Top-1 및 Top-5 정확도를 달 achieves 합니다. 예를 들어, $16 \times 224^2$ 해상도에서 VideoSEMA(31M 파라미터)는 82.4%의 Top-1 정확도를 달성하여, VideoMamba-S(26M 파라미터, 80.8%)를 능가하고 더 큰 모델인 TimeSformer-L(121M 파라미터, 80.7%)을 크게 앞섭니다.
• SSv2 성능: VideoSEMA는 유사한 파라미터 규모의 모델들 중 Top-1 정확도에서 선두를 차지합니다. 특히, 단 8개의 프레임만 사용하여 VideoMamba-S보다 약 2% 더 높은 성능을 보였으며, 16개 프레임을 사용한 VideoMAE보다 0.5% 더 높은 성능을 보였습니다.
• 어블레이션 연구: SEMA를 공간에, 소프트맥스 어텐션을 시간에 결 조합하는 것이 정확도와 효율성 사이의 최적의 절충안임을 확인하였으며, 이는 3D 컨볼루션이나 Mamba를 시간 처리에 사용하는 변형 모델들보다 우수한 성능을 보였습니다.
• 확장성: 미세 조정 없이 고해상도($512^2$ 및 $1024^2$) 테스트를 진행했을 때, VideoSEMA는 강건성을 유지하는 반면 VideoMamba는 급격한 정확도 하락을 겪었습니다 (예: $1024^2$에서 VideoSEMA의 54.6%에 비해 VideoMamba는 40.8%로 하락).

의의 및 주장
본 논문은 VideoSEMA가 Mamba 스타일의 원리를 공간 영역에 성공적으로 적용하는 동시에 효과적인 시간 모델링을 유지함으로써, 효율적인 비디오 이해를 위한 중요한 진전을 이루었다고 주장합니다. 저자들은 이것이 비디오 애플리케이션을 위해 특별히 Mamba 스타일의 백본을 탐구한 첫 번째 연구임을 강조합니다. 전체 어텐션과의 이론적 등가성에 근거한 분할 시공간 접근 방식이 시공간 의존성을 포착하기 위한 매우 효율적인 대안임을 보여주는 이 모델의 능력은, 더 크고 계산 비용이 많이 드는 아키텍처를 능가한다는 점에서 의미가 있습니다. 또한, 미세 조정 없이 고해상도 입력에 대해 보여준 강건성은 비디오 품질이 가변적인 실제 환경에서의 확장 가능한 배포 가능성을 강조합니다. 저자들은 향후 연구에서 확장된(dilated) 또는 희소(sparse) 시간 어텐션을 사용하여 이 프레임워크를 더 긴 비디오로 확장할 수 있을 것이라고 제안합니다.