TRecViT: A Recurrent Video Transformer

이 논문은 시간, 공간, 채널 차원을 각각 순환 유닛, 자기 주의, MLP 로 분해하여 비자 causal ViViT 모델보다 파라미터와 계산 비용이 훨씬 적으면서도 실시간 처리가 가능하고 다양한 비디오 태스크에서 최첨단 성능을 보이는 새로운 순환 비디오 트랜스포머 'TRecViT'를 제안합니다.

핵심

TRecViT: 비디오를 이해하는 '효율적인 시간 여행가'

이 논문은 구글 딥마인드가 개발한 새로운 인공지능 모델인 TRecViT에 대해 설명합니다. 이 모델은 동영상을 분석하고 이해하는 데 있어 기존 방식의 문제점을 해결하면서도, 훨씬 더 빠르고 가볍게 작동하도록 설계되었습니다.

비유를 들어 쉽게 설명해 드리겠습니다.

---

1. 문제: "모든 것을 한 번에 보려는" 비효율적인 구경꾼

기존의 최신 비디오 AI 모델 (ViViT 등) 은 동영상을 볼 때 마치 거대한 스크린 앞에서 모든 장면을 동시에 펼쳐놓고 한눈에 훑어보는 사람과 같습니다.

• 단점: 동영상이 길어질수록 (프레임 수가 많아질수록) 기억해야 할 정보가 기하급수적으로 늘어납니다. 마치 책장을 모두 펼쳐놓고 한 번에 읽으려다 보니, 책이 너무 두꺼워지면 책상 (메모리) 이 부족해지고 읽는 속도 (계산 속도) 가 매우 느려지는 것과 같습니다.
• 결과: 실시간으로 처리하기 어렵고, 고사양 컴퓨터가 필요합니다.

2. 해결책: TRecViT의 '시간 여행' 방식

TRecViT 는 이 문제를 해결하기 위해 세 가지 다른 역할을 가진 팀으로 나뉘어 협력합니다. 마치 영화 제작팀처럼요:

1. 시간을 다루는 팀 (LRU - 선형 순환 유닛):

   • 역할: 이 팀은 시간의 흐름을 담당합니다. 과거의 장면을 기억하고 현재 장면을 받아들이며, "어제 뭐 했지?"라고 기억을 더듬습니다.
   • 특징: 이 팀은 메모리를 아주 효율적으로 사용합니다. 과거의 모든 장면을 다 기억하는 게 아니라, 중요한 정보만 압축해서 "요약 노트"로 만들어 다음 순간으로 넘깁니다. 그래서 동영상이 아무리 길어도 메모리 사용량은 일정하게 유지됩니다.
   • 비유: 긴 여행을 할 때, 모든 사진을 다 가지고 다니는 게 아니라 '여행 일기' 한 권만 들고 다니며 중요한 순간만 기록하는 것과 같습니다.

2. 공간을 다루는 팀 (Self-Attention - 자기 주의):

   • 역할: 이 팀은 한 장의 화면 (프레임) 안의 공간을 담당합니다. 화면 속의 사람, 사물, 배경이 서로 어떻게 연결되어 있는지 한눈에 파악합니다.
   • 특징: 한 장의 사진 안에서는 모든 부분이 서로 관계를 맺고 있으므로, 이 팀은 모든 픽셀을 동시에 분석합니다.

3. 색깔과 특징을 다루는 팀 (MLP):

   • 역할: 이 팀은 위에서 분석된 정보들을 정리하고 다듬어 최종적인 이해를 돕습니다.

3. TRecViT 의 핵심 아이디어: "시간은 순차적으로, 공간은 동시에"

기존 모델은 시간과 공간을 모두 한 번에 처리하려다 지쳤지만, TRecViT 는 분업을 했습니다.

• 시간 (Time): 과거 → 현재 순서대로 하나씩 처리합니다. (순차적, 인과적)
• 공간 (Space): 한 장의 화면 안에서는 동시에 처리합니다. (병렬적)

이 방식 덕분에 TRecViT 는 **실시간 (Real-time)**으로 동영상을 처리할 수 있습니다. 초당 300 프레임 이상을 처리할 수 있어, 로봇이나 증강현실 (AR) 처럼 즉각적인 반응이 필요한 분야에서 아주 유용합니다.

4. 놀라운 성과: "작지만 강한" 모델

이 모델은 기존에 유명한 모델 (ViViT-L) 과 비교했을 때 다음과 같은 놀라운 결과를 냈습니다.

• 파라미터 (지식량): 3 배 적음 (가볍고 빠름)
• 메모리 사용량: 12 배 적음 (컴퓨터가 덜 지름)
• 계산량 (FLOPs): 5 배 적음 (전기와 시간을 아낌)
• 성능: 비록 동영상을 '뒤에서' 모두 보고 분석하는 비실시간 모델 (ViViT) 과 비교해도, 동일하거나 더 좋은 성능을 냅니다. 특히 동작 (움직임) 을 이해하는 데 매우 뛰어납니다.

5. 왜 이것이 중요한가요?

• 실시간성: 이 모델은 '인과적 (Causal)'입니다. 즉, 미래의 정보를 미리 알지 못해도 현재까지의 정보만으로 완벽하게 판단할 수 있습니다. 이는 로봇이 실시간으로 물건을 잡거나, 자율주행차가 길을 보는 것처럼 미래가 아직 오지 않은 상황에서 필수적입니다.
• 효율성: 고가의 슈퍼컴퓨터 없이도 일반 장비에서 고성능 비디오 분석이 가능해졌습니다.

요약

TRecViT 는 "과거를 효율적으로 기억하고, 현재 화면을 똑똑하게 분석하는" 새로운 비디오 AI 모델입니다. 거대한 도서관을 모두 펼쳐놓는 대신, 필요한 책만 빠르게 찾아내는 현명한 사서처럼 동작하여, 앞으로 우리가 사용하는 로봇, VR, 스마트폰의 비디오 이해 능력을 한 단계 업그레이드할 것으로 기대됩니다.

기술 요약

TRecViT: A Recurrent Video Transformer (기술 요약)

1. 문제 제기 (Problem)

비디오 이해 (Video Understanding) 는 고차원적이고 노이즈가 많으며, 공간적 및 시간적 차원에서 높은 상관관계와 중복성을 가진 신호를 처리해야 합니다. 기존 모델들의 한계는 다음과 같습니다:

• 합성곱 신경망 (CNN): 국소성 (locality) 과 불변성 (invariance) 과 같은 귀납적 편향 (inductive biases) 으로 인해 데이터와 파라미터 규모 확장 (scaling) 에 한계가 있습니다.
• 순환 신경망 (RNN): 시간당 일정한 추론 비용과 인과성 (causality) 을 가지지만, 순차적 처리로 인해 학습 속도가 느리고 긴 복잡한 시퀀스를 학습하는 데 어려움을 겪습니다.
• Transformer (ViT 등): 강력한 확장 능력을 가지지만, 자기 주의 (self-attention) 의 이차적 복잡도 ($O(N^2)$) 로 인해 메모리 사용량과 지연 시간 (latency) 이 큽니다. 특히 인과적 (causal) 마스크를 사용할 때 성능이 저하되며, 스트리밍이나 로봇 공학 등 실시간 처리가 필요한 환경에 적합하지 않습니다.
• 기존 상태 공간 모델 (SSM): 언어 및 이미지 분야에서 성공적이었으나, 비디오 모델링에 적용된 대부분의 SSM 아키텍처는 양방향 (bidirectional) 처리에 의존하여 인과적 (causal) 운영이 불가능했습니다.

2. 방법론 (Methodology)

저자들은 TRecViT (Temporal Recurrent Video Transformer) 라는 새로운 인과적 비디오 아키텍처를 제안합니다. 이 모델은 시간, 공간, 채널 차원을 각각 전용 블록으로 분해 (factorisation) 하여 효율성을 극대화합니다.

• 시간 - 공간 - 채널 분해 (Time-Space-Channel Factorisation):

  • 시간 (Time): 게이트드 선형 순환 유닛 (Gated Linear Recurrent Units, LRU) 을 사용하여 시간 차원에서의 정보 혼합을 수행합니다. LRU 는 $O(N)$ 학습 복잡도와 $O(1)$ 추론 복잡도를 가지며, 인과적으로 작동하여 무한히 긴 비디오도 실시간으로 처리할 수 있습니다.
  • 공간 (Space): Self-Attention (ViT 블록) 을 사용하여 프레임 내의 공간적 정보 혼합을 수행합니다. 이는 병렬 처리가 가능하고 특정 스캔 순서에 구애받지 않습니다.
  • 채널 (Channel): MLP 를 사용하여 채널 차원의 정보를 혼합합니다.

• 아키텍처 구조:

  • 입력 비디오는 패치 (patch) 로 분할되어 토큰으로 변환됩니다.
  • 각 블록은 게이트드 LRU (시간적 혼합) 와 ViT 블록 (공간적 및 채널적 혼합) 을 번갈아 가며 적용합니다.
  • 시간적 튜브 (Temporal Tube): 동일한 공간 위치에 있는 토큰들의 시퀀스를 LRU 가 처리하며, 공간적으로 파라미터를 공유합니다 (합성곱과 유사).
  • 인과성 보장: LRU 는 시간적 순서대로만 정보를 전달하므로, 모델은 과거 프레임만 참조하여 현재 프레임을 예측하는 인과적 구조를 가집니다.

• 게이트드 LRU 의 특징:

  • 입력 게이트와 순환 게이트를 도입하여 정보의 유입과 감쇠 속도를 제어합니다.
  • 비디오 특성에 맞게 고유값 (eigenvalues) 초기화 범위를 조정하여 (예: $\lambda_{min}=0.6$) 단기 및 장기 정보의 균형을 맞춥니다.

3. 주요 기여 (Key Contributions)

1. 최초의 인과적 SSM 비디오 모델: 상태 공간 모델 (SSM) 계열 중 인과적으로 작동하며 실시간 처리가 가능한 최초의 비디오 모델인 TRecViT 를 제안했습니다.
2. 효율적인 하이브리드 아키텍처: 시간에는 LRU 를, 공간에는 Self-Attention 을 적용하여 계산 복잡도를 획기적으로 줄였습니다.
3. 실시간 추론: 약 300 프레임/초 (fps) 의 처리 속도를 달성하여 로봇 공학 및 증강 현실 (AR) 과 같은 실시간 애플리케이션에 적합합니다.
4. 범용성: 지도 학습 (Supervised) 과 자기 지도 학습 (Self-supervised, MAE) 모두에서 효과적으로 작동하며, 비디오 분류 (희소 작업) 와 포인트 추적 (밀집 작업) 등 다양한 태스크에 적용 가능합니다.

4. 실험 결과 (Results)

• 성능 비교 (SSv2 및 Kinetics400):
  • SSv2 (동작 이해 중심): TRecViT 는 기존 인과적 모델 (TSM, RViT) 보다 최상위 (SOTA) 성능을 기록했으며, 비인과적 모델인 ViViT-L 보다 2.3% 높은 정확도를 달성했습니다.
  • Kinetics400 (외관 이해 중심): ViViT-L 과 경쟁력 있는 성능을 보였으며, I3D 및 TimeSformer 등 다른 아키텍처보다 우수한 결과를 보였습니다.
• 효율성 (Memory & FLOPs):
  • ViViT-L 대비 파라미터는 3 배 적고, 메모리 사용량은 12 배 적으며, FLOPs 는 5 배 낮습니다.
  • 프레임 수가 증가할수록 메모리 및 계산 비용의 이점이 더욱 커집니다 (예: 64 프레임 시 메모리는 24 배 감소).
• 자기 지도 학습 (MAE): Kinetics400 에서 사전 학습된 TRecViT 는 VideoMAE-L 보다 적은 파라미터 (약 3 배 적음) 로 더 높은 성능을 보였습니다.
• 긴 비디오 기억력 (Long Video Memorisation):
  • 매우 긴 시퀀스 (96 프레임) 에서 과거 프레임을 재구성하는 태스크에서, ViViT 는 프레임 길이가 길어질수록 성능이 급격히 저하되는 반면, TRecViT 는 일관된 품질을 유지했습니다.

5. 의의 및 결론 (Significance)

TRecViT 는 비디오 모델링의 패러다임을 전환하는 중요한 성과입니다.

• 인과적 실시간 처리: 기존의 오프라인 (전체 프레임 동시 접근) 방식에서 벗어나, 스트리밍 환경 (로봇, VR 등) 에서 필수적인 인과적 실시간 처리를 가능하게 합니다.
• 효율성과 성능의 균형: Transformer 의 강력한 표현력과 RNN/SSM 의 효율성을 결합하여, 대규모 비디오 데이터를 처리하면서도 계산 비용을 획기적으로 절감했습니다.
• 미래 지향성: 이 연구는 비디오 - 언어 작업, 생성 모델 (Video Diffusion), 그리고 가변 프레임 레이트 비디오 처리 등 다양한 미래 응용 분야를 위한 강력한 기반을 마련했습니다.

요약하자면, TRecViT 는 시간적 순환성 (LRU) 과 공간적 주의 (Self-Attention) 를 결합하여, 기존 Transformer 기반 비디오 모델의 계산 비용과 메모리 한계를 해결하면서도 오히려 더 뛰어난 성능과 실시간 처리 능력을 보여주는 차세대 비디오 아키텍처입니다.