ReMoRa: Multimodal Large Language Model based on Refined Motion Representation for Long-Video Understanding

이 논문은 긴 비디오 이해를 위해 RGB 프레임의 압축된 표현과 잡음을 제거한 정제된 모션 표현을 활용하여 계산 효율성을 극대화하고 여러 벤치마크에서 기존 모델을 능가하는 성능을 보여주는 ReMoRa 라는 멀티모달 대규모 언어 모델을 제안합니다.

핵심

🎬 ReMoRa: 긴 영상을 한눈에 파악하는 '스마트 영화 평론가'

이 논문은 **"ReMoRa"**라는 새로운 인공지능 모델을 소개합니다. 이 모델은 긴 동영상 (영화, 다큐멘터리, 긴 유튜브 영상 등) 을 보고 내용을 이해하고 질문에 답하는 데 특화되어 있습니다.

기존의 AI 들은 긴 영상을 볼 때 "모든 프레임을 하나하나 세세하게 보려고 노력하다가 지쳐버리는" 문제가 있었습니다. ReMoRa 는 이 문제를 압축된 영상 데이터를 clever 하게 활용하여 해결했습니다.

이해하기 쉽게 세 가지 핵심 비유로 설명해 드릴게요.

---

1. 문제: "모든 장면을 다 보는 건 불가능해!" 🤯

상상해 보세요. 2 시간짜리 영화를 이해하려면 2 시간 동안 매초마다 30 장씩, 총 216,000 장의 사진을 AI 가 봐야 합니다.
기존 AI 는 이 모든 사진을 한 장도 빠뜨리지 않고 보려고 하다가, 컴퓨터 메모리가 터지거나 (과부하), 중요한 순간을 놓치는 실수를 저지릅니다. 마치 2 시간짜리 영화를 볼 때, 매 초마다 눈을 깜빡이지 않고 빤히 쳐다보려고 하다가 정작 중요한 대사를 놓치는 것과 비슷합니다.

2. 해결책: ReMoRa 의 '스마트 요약법' 🧠

ReMoRa 는 이 문제를 해결하기 위해 **영상 압축 기술 (H.264 등)**을 그대로 활용합니다. 영상을 볼 때 모든 장면을 보는 대신, 다음과 같이 두 가지로 나누어 봅니다.

A. "핵심 장면 (I-프레임)" = 영화의 포스터 🖼️

• 영상에는 중요한 장면 (배경, 인물 얼굴, 사물) 이 잘 찍힌 **'키 프레임'**이 몇 개 있습니다.
• ReMoRa 는 이 '포스터' 같은 장면들만 골라 선명하게 봅니다. "누가, 어디서, 무엇을 하고 있는지"를 파악하는 데 필수적입니다.

B. "움직임 (P/B-프레임)" = 애니메이션의 '흐름' 🏃‍♂️

• 포스터 사이사이의 장면들은 사실 배경이 거의 똑같고, 사람만 조금 움직입니다.
• ReMoRa 는 이 부분에서 실제 사진 (RGB) 을 보지 않습니다. 대신, **"사람이 어디로 얼마나 움직였는지"**를 나타내는 **화살표 (운동 벡터)**만 봅니다.
• 비유: 영화의 모든 장면을 그리는 대신, 인물의 움직임만 화살표로 표시한 스케치를 본다고 생각하세요. 데이터 양은 1/100 으로 줄지만, "누가 어디로 갔는지"는 완벽하게 알 수 있습니다.

---

3. 기술의 핵심: "거친 스케치를 명화처럼 다듬다" 🎨

여기서 한 가지 문제가 생깁니다. 화살표 (운동 벡터) 는 컴퓨터가 만든 거친 데이터라 노이즈가 많고 부정확할 수 있습니다. 마치 손으로 대충 그린 스케치처럼요.

ReMoRa 는 이 문제를 해결하기 위해 두 가지 마법 도구를 사용합니다.

① RMR 모듈: "스케치를 명화로 다듬는 화가" 🖌️

• 거칠고 노이즈가 많은 운동 화살표를 받아서, 세밀하고 정확한 움직임으로 변환해 줍니다.
• 마치 손으로 그린 초벌 스케치를 AI 가 보정하여 디테일한 명화처럼 만들어주는 과정입니다. 덕분에 AI 는 미세한 손짓이나 물체의 움직임도 정확히 파악할 수 있습니다.

② HMSS 모듈: "긴 이야기를 한 줄로 정리하는 편집자" 📝

• 긴 영상을 처리할 때, 모든 장면을 한 번에 비교하면 컴퓨터가 미쳐버립니다 (계산량이 너무 많음).
• ReMoRa 는 영상을 **작은 덩어리 (GOP)**로 나누어, 각 덩어리 안에서는 움직임을 정리하고, 덩어리끼리는 시간의 흐름을 자연스럽게 연결합니다.
• 비유: 2 시간짜리 영화를 볼 때, 장면별로 요약본을 만들고, 그 요약본들을 시간순으로 이어 붙여 하나의 긴 이야기로 만드는 편집자와 같습니다. 이렇게 하면 계산량이 급격히 줄어들면서도 긴 이야기의 흐름을 놓치지 않습니다.

---

🏆 결과: 왜 ReMoRa 가 특별한가요?

이 방법을 통해 ReMoRa 는 다음과 같은 성과를 냈습니다.

1. 빠르고 가볍습니다: 모든 프레임을 보지 않아도 되므로, 기존 모델보다 메모리를 절반 이상 덜 쓰면서도 훨씬 더 많은 영상을 처리할 수 있습니다.
2. 긴 영상도 잘 봅니다: 1 시간, 2 시간짜리 영상에서도 중요한 순간을 놓치지 않고 정확한 질문 답변이 가능합니다. (예: "영화를 끝까지 보고, 주인공이 마지막에 무엇을 입었는지 말해줘" 같은 질문)
3. 성능이 뛰어납니다: 여러 가지 긴 영상 이해 테스트 (LongVideoBench, NExT-QA 등) 에서 기존 최고의 모델들보다 더 높은 점수를 받았습니다.

📝 한 줄 요약

ReMoRa 는 "모든 장면을 다 보는 게 아니라, '핵심 장면 (포스터)'과 '움직임 (화살표)'만 smart 하게 조합해서, 긴 영상을 빠르고 정확하게 이해하는 똑똑한 AI 영화 평론가"입니다.

이 기술은 앞으로 로봇이 집안일을 이해하거나, 시각 장애인을 위한 영상 설명 서비스, 긴 교육 영상 요약 등 다양한 분야에서 혁신을 일으킬 것으로 기대됩니다.

기술 요약

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 은 다양한 비전 - 언어 작업에서 뛰어난 성과를 보였으나, 장기 비디오 (Long-form Video) 이해 분야에서는 여전히 큰 한계에 직면해 있습니다.

• 계산적 비효율성: 수 분에서 수 시간에 달하는 비디오의 모든 RGB 프레임을 처리하는 것은 계산 비용이 너무 높습니다.
• 중복성 (Redundancy): 연속된 프레임은 배경과 같은 정적 콘텐츠가 반복되어 정보 밀도가 낮습니다.
• 자기 주의 (Self-Attention) 의 복잡도: 기존 Transformer 기반 모델은 시퀀스 길이에 대해 2 차 (Quadratic) 복잡도를 가지므로, 긴 비디오를 처리할 때 메모리 및 계산량이 기하급수적으로 증가합니다.
• 샘플링의 딜레마: 균일한 프레임 샘플링은 중요한 짧은 이벤트를 놓치거나 (희소 샘플링), 계산 비용이 너무 비싸게 됩니다 (밀집 샘플링).

2. 제안 방법론 (Methodology: ReMoRa)

저자들은 압축된 비디오 스트림 (Compressed Video Stream) 을 직접 활용하여 위 문제를 해결하는 ReMoRa를 제안합니다. 이 모델은 불필요한 RGB 프레임을 재인코딩하지 않고, 비디오 코덱 (H.264 등) 이 제공하는 구조를 활용합니다.

핵심 구성 요소

1. 압축 도메인 입력 (Compressed Video Representation-aware Input):

   • 비디오를 I-Frame (키 프레임) 과 P/B-Frame (모션 벡터) 으로 분해합니다.
   • I-Frame: 장면의 외관 (Appearance) 정보를 제공합니다.
   • P/B-Frame: 프레임 간의 움직임 (Motion) 을 나타내는 모션 벡터 (Motion Vectors) 만을 사용합니다. 이는 광학 흐름 (Optical Flow) 의 경량화된 대안으로, 전체 프레임을 디코딩할 필요 없이 시간적 역동성을 포착합니다.

2. 정제된 모션 표현 모듈 (Refined Motion Representation, RMR):

   • 코덱에서 추출된 모션 벡터는 블록 단위 (Block-based) 이고 노이즈가 많으며 저해상도입니다.
   • RMR 모듈은 이러한 거친 모션 벡터를 고해상도 밀집 광학 흐름 (Dense Optical Flow) 에 가깝게 정제 (Denoise) 하고 세분화합니다.
   • Pre-training: Co-Tracker3 와 같은 오프더셸 (off-the-shelf) 모델을 사용하여 생성된 밀집 광학 흐름을 타겟으로 L2 손실을 최소화하는 방식으로 사전 학습됩니다. 이를 통해 모델은 노이즈가 있는 입력을 정교한 모션 특징으로 변환하는 능력을 학습합니다.

3. 계층적 모션 상태 공간 모듈 (Hierarchical Motion State Space, HMSS):

   • 긴 비디오 시퀀스를 효율적으로 처리하기 위해 선형 시간 복잡도 (Linear-time complexity) 를 갖는 상태 공간 모델 (SSM, Mamba 기반) 을 도입합니다.
   • 2 단계 처리 구조:
     1. 로컬 퓨전 (Local Fusion): 각 GOP(Group of Pictures) 내에서 I-Frame 특징과 정제된 모션 특징을 Mamba 블록을 통해 융합합니다.
     2. 글로벌 의존성 모델링 (Global Dependency): 모든 GOP 의 요약 벡터를 연결하여 전체 비디오의 장기적인 시간적 의존성을 선형 스캔 (Selective Scan) 방식으로 모델링합니다.
   • 이를 통해 2 차 복잡도의 Self-Attention 을 피하면서도 긴 시간적 맥락을 유지합니다.

3. 주요 기여 (Key Contributions)

1. ReMoRa 아키텍처: 압축된 비디오 스트림 (I-Frame + 모션 벡터) 을 직접 처리하여 확장 가능한 장기 비디오 이해를 가능하게 하는 MLLM 을 제안했습니다.
2. RMR 모듈: 노이즈가 많고 블록 단위의 모션 벡터를 정제하여 광학 흐름 수준의 정밀도를 확보하면서도 디코딩 비용을 절감하는 모듈을 개발했습니다.
3. HMSS 모듈: 코덱의 계층적 구조 (GOP) 를 반영하여 긴 시간적 의존성을 선형 시간 내에 모델링하는 효율적인 모듈을 도입했습니다.
4. 성능 입증: 다양한 장기 비디오 벤치마크에서 기존 최첨단 (SOTA) 모델들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

저자들은 LongVideoBench, NExT-QA, MLVU, VideoMME, Perception Test 등 다양한 벤치마크에서 ReMoRa 를 평가했습니다.

• 주요 벤치마크 성능:
  • LongVideoBench: 60.8 점 (1 위, 기존 2 위 대비 1.3 점 향상)
  • NExT-QA: 84.2 점 (1 위, 기존 2 위 대비 1.0 점 향상)
  • MLVU: 72.1 점 (1 위, 기존 2 위 대비 1.3 점 향상)
  • 평균 점수: 69.8 점으로 모든 비교 모델 중 가장 높은 평균 점수를 기록했습니다.
• 효율성:
  • ReMoRa 는 LLaVA-Video 와 같은 기존 모델에 비해 GPU 메모리 사용량을 50% 이상 절감 (10.59 GB vs 23.21 GB) 했습니다.
  • 처리 속도 (Throughput) 는 효율적인 모델인 BIMBA 와 유사한 수준을 유지하면서도 더 높은 정확도를 달성했습니다.
• 정성적 분석:
  • 미세한 인간의 동작 (예: 바지를 확인하는 행동, 공을 튀기는 동작) 을 정확히 추적하여 기존 모델이 실패한 사례에서 성공적인 답변을 도출했습니다.
  • ablation study 를 통해 RMR 모듈과 HMSS 모듈이 성능 향상에 결정적인 역할을 함을 확인했습니다.

5. 의의 및 결론 (Significance)

ReMoRa 는 장기 비디오 이해를 위한 패러다임 전환을 제시합니다.

• 압축 도메인의 활용: 고비용의 RGB 프레임 디코딩을 피하고, 비디오 코덱이 이미 수행한 압축 (모션 벡터) 을 지능적으로 활용함으로써 계산 효율성과 정보 밀도의 최적 균형을 달성했습니다.
• 실용성: 수 시간 길이의 비디오를 실시간 또는 근접 실시간으로 처리할 수 있는 가능성을 열어주어, 로봇 제어, 시각 장애인 보조 기술, 긴 영상 요약 등 실제 응용 분야에의 적용 가능성을 높였습니다.
• 미래 연구 방향: 압축 도메인과 모션 인식에 기반한 MLLM 연구의 새로운 방향성을 제시하며, 장기 비디오 이해의 격차를 해소하는 데 기여합니다.

요약하자면, ReMoRa 는 불필요한 프레임 처리를 제거하고 모션 정보를 정제하여 활용함으로써, 장기 비디오 이해의 핵심 병목 현상이었던 계산 비용과 시간적 맥락 파악 문제를 동시에 해결한 혁신적인 모델입니다.