Learning Compact Video Representations for Efficient Long-form Video Understanding in Large Multimodal Models

이 논문은 메모리 제약 내에서 긴 비디오의 핵심 정보를 효율적으로 추출하고 압축하기 위해 적응형 샘플러와 자동인코더 기반 압축기를 통합한 새로운 종단간 프레임워크를 제안하여 대규모 멀티모달 모델의 장편 비디오 이해 성능을 향상시켰습니다.

핵심

🎬 문제: "긴 영상은 너무 길고, 기억하기 힘들어요!"

최근 AI(거대 언어 모델) 가 영상을 보고 내용을 이해하는 능력이 좋아졌지만, 30 분, 1 시간짜리 긴 영상을 보면 여전히 큰 문제가 생깁니다.

• 비유: 상상해 보세요. 친구가 1 시간 동안 찍은 여행 영상을 보여주고, "어디에 뭐가 있었지?"라고 물어본다고 해요.
• 현실: AI 는 영상을 한 프레임 (화면) 씩 모두 기억하려고 하면, 메모리 (뇌) 가 터져버립니다. 게다가 영상에는 같은 풍경이 계속 나오는 '지루한 부분'도 많아서, 중요한 정보만 골라내는 게 매우 어렵습니다.

기존 방법들은 두 가지 문제가 있었어요:

1. 무작위 잘라내기: 영상을 그냥 1 분마다 잘라내면, 중요한 장면이 빠질 수 있어요.
2. 요약해 말하기: "이건 산, 저건 바다"라고 먼저 요약해서 AI 에게 주면, 디테일한 정보가 다 사라져버려요.

---

💡 해결책: "똑똑한 카메라맨과 압축기"

저자 팀 (아마존 AGI) 은 이 문제를 해결하기 위해 두 가지 새로운 도구를 개발했습니다.

1. 적응형 비디오 샘플러 (AVS) = "눈썰미 좋은 카메라맨"

• 역할: 영상 전체를 다 보는 게 아니라, 가장 중요한 순간만 골라냅니다.
• 비유: 영화 촬영을 생각해보세요. 카메라맨이 매번 같은 배경을 찍지 않죠? 배우가 말을 하거나, 갑자기 문이 열리거나, 표정이 변하는 '반전'이 일어나는 순간에만 카메라를 돌립니다.
• 기술적 원리: 이 시스템은 영상의 '정보 밀도'를 분석합니다. 장면이 바뀌거나 (샷 변경), 움직임이 활발할 때만 프레임을 골라냅니다. 그래서 지루한 부분은 건너뛰고, 핵심 장면만 AI 에게 보여줍니다.

2. 시공간 비디오 압축기 (SVC) = "고급 압축기"

• 역할: 골라낸 중요한 장면들도 너무 많으면 AI 가 처리하기 힘들죠? 이 도구가 영상을 압축합니다.
• 비유: 고해상도 사진 100 장을 보내야 할 때, 용량이 너무 커서 못 보낼 경우, 중요한 부분만 남기고 용량을 1/64 로 줄여서 보내는 것과 같아요.
• 특이점: 기존 방법들은 단순히 평균을 내거나 (평균 풀링) 텍스트로 설명을 붙여서 압축했는데, 이 시스템은 영상 자체를 학습해서 (오토인코더) 중요한 정보만 남기고 나머지를 깔끔하게 잘라냅니다.
  • 중요한 점: 이 압축기는 영상만 보고 스스로 학습하기 때문에, 텍스트 데이터가 없어도 작동합니다.

---

🚀 결과: "64 배 더 빠르고, 똑똑해짐"

이 두 가지 도구를 합치면 어떤 일이 일어날까요?

• 압축률: 영상 데이터를 64 배나 줄였습니다. (예: 6,000 개의 이미지 조각을 1,440 개로 줄임)
• 성능: 양을 줄였는데도, 오히려 정답률이 더 높아졌습니다.
  • 왜일까요? 불필요한 '소음 (지루한 장면)'을 제거했기 때문에, AI 가 진짜 중요한 '신호 (핵심 정보)'에 집중할 수 있게 되었기 때문입니다.
• 비유: 거대한 소음 속에서 친구의 목소리를 듣기 힘들 때, 소음을 차단하는 헤드폰을 끼고 듣는 것과 같습니다. 목소리 (핵심 정보) 는 더 선명하게 들리죠.

📝 한 줄 요약

"긴 영상을 볼 때, 지루한 부분은 과감히 잘라내고 (AVS), 중요한 부분만 압축해서 (SVC) AI 에게 보여줌으로써, 적은 메모리로도 더 똑똑하게 영상을 이해하게 만든 기술입니다."

이 기술 덕분에 앞으로는 AI 가 영화 한 편을 통째로 보고 "주인공이 왜 화났지?" 같은 복잡한 질문에도 정확하게 답할 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

최근 대형 언어 모델 (LLM) 과 비디오 백본 아키텍처의 발전으로 수십 분에 달하는 장편 비디오 (Long-form Video) 분석이 가능해졌으나, 여전히 해결해야 할 두 가지 주요 과제가 존재합니다.

1. 메모리 제약 내에서의 효율적 프레임 처리: 비디오 시퀀스는 본질적으로 중복성이 매우 높습니다. 긴 비디오를 처리할 때 모든 프레임을 균일하게 샘플링하면 LLM 의 토큰 예산 (Token Budget) 을 과도하게 소모하여 계산 비용이 급증합니다.
2. 방대한 입력 데이터에서의 차별적 정보 추출: 단순한 평균 풀링 (Average Pooling) 이나 균일 샘플링은 비디오 내의 중요한 순간 (예: 장면 전환, 핵심 행동) 을 놓치거나, 불필요한 중복 정보를 포함시켜 LLM 이 복잡한 장기 의존성 (Long-term dependencies) 을 파악하는 능력을 저하시킵니다.
3. 기존 방법의 한계:
   • 클립 단위 캡션 집계: 비디오를 짧은 클립으로 나누고 텍스트 캡션을 생성하여 LLM 에 입력하는 방식은 저수준 시각 정보 손실과 캡션 생성 과정에서의 할루시네이션 (Hallucination) 누적을 초래합니다.
   • 토큰 병합/압축: 학습 가능한 압축 모듈을 사용하지만, 대규모 비디오 - 텍스트 쌍 데이터가 필요하거나 단순한 평균 풀링은 정보 왜곡을 일으킬 수 있습니다.

2. 제안된 방법론 (Methodology)

저자들은 **적응형 비디오 샘플러 (AVS)**와 **오토인코더 기반 시공간 비디오 압축기 (SVC)**를 통합한 엔드 - 투 - 엔드 아키텍처를 제안합니다. 이 시스템은 멀티모달 LLM (MLLM) 과 원활하게 통합되어 64 배의 높은 압축률을 달성하면서도 핵심 정보를 유지합니다.

A. 적응형 비디오 샘플러 (Adaptive Video Sampler, AVS)

• 개념: 비디오 내 정보 밀도 (Information Density) 를 기반으로 프레임을 선택합니다. 영화의 '장 (Shot)' 개념을 차용하여, 정보의 변화가 큰 지점 (Shot Boundary) 을 탐지합니다.
• 작동 원리:
  1. Shot Boundary Detection: 전체 비디오를 입력받아 각 프레임의 콘텐츠 변화 확률 (Confidence Score) 을 산출합니다.
  2. 비최대 억제 (NMS): 중복된 탐지를 제거합니다.
  3. 샘플링: 신뢰도가 높은 상위 K 개의 프레임 (핵심 프레임) 을 시간 순서대로 선택합니다.
• 효과: 불필요한 중복 프레임을 제거하고, 중요한 시각적 순간을 포착하여 LLM 이 처리해야 할 토큰 수를 줄입니다.

B. 오토인코더 기반 시공간 비디오 압축기 (Spatiotemporal Video Compressor, SVC)

• 아키텍처: 비디오 특징을 컴팩트한 잠재 공간 (Latent Space) 으로 압축하는 오토인코더 (Encoder-Decoder) 구조를 사용합니다.
• 학습 전략:
  • 비디오 전용 사전 학습 (Video-only Pre-training): 텍스트 - 비디오 쌍 없이 순수 비디오 데이터만으로 재구성 손실 (Reconstruction Loss) 을 통해 학습합니다. 이는 데이터 확장성을 높이고 편향을 줄입니다.
  • 잔여 잠재 공간 제약 (Residual Latent Space Constraint): 단순한 오토인코더는 잠재 공간의 '구멍 (Holes)' 문제로 일반화가 어렵습니다. 이를 해결하기 위해, 평균 풀링된 특징 (Avg-pooled feature) 을 제약 조건으로 추가하여 압축기가 **평균 풀링으로 손실된 정보 (잔여 정보)**에 집중하도록 유도합니다. 이는 VAE 의 불확실성을 제거하고 LLM 과의 정렬을 용이하게 합니다.
• 구현: 경량 3D 컨볼루션 레이어를 사용하여 효율성을 극대화하며, 공간 (Spatial) 과 시간 (Temporal) 차원을 모두 압축합니다.

C. 통합 파이프라인

1. AVS가 비디오에서 핵심 프레임을 추출합니다.
2. Visual Encoder가 추출된 프레임의 특징을 추출합니다.
3. SVC가 추출된 특징을 64 배 (예: 4x4x4) 압축합니다.
4. 압축된 특징은 프로젝터를 거쳐 MLLM에 입력되어 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 아키텍처 제안: 정보 밀도 기반의 AVS와 비디오 전용 데이터로 학습 가능한 SVC를 결합하여 MLLM 을 위한 효율적인 장편 비디오 이해 프레임워크를 구축했습니다.
2. 고효율 압축: 64 배의 압축률을 달성하여 MLLM 의 토큰 예산을 획기적으로 절약하면서도, 차별적 정보 (Discriminative Information) 를 유지합니다.
3. 성능과 효율성의 동시 달성: 기존 최첨단 (SoTA) 방법론에 비해 시각 토큰을 80% 적게 사용하면서도 동등하거나 더 나은 성능을 달성했습니다. 특히 LLaVA-OV 대비 EgoSchema 에서 2.6%, PerceptionTest 에서 3.3% 높은 정확도를 기록했습니다.

4. 실험 결과 (Experimental Results)

다양한 벤치마크 (EgoSchema, NextQA, ActivityNetQA, MLVU, MVBench, PerceptionTest) 에서 평가되었습니다.

• SoTA 비교:
  • EgoSchema: 62.7% 정확도 (LLaVA-OneVision-7B 의 60.1% 보다 우위).
  • NextQA: 78.7% 정확도.
  • MLVU (장편 비디오 이해): 52.7% 평균 정확도.
  • 토큰 효율성: EgoSchema 와 PerceptionTest 테스트에서 평균 1,440 개의 시각 토큰만 사용 (LLaVA-OV 는 약 6,000 개 필요).
• Ablation Study (성분 분석):
  • AVS 효과: 장면 전환이 있는 긴 비디오 (MLVU) 에서 균일 샘플링 대비 1% 성능 향상.
  • SVC 효과: 오토인코더 기반 압축기가 평균 풀링이나 Perceiver 기반 다운샘플링보다 우수한 성능을 보임.
  • 사전 학습의 중요성: 오토인코더 사전 학습 시 2~4% 성능 향상.
  • 제약 조건: 잔여 제약 (Residual Constraint) 이 VAE 나 무제약 학습보다 훨씬 안정적이고 성능이 뛰어남.
  • 압축 비율: 공간 (Spatial) 과 시간 (Temporal) 압축 비율이 균형 잡힌 4x4x4 구성이 가장 효과적임.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 장편 비디오 이해를 위한 효율적인 표현 학습의 새로운 패러다임을 제시합니다.

• 자원 효율성: 제한된 컴퓨팅 자원과 메모리 환경에서도 수 시간 분량의 비디오를 전체적으로 처리할 수 있는 가능성을 열었습니다.
• 정보 보존: 단순한 압축이 아닌, '중요한 정보'를 선별하고 '중복 정보'를 제거하는 지능적인 방식을 통해 정보 손실을 최소화했습니다.
• 확장성: 텍스트 - 비디오 쌍에 의존하지 않는 비디오 전용 압축기 학습 방식을 통해 데이터 확보의 어려움 없이 모델의 확장성을 높였습니다.

결론적으로, 제안된 방법은 대형 멀티모달 모델이 장편 비디오를 이해하는 데 있어 계산 비용과 성능 간의 트레이드오프를 해결하는 강력한 솔루션으로 평가받으며, 실시간 애플리케이션 및 다양한 멀티미디어 도메인으로의 확장을 위한 기초를 마련했습니다.