Attend Before Attention: Efficient and Scalable Video Understanding via Autoregressive Gazing

이 논문은 비디오의 중복 패치를 제거하여 토큰 수를 획기적으로 줄이고 처리 속도를 높임으로써 장고해고 고해상도 비디오 이해를 가능하게 하는 경량 모듈 'AutoGaze'를 제안하고, 이를 통해 멀티모달 대규모 언어 모델의 성능과 확장성을 크게 향상시켰음을 보여줍니다.

핵심

🎥 "AutoGaze": 비디오를 보는 인간의 눈처럼 똑똑하게 만드는 기술

이 논문은 **"AutoGaze (오토게이즈)"**라는 새로운 기술을 소개합니다. 쉽게 말해, 비디오를 볼 때 인간의 눈처럼 '중요한 부분만 집중해서 보고, 나머지는 건너뛰는' 똑똑한 AI를 만든 것입니다.

기존의 AI 는 비디오를 볼 때 마치 **모든 픽셀을 하나하나 꼼꼼히 세어보는 '초조한 학생'**처럼 행동했습니다. 하지만 AutoGaze 는 **현명한 '감시 카메라'**처럼 움직이는 물체나 중요한 장면만 쏙쏙 골라냅니다.

이 기술이 왜 중요하고 어떻게 작동하는지, 일상적인 비유로 설명해 드릴게요.

---

1. 문제: "왜 다 보려고 하죠?" (기존 AI 의 비효율)

지금까지의 비디오 이해 AI(MLLM) 들은 비디오의 모든 프레임과 모든 픽셀을 똑같이 처리했습니다.

• 비유: imagine you are watching a 2-hour movie, but you are forced to read every single letter of the subtitles, even the parts where the screen is just black or a static wall.
  • 한국어 비유: 2 시간짜리 영화를 볼 때, 화면이 검은색이거나 벽만 비치는 10 분 동안도 글자 하나하나를 다 읽으라고 강요받는 것과 같습니다.
  • 결과: 컴퓨터가 너무 지쳐서 (연산 비용 폭증), 고해상도나 긴 영상을 처리하면 속도가 느려지거나 아예 멈춰버립니다.

2. 해결책: AutoGaze 의 "스마트한 시선"

AutoGaze 는 비디오를 보기 전에 먼저 "어디를 봐야 할지" 결정하는 가벼운 모듈입니다.

• 핵심 아이디어: "움직이는 것"과 "새로운 정보"만 보고, "고정된 배경"이나 "중복된 정보"는 무시합니다.
• 작동 원리:
  1. 시선 이동 (Gazing): AI 가 비디오를 볼 때, 인간의 눈이 움직이는 물체를 따라가듯 중요한 부분 (패치) 만 선택합니다.
  2. 다양한 초점 (Multi-scale):
     • 넓은 배경은 **저해상도 (크게)**로 훑어봅니다. (예: 하늘, 벽)
     • 중요한 세부 사항 (얼굴, 글자, 손짓) 은 **고해상도 (작게)**로 자세히 봅니다.
  3. 자동 중단: "이 정도만 봐도 내용을 충분히 이해했구나"라고 판단되면, 더 이상 보지 않고 다음 장면으로 넘어갑니다.

3. 놀라운 효과: "100 배 더 빠르고, 4K 영상도 가능해!"

이 기술을 적용하면 어떤 일이 일어날까요?

• 데이터 줄이기: 비디오의 99% 를 버리고 1% 만 가져와도 원래 영상을 거의 그대로 재구성할 수 있습니다. (비유: 책의 99% 를 찢어내고 핵심 내용만 남긴 요약본을 읽는 것과 같습니다.)
• 속도 향상:
  • ViT(비전 모델): 최대 19 배 빨라집니다.
  • LLM(언어 모델): 최대 10 배 빨라집니다.
• 실제 적용: 이제 AI 가 4K 고해상도로 **1,000 프레임 (약 1 분 이상)**에 달하는 긴 영상을 실시간으로 이해할 수 있게 되었습니다.

4. 새로운 시험지: HLVid (고해상도 긴 영상 퀴즈)

저자들은 이 기술의 능력을 증명하기 위해 HLVid라는 새로운 시험지를 만들었습니다.

• 특징: 5 분짜리 4K 고해상도 영상으로, 아주 작은 글자나 미세한 움직임을 찾아야 하는 문제들입니다.
• 결과: AutoGaze 를 쓴 AI 는 기존 최고 성능 모델보다 10% 이상 더 높은 점수를 받았습니다. 마치 고해상도 안경을 쓴 사람이 안경을 쓰지 않은 사람보다 훨씬 더 잘 보는 것과 같습니다.

5. 요약: 왜 이것이 혁신인가?

기존 AI 는 "무조건 다 보려고 해서 지치는" 방식이었다면, AutoGaze 는 "무엇이 중요한지 알고 집중하는" 방식입니다.

• 인간처럼: 우리는 영화를 볼 때 배경의 구름을 계속 주시하지 않죠. AutoGaze 도 똑같이 행동합니다.
• 효율성: 불필요한 계산을 줄여서 에너지를 아끼고, 더 긴 영상과 더 선명한 화질을 처리할 수 있게 합니다.
• 미래: 이제 AI 는 긴 다큐멘터리, 고해상도 감시 카메라, 실시간 스트리밍 등을 훨씬 더 똑똑하고 빠르게 이해할 수 있게 되었습니다.

한 줄 요약:

"AutoGaze 는 비디오를 볼 때 '눈'을 움직여 중요한 부분만 쏙쏙 골라내는 기술로, AI 가 긴 고해상도 영상을 인간처럼 빠르고 효율적으로 이해하게 해줍니다."

기술 요약

1. 문제 정의 (Problem)

현재 멀티모달 대규모 언어 모델 (MLLM) 은 비디오 이해 분야에서 괄목할 만한 성과를 거두었지만, 긴 길이와 고해상도 (High-Resolution) 비디오를 처리하는 데에는 심각한 한계가 있습니다.

• 비효율적인 토큰 처리: 기존 모델들은 시공간적 중복성 (Spatiotemporal Redundancy) 이 큰 비디오에서도 모든 프레임의 모든 픽셀을 균등하게 처리합니다. 정적인 배경은 한 번만 보아도 되지만, 모델은 매 프레임마다 전체를 다시 계산합니다.
• 병목 현상: 최근 연구들은 LLM(언어 모델) 내부에서 토큰을 줄이는 시도를 했으나, 비전 트랜스포머 (ViT) 단계에서는 여전히 전체 픽셀을 처리합니다. 이로 인해 ViT 가 계산 병목이 되어 긴 비디오나 고해상도 비디오 (예: 4K, 1000 프레임 이상) 로 확장하는 것이 불가능하거나 매우 느립니다.
• 기존 방법의 한계: 휴리스틱 기반의 토큰 가지치기나 무거운 검색/추론 기반 방법은 성능이 낮거나 오버헤드가 커서 확장성이 부족합니다.

2. 방법론 (Methodology: AutoGaze)

저자들은 AutoGaze라는 경량화 모듈을 제안하여, ViT 나 MLLM 에 입력되기 전에 불필요한 패치 (Patch) 를 제거하는 방식을 도입했습니다.

• 핵심 아이디어: 인간의 시선이 움직이는 물체나 중요한 세부 사항에 집중하고 정적인 배경은 무시하는 방식 (Gazing) 을 모방합니다.
• 작동 원리:
  1. 자기회귀적 패치 선택 (Autoregressive Gazing): AutoGaze 는 비디오의 각 프레임을 인코딩한 후, 이전 프레임과 선택된 패치들의 히스토리를 참조하여 현재 프레임을 재구성할 수 있는 최소한의 멀티스케일 (Multi-scale) 패치 집합을 자기회귀적으로 선택합니다.
  2. 재구성 손실 기반 중단: 사용자가 지정한 재구성 손실 (Reconstruction Loss) 임계값 (예: 0.7) 을 달성하는 즉시 해당 프레임에 대한 '시선 (Gazing)'을 멈추고 다음 프레임으로 넘어갑니다.
  3. 멀티스케일 처리: 정적인 영역은 낮은 해상도 (Coarse scale) 로, 세부적인 영역은 높은 해상도 (Fine scale) 로 선택하여 효율성을 극대화합니다.
• 모델 아키텍처:
  • 구조: 합성곱 인코더 (Convolutional Encoder) 와 자기회귀 트랜스포머 디코더 (Autoregressive Transformer Decoder) 로 구성되며, 총 파라미터 수는 약 3M 로 매우 가볍습니다.
  • 입력: ViT 가 처리할 패치 인덱스와 재구성 손실 예측을 출력합니다.
• 학습 파이프라인 (Training Pipeline):
  1. NTP (Next-Token Prediction) 사전 학습: 탐욕적 탐색 (Greedy Search) 을 통해 생성된 '최적의 시선 시퀀스'를 학습하여 패치 선택 능력을 기릅니다.
  2. RL (Reinforcement Learning) 후 학습: 재구성 손실을 보상 (Reward) 으로 사용하여, 더 적은 패치로 더 낮은 손실을 달성하는 시퀀스를 탐색하도록 미세 조정합니다.

3. 주요 기여 (Key Contributions)

1. AutoGaze 프레임워크: ViT 이전 단계에서 불필요한 패치를 제거하여 ViT 와 MLLM 의 계산 비용을 획기적으로 줄이는 새로운 아키텍처 제안.
2. HLVid 벤치마크: 기존 벤치마크가 놓치고 있던 긴 길이 (최대 5 분) 와 고해상도 (4K) 비디오를 위한 질문 답변 (QA) 벤치마크를 최초로 도입했습니다. 이는 고해상도 시각적 지각이 필수적인 과제를 포함합니다.
3. 확장성 입증: AutoGaze 를 적용함으로써 MLLM 이 1000 프레임, 4K 해상도의 비디오를 처리할 수 있게 되었으며, 이는 기존 모델들이 메모리 부족 (OOM) 으로 불가능했던 영역입니다.

4. 실험 결과 (Results)

• 효율성 향상:
  • 토큰 감소: 비디오의 FPS 와 해상도에 따라 4 배에서 100 배까지 시각 토큰을 줄였습니다 (예: 30fps 4K 비디오의 경우 약 1% 의 패치만 사용).
  • 속도 향상: ViT 는 최대 19 배, MLLM 은 최대 10 배까지 가속화되었습니다.
  • 지연 시간 (Latency): 4K 해상도 비디오 처리 시 기존 모델은 메모리 부족으로 실패했으나, AutoGaze 는 실시간 처리가 가능한 수준으로 지연 시간을 줄였습니다.
• 성능 (Performance):
  • HLVid 벤치마크: AutoGaze 를 적용한 MLLM(NVILA-8B) 은 기존 최강 모델보다 4.5% 이상 높은 성능을 보였으며, 베이스라인 대비 10.1% 향상된 정확도 (52.6%) 를 기록했습니다.
  • 일반 벤치마크: VideoMME 등 다른 비디오 벤치마크에서도 일관된 성능 향상을 보였습니다 (VideoMME 에서 67.0% 달성).
• 일반화 능력: 훈련 데이터와 다른 분포 (OOD) 를 가진 비디오 (CCTV, 로봇, 스타일 변환된 영상 등) 에서도 움직이는 객체를 추적하고 중요한 정보를 선택하는 능력이 유지되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 비디오 이해 모델의 확장성 문제를 시각적 토큰의 효율적인 할당을 통해 해결했습니다.

• 패러다임 전환: 기존에 '모델 내부에서 토큰을 줄이는' 접근에서 벗어나, 모델에 입력되기 전 (Pre-ViT) 에 불필요한 정보를 차단함으로써 ViT 자체의 계산 부하를 근본적으로 줄였습니다.
• 실제 적용 가능성: 고해상도 (4K) 와 긴 시간 (Long-form) 을 요구하는 실제 응용 분야 (자율주행, 보안 감시, 의료 영상 분석 등) 에 MLLM 을 적용할 수 있는 토대를 마련했습니다.
• 새로운 표준 제시: HLVid 벤치마크를 통해 고해상도 비디오 이해의 중요성을 부각시키고, 향후 연구 방향을 제시했습니다.

요약하자면, AutoGaze는 "모든 픽셀을 보는 것이 아니라, 중요한 부분만 '바라본다 (Gaze)'"는 인간의 인지 방식을 모방하여, 고해상도 장편 비디오 이해를 가능하게 하는 효율적이고 확장 가능한 솔루션입니다.