VideoARM: 장편 비디오 이해를 위한 계층적 메모리 기반 에이전트 추론

1. 문제 정의 (Problem)

장편 비디오 (Long-form video) 이해는 영화, 다큐멘터리, 강의 등 긴 시간대에 걸쳐 밀집된 시공간 정보와 다중 모달 (영상, 오디오, 텍스트) 단서를 처리해야 하므로 매우 어려운 과제입니다. 기존 방법론들은 다음과 같은 한계를 가지고 있습니다:

• 수동 설계된 파이프라인: 많은 기존 방법 (예: VideoTree) 이 수동으로 설계된 추론 파이프라인에 의존하여 자율성이 부족합니다.
• 토큰 소모 및 비효율성: DVD 와 같은 에이전트 기반 방법은 비디오를 미리 잘게 나누어 (예: 10 초 단위) 모든 클립을 분석하고 데이터베이스를 구축하는 방식을 사용합니다. 이는 불필요한 토큰 소모를 유발하며, 사용자의 질문과 무관한 정보를 과도하게 처리하게 됩니다.
• 정적 메모리의 한계: 기존 방법들은 사전 구축된 정적 데이터베이스에 의존하여 동적인 관찰과 반성 (reflection) 을 지원하는 실시간 메모리 업데이트가 어렵습니다.

2. 방법론 (Methodology)

저자들은 VideoARM을 제안하며, 이는 계층적 다중 모달 메모리 (Hierarchical Multimodal Memory, HM3) 위에서 작동하는 적응형 에이전트 추론 (Agentic Reasoning) 패러다임입니다. VideoARM 은 정적인 전처리를 제거하고, "관찰 - 사고 - 행동 - 기억 (Observe-Think-Act-Memorize)"의 적응형 루프를 통해 비디오를 이해합니다.

핵심 구성 요소:

1. 계층적 다중 모달 메모리 (HM3):
   에이전트의 실행 동안 지속적으로 업데이트되며, 다음과 같은 3 단계 계층으로 구성됩니다.

   • 감각 메모리 (Sensory Memory):
     • 장기 지각 풀 (Long-term Perception Pool): 현재 처리 중인 기본 프레임 구간의 스냅샷을 저장 (초기 광범위한 샘플링).
     • 단기 지각 풀 (Short-term Perception Pool): 국소 탐색 및 분석을 위해 샘플링된 세밀한 클립과 오디오를 임시로 저장.
   • 결과 메모리 (Result Memory): 에이전트 실행 중 생성된 중간 결과 (프레임 구간, 툴 출력, 캡션 등) 를 시간 순서대로 기록하여 과거 추론을 반성하고 중복 행동을 방지합니다.
   • 작업 메모리 (Working Memory): 컨트롤러의 추론 흔적 (reasoning traces) 과 의도를 기록하여 컨텍스트 오버플로를 방지하고 추론의 초점을 명확히 합니다.

2. ** coarse-to-fine (거칠게부터 정밀하게) 비디오 추론 에이전트:**
   컨트롤러는 HM3 에 저장된 증거를 기반으로 도구를 적응적으로 스케줄링하고 호출합니다.

   • 시간 범위 도구 (Temporal Scoping Tools):
     • Interval Localizer: 질문과 관련된 프레임 구간을 식별하고 샘플링 수를 적응적으로 조절하여 토큰 소모를 줄입니다.
     • Clip Explorer: 국소 구간 내에서 가설을 빠르게 검증하기 위해 세밀한 프롬프팅을 수행합니다.
   • 다중 모달 이해 도구 (Multimodal Understanding Tools):
     • Scene Snapper: 긴 시간 구간의 프레임을 요약하여 고수준의 시맨틱 캡션을 생성합니다.
     • Audio Transcriber: 시각적 단서가 불분명할 때 Whisper 모델을 활용해 오디오를 텍스트로 변환합니다.
     • Clip Analyzer: 세밀한 국소 구간의 프레임을 분석하여 구체적인 증거와 신뢰도를 산출합니다.

3. 동적 추론 루프:
   컨트롤러는 현재 메모리 상태를 관찰하고, 어떤 증거가 부족한지 사고한 후, 적절한 도구를 호출하여 실행합니다. 그 결과를 메모리에 기록하고 가설을 정제하는 과정을 반복하다가 최종 답변을 도출합니다.

3. 주요 기여 (Key Contributions)

• 새로운 패러다임 제안: 정적이고 포괄적인 전처리를 대체하는 적응형, 온더플라이 (on-the-fly) 에이전트 추론 방식을 도입했습니다.
• 계층적 메모리 구조 (HM3): 단순한 텍스트 요약이 아닌, 원시 다중 모달 증거 (프레임, 오디오, 캡션) 를 계층적으로 저장하고 관리하는 메모리 시스템을 설계하여 에이전트의 장기적 맥락 이해 능력을 향상시켰습니다.
• 토큰 효율성 극대화: 불필요한 비디오 클립의 전처리를 제거하고 질문 관련 구간만 적응적으로 샘플링함으로써, 기존 방법 대비 토큰 소모를 획기적으로 줄였습니다.
• 성능과 효율성의 동시 달성: 장편 비디오 이해 벤치마크에서 SOTA(최고 성능) 를 달성하면서도 토큰 비용을 대폭 절감했습니다.

4. 실험 결과 (Results)

Video-MME, LongVideoBench, EgoSchema 등 주요 장편 비디오 이해 벤치마크에서 광범위한 실험을 수행했습니다.

• 성능: VideoARM 은 이전 SOTA 인 DVD(Deep Video Discovery) 를 포함한 상용 및 오픈소스 VLM 들보다 모든 벤치마크에서 더 높은 정확도를 기록했습니다. 특히 Video-MME 의 장편 구간에서 GPT-4o 기반 모델보다 80.0% 의 높은 정확도를 달성했습니다.
• 토큰 효율성:
  • 30 분 길이의 비디오 1 개를 처리할 때, DVD 는 약 398 만 토큰을 소모하는 반면, VideoARM 은 약 8 만 토큰 (DVD 의 1/50) 만 소모했습니다.
  • 10 개의 비디오 (평균 41.3 분) 를 30 개의 질문으로 처리한 실험에서도 VideoARM 은 DVD 대비 약 1/34 수준의 토큰만 사용했습니다.
• Ablation Study:
  • 도구 조합: Scene Snapper(전체 요약), Audio Transcriber(오디오), Clip Analyzer(세밀 분석) 가 모두 결합되었을 때 가장 높은 성능을 보였습니다.
  • 메모리 구성: HM3 의 모든 계층 (감각, 결과, 작업 메모리) 이 추론 성능에 필수적임을 입증했습니다.
  • 샘플링 전략: 고정된 샘플링보다 컨트롤러가 구간의 복잡도에 따라 적응적으로 프레임 수를 조절하는 전략이 더 효과적이었습니다.

5. 의의 및 결론 (Significance)

VideoARM 은 장편 비디오 이해 분야에서 자율 에이전트와 동적 메모리 관리의 중요성을 입증했습니다.

• 비용 효율성: 고비용의 토큰 소모를 줄이면서도 높은 추론 능력을 유지함으로써, 실제 환경에서의 장편 비디오 분석을 실용화할 수 있는 길을 열었습니다.
• 유연성: 수동 설계된 파이프라인에 의존하지 않고, 질문의 맥락에 따라 동적으로 탐색 범위를 조절하는 유연한 추론 능력을 보여줍니다.
• 미래 방향: 이 연구는 토큰 제약이 엄격한 환경에서도 고품질의 다중 모달 추론이 가능함을 보여주며, 향후 더 복잡한 시공간 추론 작업에 대한 새로운 기준을 제시합니다.

요약하자면, VideoARM 은 "적응형 에이전트가 계층적 메모리를 통해 비디오를 거시적에서 미시적까지 점진적으로 탐색하고 이해하는" 새로운 프레임워크로, 기존 방법들의 비효율성과 한계를 극복한 획기적인 접근법입니다.