EventMemAgent: Hierarchical Event-Centric Memory for Online Video Understanding with Adaptive Tool Use

이 논문은 무한한 비디오 스트림의 온라인 이해를 위해 이벤트 중심의 계층적 메모리와 적응형 도구 사용을 결합한 'EventMemAgent'라는 능동적 에이전트 프레임워크를 제안하여 장기적 맥락 유지와 세밀한 정보 포착 간의 균형을 해결합니다.

핵심

🎥 "이벤트 메모 에이전트": 무한한 비디오를 기억하는 똑똑한 비서

이 논문은 **"EventMemAgent"**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 매일 보는 긴 영상 (예: CCTV, 자율주행 카메라, 실시간 스트리밍) 을 이해하는 방식을 완전히 바꿉니다.

기존의 AI 는 영상을 볼 때 수동적이었습니다. 마치 책상 위에 쌓인 책더미를 한 번에 다 읽으려다가, 책이 너무 많으면 가장 오래된 책을 던져버리는 것과 비슷했죠. 하지만 이 새로운 AI 는 능동적으로 정보를 다스립니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제 상황: "기억력 좋은 AI 의 한계"

상상해 보세요. AI 는 **작은 책상 (제한된 메모리)**을 가지고 있습니다. 그런데 세상은 **끝없이 쏟아지는 영상 (무한한 스트리밍)**입니다.

• 기존 방식: 책상에 영상을 계속 쌓아두다가 책상이 꽉 차면, 가장 오래된 영상을 무작위로 치워버립니다.
• 문제점: 중요한 사건이 치워진 순간, AI 는 "아까 뭐가 있었지?"라고 잊어버리게 됩니다. 혹은 책상 위에 너무 많은 잡동사니가 쌓여 중요한 세부 사항 (예: 사람의 표정, 작은 글자) 을 놓치게 됩니다.

2. 해결책: "이벤트 중심의 2 단계 메모리 시스템"

EventMemAgent 는 이 문제를 해결하기 위해 두 개의 메모리 공간을 만들었습니다.

📝 단기 기억 (Short-Term Memory): "현장 취재반"

• 역할: 지금 당장 보고 있는 영상을 처리합니다.
• 비유: 마치 뉴스 취재반이 현장에 도착했을 때, 무작정 모든 장면을 찍는 게 아니라 '이벤트' 단위로 상황을 파악하는 것과 같습니다.
  • 예: "사람이 문을 여는 장면" = 하나의 이벤트.
  • 똑똑한 점: 같은 장면을 계속 찍으면 (예: 문이 열린 후 그대로 있는 10 초), redundant(중복된) 정보는 줄이고 가장 핵심적인 순간들만 간추려서 책상 (메모리) 에 둡니다. 이를 통해 책상이 꽉 차도 중요한 내용은 잃지 않습니다.

🗄️ 장기 기억 (Long-Term Memory): "정리된 도서관"

• 역할: 과거의 사건들을 체계적으로 보관합니다.
• 비유: 단기 기억이 꽉 차면, 그 사건을 도서관의 책장으로 옮깁니다. 이때 단순히 영상을 저장하는 게 아니라, **책 제목 (자막), 책 표지 (핵심 이미지), 그리고 목차 (사건 변화 로그)**를 만들어 정리합니다.
• 장점: 나중에 "어제 뭐가 있었지?"라고 물으면, AI 는 전체 영상을 다시 볼 필요 없이 제목이나 키워드로 검색해 필요한 책 (이벤트) 을 바로 꺼낼 수 있습니다.

3. 능동적인 탐정: "도구를 쓰는 AI"

이 시스템의 가장 큰 특징은 수동적으로 기다리는 게 아니라, 직접 정보를 찾아낸다는 점입니다.

• 비유: 이 AI 는 수사관과 같습니다.
  • 질문을 받으면, "아마도 저기 도서관에 답이 있겠지?"라고 생각하며 기억 검색 (Search Memory) 도구를 사용합니다.
  • 혹은 "글자가 너무 작아서 안 보이네?"라고 생각하면 OCR(문자 인식) 도구를 켜서 글자를 읽거나, 물체 탐지 도구를 써서 작은 물체를 찾아냅니다.
  • 기존 AI 는 "보이는 대로만 답한다"면, 이 AI 는 **"답을 찾기 위해 필요한 도구를 직접 꺼내 쓴다"**는 점이 다릅니다.

4. 스스로 배우는 훈련: "에이전트 강화 학습"

처음에는 이 AI 도 도구를 어떻게 써야 할지 몰라 헤맬 수 있습니다. 하지만 연구팀은 강화 학습 (Reinforcement Learning) 기술을 적용했습니다.

• 비유: 마치 게임에서 점수를 얻으며 배우는 캐릭터처럼, AI 가 틀리면 점수를 깎고, 정답을 찾으면 점수를 줍니다.
• 이 과정을 반복하면 AI 는 "어떤 질문에 어떤 도구를 써야 가장 빨리 정답을 낼지"를 스스로 터득하게 됩니다. 처음엔 막연하게 도구를 쓰다가, 나중에는 아주 효율적으로 도구를 활용하는 '고수'가 됩니다.

---

🌟 요약: 왜 이것이 중요한가요?

1. 무한한 영상을 기억할 수 있습니다: 책상 크기가 작아도, 중요한 '이벤트'만 잘 정리해서 무한한 영상을 다룰 수 있습니다.
2. 세부 사항을 놓치지 않습니다: 단순히 영상을 보는 게 아니라, 필요한 순간에 돋보기 (도구) 를 꺼내 글자나 작은 물체까지 확인합니다.
3. 스스로 판단합니다: "이건 기억에서 찾아야지", "저건 직접 확인해야지"라고 스스로 판단하며 행동합니다.

결론적으로, EventMemAgent 는 끝없이 이어지는 영상 속에서 중요한 사건을 잘 기억하고, 필요한 정보를 능동적으로 찾아내어 정확한 답을 주는 똑똑한 비서라고 할 수 있습니다. 이는 자율주행, 감시 시스템, 실시간 방송 분석 등 다양한 분야에서 큰 혁신을 가져올 것으로 기대됩니다.

기술 요약

EventMemAgent: 적응형 도구 사용을 위한 계층적 이벤트 중심 메모리를 활용한 온라인 비디오 이해

1. 문제 정의 (Problem)

온라인 비디오 이해 (Online Video Understanding) 는 자율 주행, 감시 시스템, 로봇 보조 등 다양한 실생활 응용 분야에서 핵심적인 과제입니다. 그러나 기존 멀티모달 대규모 언어 모델 (MLLM) 은 다음과 같은 근본적인 한계에 직면해 있습니다.

• 무한한 입력 vs 제한된 컨텍스트: 온라인 비디오는 잠재적으로 무한한 시각 스트림으로 구성되지만, MLLM 은 고정된 컨텍스트 윈도우 (Context Window) 만을 처리할 수 있습니다.
• 수동 처리의 한계: 기존 방법들은 주로 토큰 가지치기 (Token Pruning), 슬라이딩 윈도우, 외부 메모리 저장 등 수동적 (Passive) 정보 처리 전략에 의존합니다.
  • 이러한 방식은 시간이 지남에 따라 역사적 정보의 감쇠 (Decay) 와 손실을 초래합니다.
  • 단순한 유사도 기반 검색은 복잡한 추론에 필요한 의미론적 해석 가능성 (Semantic Interpretability) 이 부족합니다.
  • 방대한 양의 시각 토큰을 한 번에 처리할 때 미세한 세부 사항 (Fine-grained details) 을 정확하게 파악하는 데 어려움을 겪습니다.

2. 방법론 (Methodology)

저자들은 수동적인 처리에서 능동적 에이전트 (Active Agentic) 프레임워크로의 패러다임 전환을 제안하며, EventMemAgent를 개발했습니다. 이 프레임워크는 크게 세 가지 핵심 구성 요소로 이루어져 있습니다.

가. 계층적 메모리 모듈 (Hierarchical Memory Module)
무한한 비디오 스트림을 효율적으로 관리하기 위해 단기 및 장기 메모리를 결합한 이중 계층 구조를 도입했습니다.

• 단기 메모리 (Short-Term Memory, STM):
  • 이벤트 중심 온라인 분할 (Event-Centric Online Segmentation): 프레임 간의 회색조 히스토그램 상관관계를 분석하여 의미론적으로 일관된 '이벤트'의 경계를 동적으로 감지합니다.
  • 이벤트 단위 저수지 샘플링 (Event-granular Reservoir Sampling): 동일한 이벤트 내에서 정보의 중복성을 줄이기 위해, 이벤트가 계속될 경우 고정된 버퍼 크기 내에서 무작위 샘플링을 수행합니다. 이를 통해 단일 긴 이벤트가 컨텍스트 예산을 모두 소모하는 것을 방지하고, 무작위성을 유지하며 이벤트를 대표하는 프레임을 보존합니다.
• 장기 메모리 (Long-Term Memory, LTM):
  • 단기 메모리에서 밀려난 이벤트는 구조화된 튜플 (시각적 앵커, 캡션, 변화 로그) 형태로 장기 메모리에 아카이빙됩니다.
  • 이는 의미론적 단절을 방지하고, 과거 정보를 검색 가능하고 구조화된 형태로 영구적으로 보존합니다.

나. 다중 입자감지 툴킷 (Multi-granular Perception Toolkit)
에이전트가 능동적으로 정보를 수집할 수 있도록 다양한 도구를 통합했습니다.

• 메모리 검색: 시간적 범위 또는 의미론적 유사도를 기반으로 장기 메모리에서 관련 이벤트를 검색합니다.
• 세부 정보 추출 도구: OCR(텍스트 인식) 과 객체 감지 (Object Detection) 를 통해 시각적 앵커나 특정 프레임에서 미세한 증거 (텍스트, 작은 객체 등) 를 능동적으로 포착합니다.

다. 에이전트 강화 학습 (Agentic Reinforcement Learning)
에이전트가 도구 사용 전략과 추론 경로를 내재화하도록 **그룹 상대 정책 최적화 (GRPO)**를 적용한 강화 학습을 수행합니다.

• ReAct 패러다임: 에이전트는 '생각 (Thought) - 행동 (Action) - 관찰 (Observation)'의 반복적 추론 경로를 따릅니다.
• 내재화 (Internalization): 최종 답변의 정확도만을 보상으로 사용하여, 에이전트가 수동적인 프롬프트 엔지니어링에 의존하지 않고 스스로 적절한 도구 호출 시기와 방법을 학습하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 능동적 온라인 비디오 에이전트 프레임워크 제안: 작업을 분해하고 관련 정보를 반복적으로 지각함으로써 정밀한 이해를 가능하게 하는 EventMemAgent 를 개발했습니다.
2. 계층적 메모리 아키텍처 설계: 온라인 이벤트 분할과 저수지 샘플링을 결합한 단기 메모리와, 구조화된 이벤트 중심 튜플을 저장하는 장기 메모리를 통해 무한한 비디오 스트림을 효율적으로 관리합니다.
3. 강화 학습을 통한 도구 사용 전략 내재화: 에이전트 RL 을 통해 추론 및 도구 호출 전략을 에이전트의 고유 능력으로 통합하여, 고정된 하드웨어 제약 하에서도 무한한 스트림을 처리할 수 있음을 입증했습니다.

4. 실험 결과 (Results)

두 가지 주요 벤치마크 (OVO-Bench, StreamingBench) 에서 기존 모델들과 비교 평가되었습니다.

• OVO-Bench: 제한된 입력 (최대 32 프레임) 으로도 **60.75%**의 평균 정확도를 달성하여, 오픈소스 모델뿐만 아니라 GPT-4o(59.54%) 와 같은 독점 모델보다도 우수한 성능을 보였습니다. 특히 실시간 시각 지각 (Real-Time Visual Perception) 과 과거 추적 (Backward Tracing) 분야에서 큰 개선을 보였습니다.
• StreamingBench: 12 가지 실시간 이해 작업에서 **77.00%**의 평균 점수를 기록하여, 기존 온라인 비디오 에이전트 및 오프라인 MLLM 보다 경쟁력 있는 성능을 입증했습니다.
• Ablation Study:
  • 계층적 메모리 모듈이 고정 길이 메모리보다 성능이 우수함을 확인했습니다.
  • OCR 및 객체 감지 도구를 제거할 경우 성능이 저하되어, 다중 입자감지 툴의 중요성을 입증했습니다.
  • 강화 학습 전후 비교를 통해, 학습된 에이전트가 문제 해결을 위해 메모리 검색과 도구 호출을 유연하고 전략적으로 사용함을 확인했습니다.

5. 의의 및 결론 (Significance)

EventMemAgent 는 무한한 비디오 스트림과 제한된 MLLM 컨텍스트 윈도우 사이의 모순을 해결하는 새로운 패러다임을 제시합니다.

• 패러다임 전환: 단순한 정보 저장 및 검색을 넘어, 에이전트가 스스로 작업을 분해하고 능동적으로 증거를 수집하는 능동적 에이전트 (Active Agent) 방식을 온라인 비디오 이해에 성공적으로 적용했습니다.
• 효율성: 고정된 하드웨어 자원 내에서 장기적인 일관성을 유지하면서도 미세한 세부 사항을 정확하게 파악할 수 있는 효율적인 아키텍처를 제공합니다.
• 미래 전망: 이 연구는 동적인 시각 환경에서 지속적인 지각을 수행하는 자율 에이전트 개발에 중요한 기반을 마련하며, 향후 실시간 비디오 분석 및 로봇 공학 분야에서 중요한 역할을 할 것으로 기대됩니다.