Agentic Very Long Video Understanding

이 논문은 스마트 글래스 등 웨어러블 기기를 위한 장기간의 자전적 비디오 이해를 위해 개체 장면 그래프와 하이브리드 검색 도구를 활용한 에이전트 프레임워크 'EGAgent'를 제안하여, 기존 방법의 한계를 극복하고 EgoLifeQA 및 Video-MME(Long) 데이터셋에서 최첨단 성능을 달성함을 보여줍니다.

핵심

이 논문은 **"매일 24 시간 내내 안경에 카메라를 달고 사는 AI 비서"**를 상상하며 쓴 연구입니다.

우리가 쓰는 스마트폰 비서 (시리, 빅스비 등) 는 "내일 날씨 어때?"라고 물으면 대답해 주지만, "어제 오후 3 시에 내가 누구와 커피를 마셨고, 그다음에 어떤 상점에 갔었지?" 같은 아주 길고 복잡한 과거의 기억을 찾아내기는 어렵습니다. 특히 하루 종일 찍힌 영상 (수십 시간 분량) 을 모두 기억하고 분석하는 것은 기존 AI 에게는 너무 힘든 일입니다.

이 논문은 이 문제를 해결하기 위해 EGAgent라는 새로운 시스템을 제안합니다. 핵심 아이디어를 일상적인 비유로 설명해 드릴게요.

---

🕵️‍♂️ 1. 문제: "기억력 과부하"에 걸린 AI

기존 AI 는 마치 한 번에 책 한 장만 읽을 수 있는 독서광과 같습니다. 책 (영상) 이 너무 두꺼우면 (수십 시간 분량), 처음부터 끝까지 다 읽으려다 머리가 터져버립니다. 그래서 중요한 부분만 대충 훑어보거나, 질문과 딱 맞는 부분만 찾아보려고 하지만, **"지난주에 내가 물병을 몇 번이나 썼지?"**처럼 여러 날에 걸쳐 반복되는 패턴을 찾거나, **"A 와 B 가 대화한 후 C 를 만났을 때"**처럼 여러 사건을 연결하는 복잡한 추론은 잘 못합니다.

🧩 2. 해결책: "인생 지도"를 그리는 EGAgent

연구팀은 이 문제를 해결하기 위해 AI 에게 세 가지 강력한 도구를 주었습니다. 이를 하나의 시스템으로 묶어 EGAgent라고 부릅니다.

🗺️ 도구 1: "인생 지도" (Entity Scene Graph)

이게 이 연구의 핵심입니다.

• 비유: 우리가 살면서 겪은 모든 일들을 지도로 그려놓은 것입니다.
• 작동 방식: AI 는 영상을 보며 "사람 (누구)", "장소 (어디)", "사물 (무엇)"을 찾고, 그들 사이의 관계를 선으로 연결합니다.
  • 예: "제이크 (사람) ↔ 대화함 ↔ 수어 (사람)" (시간: 오후 3 시)
  • 예: "제이크 (사람) ↔ 사용함 ↔ 안경 (사물)" (시간: 오후 4 시)
• 장점: 이 지도는 시간이 지남에 따라 계속 그려집니다. AI 는 영상 전체를 다시 보지 않아도, 이 지도를 뒤져서 "제이크가 수어와 대화한 모든 시간"을 순식간에 찾아낼 수 있습니다. 마치 친구들의 전화번호부나 SNS 친구 목록을 뒤지는 것과 비슷합니다.

🔍 도구 2: "초고속 검색기" (시각 및 음성 검색)

• 비유: 도서관에서 책 내용을 검색하는 것처럼, 영상 속 화면과 대사를 검색합니다.
• 작동 방식: "춤을 추는 장면"이나 "물병을 들었던 소리"를 찾아냅니다. 하지만 이 검색만으로는 "누가" 춤을 추었는지, "언제" 그 일이 반복되었는지 연결하기 어렵습니다.

🧠 도구 3: "현명한 계획가" (Planning Agent)

• 비유: 복잡한 사건을 해결하는 탐정이나 프로젝트 매니저입니다.
• 작동 방식: 사용자가 "지난주에 내가 물병을 몇 번 썼어?"라고 물으면, 이 탐정은 바로 답을 말하지 않습니다. 대신 다음과 같이 계획을 세웁니다.
  1. 1 단계: '인생 지도'에서 '물병'과 '사용함' 관계를 찾아보세요.
  2. 2 단계: 찾은 시간대에 해당하는 '영상'을 확인해서 정말 물병을 들었는지 확인하세요.
  3. 3 단계: 찾은 '대사'를 확인해서 물병을 언급했는지 확인하세요.
  4. 최종: 모든 정보를 합쳐서 답을 내세요.

🏆 3. 결과: 왜 이것이 혁신적인가요?

이 시스템을 테스트해 보니, 기존 AI 들이 답답해하던 "복잡한 추론" 문제에서 압도적인 성과를 냈습니다.

• 기존 AI: "지난주에 내가 물병을 몇 번 썼지?" → "모르겠어요. 영상이 너무 길어요." (또는 엉뚱한 답)
• EGAgent: "지난주에 총 12 번 썼어요. 특히 화요일 아침에 3 번, 목요일 저녁에 2 번 썼는데, 그중 한 번은 수어 씨와 함께였어요."

이는 마치 기억력이 좋은 친구가 당신의 일기장 (지도), 녹음 파일 (음성), 그리고 사진첩 (영상) 을 모두 뒤져서 정확한 답을 찾아주는 것과 같습니다.

💡 4. 요약: 우리가 얻을 수 있는 것

이 기술이 완성되면, 언제나 착용하는 스마트 안경을 통해 AI 가 당신의 삶을 완벽하게 기억해 줄 수 있게 됩니다.

• "어제 내가 어디에 열쇠를 두었지?"
• "지난달에 내가 만난 사람 중 누구와 다시 약속을 잡아야 했지?"
• "내가 매일 아침 어떤 습관을 가지고 있는지 분석해 줘."

이런 질문들에 대해 AI 가 **"네, 기억나요!"**라고 정확하게 대답해 주는 시대가 머지않아 왔다는 뜻입니다. 이 연구는 단순히 영상을 보는 것을 넘어, 시간을 초월하여 당신의 삶을 이해하고 도와주는 진정한 AI 비서를 만드는 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 항상 켜져 있는 (Always-on) 개인 AI 비서 (예: Ray-Ban Meta Glasses) 는 사용자의 일상을 장기간 기록합니다. 이러한 비서가 유용한 도움을 제공하려면 단편적인 사건이 아닌, **수일에서 수주에 걸친 연속적인 사용자 경험 (Longitudinal Video)**을 이해하고 기억해야 합니다.
• 도전 과제:
  • 문맥 창 제한: 대형 언어 모델 (LLM) 은 긴 비디오 전체를 한 번에 처리할 수 있는 컨텍스트 윈도우 제한이 있습니다.
  • 복합 추론 부족: 기존 방법들은 짧은 비디오나 독립적인 클립에는 적합하지만, 여러 날에 걸쳐 반복되는 행동, 특정 인물/사물 간의 관계 추적, 다단계 (Multi-hop) 추론이 필요한 질의 (예: "이번 주에 내가 물을 마신 횟수는?", "지난번 차를 탔을 때 누구와 함께 있었나?") 에는 취약합니다.
  • 시간적 일관성: 긴 시간 동안의 엔티티 (인물, 사물, 장소) 정체성을 유지하고 관계를 추적하는 것이 어렵습니다.

2. 방법론 (Methodology)

저자들은 EGAgent라는 에이전트 기반 프레임워크를 제안하며, 이는 **엔티티 씬 그래프 (Entity Scene Graph)**를 핵심으로 작동합니다.

A. 엔티티 씬 그래프 (Entity Scene Graph)

• 구조: 비디오에서 추출된 텍스트 (오디오 대본, 장면 설명) 를 기반으로 그래프를 구성합니다.
  • 노드 (Nodes): 사람 (Person), 사물 (Object), 장소 (Location).
  • 엣지 (Edges): 엔티티 간의 관계 (Talks-to, Interacts-with, Uses, Mentions).
  • 시간 주석 (Temporal Annotation): 각 엣지는 관계가 성립하는 시간 구간 ($t_{start}, t_{end}$) 으로 주석이 달립니다. 이는 그래프가 시간에 민감하게 작동하고 점진적으로 업데이트될 수 있게 합니다.
• 저장: SQLite 데이터베이스에 튜플 형태로 저장되어 효율적인 SQL 쿼리가 가능합니다.

B. EGAgent 파이프라인 (에이전트 프레임워크)

시스템은 **계획 에이전트 (Planning Agent)**가 중심이 되어 다음과 같은 단계를 거칩니다 (Algorithm 1 참조):

1. 질의 분해 (Decomposition): 복잡한 자연어 질의 ($Q$) 를 하위 작업 (Sub-tasks) 시퀀스로 분해합니다.
2. 도구 호출 및 검색 (Retrieval): 각 하위 작업에 대해 세 가지 도구를 활용하여 정보를 검색합니다.
   • 시각 검색 (Visual Search): 1 FPS 로 샘플링된 프레임의 임베딩과 속성 (시간, 장소) 을 기반으로 의미 검색 및 속성 필터링을 수행합니다.
   • 오디오 대본 검색 (Audio Transcript Search): 대본 텍스트를 검색합니다 (LLM 기반 또는 BM25 기반).
   • 엔티티 그래프 검색 (Entity Graph Search): 가장 핵심적인 도구로, 계획 에이전트가 SQL 쿼리를 생성하여 엔티티 그래프에서 특정 시간, 인물, 관계를 검색합니다. "Strict-to-Relaxed" 전략을 사용하여 정확한 매칭이 없으면 시간 범위나 관계 조건을 점진적으로 완화하여 Recall 을 높입니다.
3. 분석 및 메모리 업데이트 (Analysis & Memory): 검색된 정보를 **분석기 도구 (Analyzer Tool)**가 필터링하고 추론하여 **작업 메모리 (Working Memory)**에 축적합니다.
4. 최종 답변 생성 (Synthesis): 모든 하위 작업이 완료되면, VQA 에이전트가 축적된 교차 모달 (Cross-modal) 증거와 원래 질의를 바탕으로 최종 답변을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 엔티티 그래프 표현: 매우 긴 시간 범위에 걸친 시점 비디오 이해를 위해, 시간 주석이 포함된 엔티티 씬 그래프를 도입하여 구조화된 교차 모달 추론을 가능하게 했습니다.
2. 에이전트 프레임워크 (EGAgent): 엔티티 그래프 검색, 시각 검색, 오디오 검색 도구를 통합한 에이전트 시스템을 설계했습니다. 이는 기존 RAG 기반 방법보다 복잡한 다단계 추론에 효과적입니다.
3. 성능 개선: EgoLifeQA 벤치마크에서 기존 최첨단 (SOTA) 방법론을 크게 상회하는 성능을 달성했습니다. 특히 다단계 관계 추론이 필요한 'RelationMap' 및 'TaskMaster' 카테고리에서 획기적인 개선을 보였습니다.

4. 실험 결과 (Results)

• EgoLifeQA 벤치마크:
  • 성능: EGAgent (Gemini 2.5 Pro 백본) 는 **57.5%**의 정확도를 기록하여 기존 SOTA 대비 20.6% 향상을 보였습니다.
  • 세부 카테고리: 'RelationMap' (관계 매핑) 에서 32%, 'TaskMaster' (작업 마스터) 에서 39.7% 의 큰 폭의 개선을 이루었습니다. 이는 엔티티 그래프를 통한 구조화된 추론의 효과를 입증합니다.
  • 비교: 동일한 백본 (GPT-4o) 을 사용한 기존 에이전트 (EgoButler, VideoAgent 등) 보다 일관되게 높은 성능을 보였습니다.
• Video-MME (Long) 벤치마크:
  • 30 분~60 분 길이의 비디오에 대해 **74.1%**의 정확도를 기록하여 경쟁력 있는 성능을 보였습니다.
  • 효율성: AdaVideoRAG 와 유사한 성능을 내면서, 처리하는 프레임 수는 10 배 이상 적습니다 (1 FPS → 50 프레임만 분석).

5. 의의 및 결론 (Significance)

• 상용화 가능성: 웨어러블 기기를 통한 '항상 켜진' AI 비서의 실현을 위한 핵심 기술로, 사용자가 수주 간의 생활 기록을 자연스럽게 질의하고 답변을 얻을 수 있는 토대를 마련했습니다.
• 구조적 추론의 중요성: 단순한 프레임 샘플링이나 텍스트 요약만으로는 해결하기 어려운 '시간에 따른 엔티티 관계 추적' 문제를 해결하기 위해, 엔티티 그래프와 같은 구조화된 표현이 필수적임을 입증했습니다.
• 교차 모달 추론: 시각, 오디오, 그래프 데이터를 통합하여 검색하고 추론하는 에이전트 방식이 매우 긴 비디오 이해의 새로운 표준이 될 수 있음을 시사합니다.

결론적으로, EGAgent 는 긴 시계열 비디오에서 발생하는 시간적, 관계적 복잡성을 엔티티 그래프와 에이전트 계획 능력을 결합하여 해결함으로써, 차세대 개인 AI 비서의 핵심 기술로 평가받고 있습니다.