기술 요약: MEMDREAMER

문제 정의

현재의 시각-언어 모델(Vision-Language Models, VLMs)은 수 시간 길이의 비디오를 처리할 때 심각한 병목 현상에 직면합니다. 주요 과제는 **토큰 폭발(token explosion)**과 **주의력 희석(attention dilution)**입니다.

• 토큰 폭발: 표준 프레임 레이트(예: 1 FPS)로 2시간 분량의 비디오를 처리하면 160만 개 이상의 토큰이 생성되며, 이는 가장 진보된 모델들의 컨텍스트 제한 범위를 초과합니다.
• 주의력 희석 및 "중간 소실(Lost in the Middle)": 기존의 엔드 투 엔드(end-to-end) 패러다임은 무차별적인 프레임 샘플링과 초장기 컨텍스트 창에 의존합니다. 이는 비디오를 거대한 토큰 스트림으로 평탄화하여, 중요한 추론 신호가 노이즈에 파묻히게 만듭니다. 모델은 장기 의존성(long-range dependencies)을 파악하는 데 어려움을 겪으며, 관련 정보가 방대한 중복 토큰들 사이에서 누락되는 "중간 소실" 현상을 겪습니다.
• 구조적 한계: 기존의 메모리 기반 접근 방식은 주로 평면적(flat)이거나 청크(chunk) 기반의 저장 방식을 사용하며, 이는 비디오 콘텐츠의 계층적 특성(플롯 $\to$ 장면 $\to$ 이벤트 $\to$ 액션)을 포착하지 못하고 필수적인 시공간적 및 인과적 연결 고리를 끊어버립니다.

방법론: MEMDREAMER

MEMDREAMER는 지각(perception)과 추론(reasoning)을 분리함으로써 패러다임의 전환을 도입합니다. 이 프레임워크는 긴 비디오 이해를 수동적인 토큰 흡수 작업에서 **에이전트 기반의 탐색 과정(agentic exploration process)**으로 변모시킵니다. 프레임워크는 두 개의 뚜렷한 단계로 구성됩니다.

1. 계층적 그래프 메모리 구축 (지각)

지각 모델($P$)은 비디오 스트림을 스트리밍 방식으로 처리하여 지속적인 순수 텍스트 형태의 계층적 그래프 메모리($G$)를 구축합니다. 이 메모리는 세 가지 층위의 조-세(coarse-to-fine) 토폴로지로 조직됩니다:

• 비디오 루트(Video Root): 제목, 주제, 핵심 엔티티를 포착하는 글로벌 요약.
• 슈퍼 이벤트(Super Events): 더 넓은 시간적 규모에 걸친 서사적 단계.
• 매크로 이벤트(Macro Events): 에피소드 수준의 요약.
• 로컬 서브그래프 (리프 티어/Leaf Tier): 각 매크로 이벤트는 다음을 포함하는 로컬 서브그래프로 인스턴스화됩니다:
  • 엔티티 노드(Entity Nodes): 지속적인 참조 대상(사람, 사물, 장소).
  • 마이크로 이벤트 노드(Micro-Event Nodes): 명시적인 시간적 범위를 가진 원자적 행동.
  • 토폴로지 엣지(Topological Edges): 이 노드들을 연결하는 세 가지 유형의 엣지:
    1. 공간 속성(Spatial-attribute): 정적 레이아웃 및 상호 참조.
    2. 주체-객체(Subject-object): 엔티티를 행동에 결합.
    3. 시간-인과(Temporal-causal): 마이크로 이벤트 간의 연대기적 진행 및 인과 관계.

구축 과정:

• 스트리밍 적응형 세그멘테이션(Streaming Adaptive Segmentation): 고정된 길이의 청크 대신, 시스템은 의미론적 기반의 슬라이딩 윈도우를 사용하여 매크로 이벤트가 자기 완결적이고 의미적으로 온전하도록 보장합니다.
• 하향식 서브그래프 추출(Downward Subgraph Extraction): 각 매크로 이벤트에 대한 미세한 시각적 세부 사항이 로컬 서브그래프로 추출됩니다.
• 상향식 계층적 집계(Upward Hierarchical Aggregation): 로컬 설명들이 증류되고 클러스터링되어 슈퍼 이벤트와 비디오 루트를 형성하며, 이를 통해 글로벌 내비게이션 백본을 생성합니다.

2. 에이전트 도구 증강 검색 (추론)

별도의 추론 모델($R$)은 관찰-추론-행동(Observation-Reason-Action) 루프를 통해 텍스트 기반 메모리 $G$와 상호작용합니다. 이 모델은 추론 중에 가공되지 않은 비디오 프레임에 접근하지 않습니다. 대신, 다음 세 가지 카테고리로 구성된 전용 **에이전트 도구 뱅크(Agentic Tool Bank)**를 활용합니다:

• 내비게이션 도구(Navigation Tools): 글로벌 컨텍스트에서 특정 세부 사항으로 이동하기 위한 수직적 횡단(예: GetSummary, GetSuperEvent, GetMacroEvent, GetSubgraph)을 가능하게 합니다.
• 검색 도구(Search Tools): 의미론적 유사성(SearchNodes)이나 시간 필터링(SearchByTime)을 통해 빠른 노드 국지화를 가능하게 합니다.
• 그래프 순회 도구(Graph Traversal Tools): 논리적 체인을 따라 다중 홉(multi-hop) 추론(GetRelationGraph)을 수행하여 인과적 또는 공간적 관계를 추적합니다.

각 단계에서 모델은 도구를 선택하고 실행하며, 자신의 궤적을 업데이트하기 전에 관찰된 내용을 오직 작업에 유효한 증거 단서($c_t$)로만 **증류(distill)**합니다. 이는 무관한 텍스트 노이즈의 축적을 방지합니다.

주요 기여

1. 분리된 패러다임: 긴 비디오 이해를 위해 지각(메모리 구축)과 추론(에이전트 검색)을 명시적으로 분리하여 컨텍스트 창의 한계를 극복한 최초의 프레임워크입니다.
2. 계층적 그래프 메모리: 글로벌 서사 구조와 로컬 시공간/인과 관계를 모두 보존하는 새로운 3단계 아키텍처를 제시하여, 평면적 또는 청크 기반 저장 방식의 한계를 해결했습니다.
3. 에이전트 기반 검색 메커니즘: 수동적인 소비에서 능동적인 다단계 탐색으로 이해의 패러다임을 전환하는 도구 증강 루프를 제공하여, 복잡한 논리 체인을 탐색할 수 있게 합니다.
4. 에이전트 상관관계의 발견: 본 논문은 VLM의 내재적 에이전트 추론 능력(AIME 2025와 같은 논리 벤치마크로 측정)과 긴 비디오 이해 성능 사이의 강력한 양의 선형 상관관계를 실증적으로 입증했습니다. 이는 에이전트 역량을 확장하는 것이 멀티모달 이해의 새로운 패러다임임을 시사합니다.

실험 결과

MEMDREAMER는 네 가지 주요 벤치마크인 LVBench, LongVideoBench, Video-MME, EgoSchema에서 평가되었습니다.

• 최첨단(SOTA) 성능: 이 프레임워크는 모든 벤치마크에서 SOTA 결과를 달성했습니다. LVBench에서 Gemini-3.1-Pro 백본을 사용하여 90.7%의 정확도를 기록했으며, 인간 전문가(94.4%)와의 격차를 단 3.7 포인트로 좁혔습니다.
• 효율성: MEMDREAMER는 추론 컨텍스트 창을 엔드 투 엔드 모델이 요구하는 전체 컨텍스트 주입량의 단 **2%**로 제한합니다(약 6K 토큰 vs. 240K–784K 토큰).
• 성능 향상: 동일한 백본을 사용하는 엔드 투 엔드 베이스라인과 비교했을 때, MEMDREAMER는 LVBench에서 절대적인 정확도 상승을 보여주었습니다. 예를 들어, Qwen3-VL은 63.6%에서 84.8%로 향상되었습니다.
• 상관관계 분석: 통계 분석 결과, 에이전트 추론 점수와 MEMDREAMER 패러다임 하에서의 긴 비디오 성능 사이에는 피어슨 상관계수 0.90 ($p < 0.01$)이 나타난 반면, 엔드 투 엔드 모델에서는 0.70 ($p = 0.052$)에 그쳤습니다. 이는 분리된 구조가 모델의 추론 능력을 완전히 활용할 수 있게 함을 확인시켜 줍니다.
• 절제 연구(Ablation Studies):
  • 계층 구조나 그래프 엣지를 제거하면 성능이 크게 저하되었습니다.
  • 전체 도구 증강 검색은 정적 임베딩 검색보다 20.2 포인트 더 높은 성능을 보였습니다.
  • 시스템은 견고함을 입증했습니다. 지각 모델을 교체해도 최종 성능에 미치는 영향이 미미했으며, 이는 지각 단계에서의 높은 오차 허용 능력을 나타냅니다.

의의

본 논문은 MEMDREAMER가 멀티모달 메모리 시스템을 위한 새로운 설계 원칙을 확립한다고 주장합니다. 지각과 추론을 분리함으로써 긴 컨텍스트 처리의 구조적 병목 현상을 극복합니다. 에이전트 역량의 확장이 긴 비디오 이해 성능과 직접적으로 상관된다는 발견은 미래 연구를 위한 새로운 최적화 방향을 제시합니다. 즉, 단순히 컨텍스트 창을 확장하는 것이 아니라, 미래의 VLM은 구조화된 메모리 환경 내에서 에이전트의 검색 및 추론 루프를 강화하는 데 집중해야 합니다. 이 접근 방식은 토큰 폭발의 막대한 비용 없이 체화된 지능(embodied intelligence)과 오픈 월드 상호작용을 향한 확장 가능한 경로를 제공합니다.