기술 요약: MERIT (추론 시점의 시간적 확장을 포함한 멀티 키 에피소드 검색)

문제 정의

멀티모달 거대 언어 모델(MLLM)의 급격한 발전으로 인해 비디오 이해의 영역이 짧은 클립에서 몇 시간 또는 며칠에 달하는 초장기 스트림으로 이동했습니다. 그러나 이러한 초장기 비디오를 엔드 투 엔드(end-to-end) 방식으로 직접 처리하는 것은 컨텍스트 윈도우의 제한으로 인해 계산적으로 불가능합니다. RAG(검색 증강 생성) 프레임워크가 해결책을 제시하지만, 기존 방식들은 초장기 설정에서 두 가지 결정적인 비효율성을 겪습니다:

1. 쿼리 불가지론적 오버헤드(Query-Agnostic Overhead): 기존 방법들(예: 계층적 요약 또는 그래프 기반 메모리)은 다운스트림 쿼리를 알기도 전에 고수준의 의미적 관계와 구조를 사전 모델링하는 데 상당한 계산 자원을 투자합니다. 이는 특정 정보 요구사항과 일치하지 않을 수 있는 "쿼리 불가지론적 추상화"를 강요합니다.
2. 지능의 오배분(Intelligence Misallocation): 복잡하고 정적인 메모리 구축(예: 세그먼트를 일 단위 요약으로 병합하거나 지식 그래프를 구축하는 작업)에 강력한 MLLM을 사용하는 것은, 나중에 수행할 수 있는 작업에 고도의 추론 능력을 낭비하는 것입니다.

저자들은 병목 현상이 사전에 복잡한 의미 구조를 구축하는 것에서, 쿼리가 알려졌을 때 의미적 구성을 추론 시점으로 미루고 고재현율(high-recall) 검색을 통해 일관되게 적절한 세밀한 증거를 전달하는 것으로 전환되어야 한다고 주장합니다.

방법론: MERIT

MERIT은 초장기 비디오 이해를 위해 설계된 경량 에이전트 기반 프레임워크입니다. 이 모델은 에피소드 메모리 구축(쿼리 불가지론적)과 에이전트 기반 검색 및 답변(쿼리 인지적)이라는 단순한 2단계 패러다임을 채택합니다.

1. 에피소드 메모리 구축 (1단계)

계층적 그래프나 다중 스케일 요약을 구축하는 대신, MERIT은 비디오 $V$를 중복되지 않는 30초 클립으로 분할합니다. 각 클립에 대해 밀집 캡션(dense caption)을 생성하고 일련의 **멀티 키(Multi-keys, $K_i$)**를 추출합니다.

• 멀티 키 표현: 각 클립은 다양한 관점을 포착하기 위해 네 가지의 서로 다른 보완적인 키로 인덱싱됩니다:
  • 이벤트/액션 키(Event/Action Key): 관찰 가능한 물리적 행동 및 상호작용.
    • 대화/언급 키(Dialogue/Mention Key): 발화 내용, 명령 또는 특정 단어.
    • 객체 키(Object Key): 취급되거나 요청되거나 이동된 특정 아이템 및 상태 변화를 포함.
    • 요약 키(Summary Key): 핵심 서사에 대한 키워드 스타일의 압축된 추상화.
• 메모리 저장소: 메모리 $M$은 키($K_i$)가 검색을 가능하게 하고 값($v_i, d_i$)이 가공되지 않은 증거를 제공하는 단순한 키-값 저장소입니다.

2. 에이전트 기반 검색 및 답변 (2단계)

추론 시점에 시스템은 반복적인 멀티 턴 루프로 작동합니다:

• 멀티 키 검색: 솔버(solver)는 검색 쿼리 $q^{(j)}$를 생성하고 문장 임베딩 모델을 사용하여 저장된 키와 매칭합니다. 검색 관련성은 주어진 클립에 대한 모든 키에 대한 **최대 유사도(Maximum Similarity)**에 의해 결정됩니다:
  $$S_i^{(j)} = \max_{k \in K_i} \text{sim}(E(q^{(j)}), E(k))$$
  이를 통해 클립의 키 중 하나라도 쿼리와 일치하면 해당 클립이 검색될 수 있어 재현율이 크게 향 향상됩니다.
• 이웃 필터링(시간적 확장): 증거가 여러 인접한 순간에 걸쳐 나타날 수 있음을 인식하여, MERIT은 검색된 30초 앵커에만 의존하지 않습니다. 검색된 클립 세트가 확인되면, 시스템은 인접한 클립(예: $\pm \Delta$ 클립)을 포함함으로써 시간적 컨텍스트를 동적으로 확장합니다.
• 쿼리 인지적 필터링: 솔버는 이 확장된 로컬 컨텍스트 내에서 작동하는 필터 역할을 수행하며, 특정 쿼리에 관련된 정보만을 추출합니다. 이를 통해 사전 계산된 글로벌 구조 없이도 일관된 컨텍스트를 재구성합니다.
• 반복적 추론: 에이전트는 축적된 증거가 충분한지 평가합니다. 충분하지 않다면 쿼리를 개선하여 검색을 반복하고, 충분하다면 증거를 통합하여 최종 답변을 생성합니다.

주요 기여

1. 지능 할당의 패러다임 전환: 본 논문은 쿼리 불가지론적인 전처리 과정에 투자하는 대신, 의미적 구성을 추론 시점으로 미루는 것을 제안합니다. 이는 작업이 지정되었을 때만 MLLM의 전체 추론 능력을 활용하도록 합니다.
2. 단순하면서 효과적인 멀티 키 인덱싱: 최소한의 에피소드 세그먼트에 네 가지 이질적인 키를 부착함으로써, MERIT은 계층적 또는 그래프 기반 메모리 구축의 계산적 오버헤드 없이 높은 재현율의 검색을 달로합니다.
3. 온디맨드 시간적 확장: "이웃 필터링" 메커니즘은 추론 시점에 검색된 세그먼트 주변으로 시간적 범위를 확장함으로써 더 넓은 의미적 컨텍스트를 포착하며, 이를 통해 글로벌 메모리 구축의 막대한 비용을 피합니다.
4. 미니멀리스트 아키텍처: MERIT은 값비싼 다단계 메모리 통합의 필요성을 제거하고, 대신 단순한 키 매칭 메커니즘과 동적 컨텍스트 확장에 의존합니다.

실험 결과

MERIT은 세 가지 롱 비디오 벤치마크인 EgoLifeQA(초장기, 1인칭 시점), LVBench(시간 단위), **Video-MME (Long)**에서 평가되었습니다.

• 최첨단(SOTA) 성능: MERIT은 모든 벤치마크에서 새로운 SOTA 결과를 달성했습니다.
  • EgoLifeQA에서 GPT-5를 솔버로 사용했을 때, MERIT은 **71.2%**의 평균 정확도를 기록하며 이전 SOTA(GPT-5를 사용한 WorldMM)보다 +5.6% 높은 성능을 보였습니다.
  • LVBench에서 MERIT(GPT-5)은 **71.8%**에 도달하여 이전 SOTA를 +9.9% 앞질렀습니다.
  • **Video-MME (Long)**에서 MERIT은 **77.7%**를 달성하여 WorldMM(76.6%)을 능가했습니다.
• 효율성: MERIT은 메모리 구축에서 상당한 효율성 이득을 입증했습니다. WorldMM과 비교했을 때, 입력 토큰은 8.4배, 출력 토큰은 8.6배 줄였으며, LLM 호출 횟수를 약 23,700회에서 약 6,200회로 감소시켰습니다.
• 검색 품질: MERIT은 계층적 방식(EgoRAG: 0.15) 및 그래프 기반 방식(WorldMM: 0.53) 베이스라인보다 높은 적중률(Hit Rate)(0.56)을 달성하여, 정밀하고 세밀한 증거의 검색이 QA 성능에 결정적임을 확인했습니다.
• 절제 연구(Ablation Studies):
  • 이웃 필터링: 이 구성 요소를 제거하면 특히 더 넓은 컨텍스트를 요구하는 카테고리(예: RelationMap, HabitInsight)에서 성능이 크게 하락했습니다.
  • 멀티 키 조합: 네 가지 키를 동시에 사용할 때 가장 높은 정확도를 보였으며, 이는 키들의 상호 보완성을 입증합니다.
  • 솔버 의존성: 성능은 더 강력한 솔버(예: GPT-5 vs Qwen3-VL-8B)에 따라 크게 확장되었으며, 이는 메모리는 경량화하되 복잡한 추론은 솔버가 담당해야 한다는 가설을 뒷받침합니다.

의의 및 주장

본 논문은 의미적 구성을 쿼리 시점으로 미루는 것이 쿼리 불가지론적인 전처리에 투자하는 것보다 더 원칙적이고 효과적인 접근 방식이라고 주장합니다. 결과는 다음을 시사합니다:

1. 단순함이 효과적이다: 단순한 에피소드 멀티 키 메모리와 온디맨드 시간적 확장의 결 조합은 복잡한 계층적 및 그래프 기반 아키텍처보다 뛰어난 성능을 낼 수 있습니다.
2. 검색이 병목이다: 사전 계산된 의미 구조보다 세밀한 증거의 고재현율 검색이 더 중요합니다.
3. 확장성: MERIT은 비디오 길이가 증가함에 따라 복잡한 글로벌 메모리 구조를 업데이트하는 연쇄적인 계산 비용을 피하기 때문에 임의의 길이의 비디오에 대해 매우 높은 확장성을 가집니다.

저자들은 MERIT을 미래의 초장기 비디오 이해를 위한 실용적이고 확장 가능한 기초로 자리매김하며, 복잡한 추론에 필요한 "지능"은 쿼리가 필요한 추상화를 정의하는 추론 단계에 할당되어야 함을 강조합니다.