기술 요약: EGOMEMREASON

문제 제기

스마트 안경과 구체화된 에이전트(embodied agents)를 포함한 차세대 시각 보조 도구는 하루 또는 일주일에 걸친 연속적인 시각 스트림에 대해 추론해야 합니다. 초장편 비디오에서는 관련 정보가 수 시간 또는 수 일에 걸쳐 희소하게 분포되어 있어 근본적인 기억 과제를 야기합니다: 모델은 시간에 걸쳐 정보를 축적하고, 이전 상태를 회상하며, 시간적 순서를 추적하고, 반복되는 패턴을 추상화해야 합니다.

기존의 일주일 분량 비디오 벤치마크 (예: EgoLife, MM-Lifelong) 는 주로 순간 위치 특정이나 전역 요약과 같은 지각 및 인식 작업을 대상으로 합니다. 이러한 벤치마크는 일반적으로 10 분 미만의 짧은 시간 창 내에서 추론을 요구하거나 단일 순간 검색에 의존합니다. 이는 여러 날에 걸쳐 분산된 증거를 통합하여 질문에 답해야 하는 기억 기반 추론의 구체적인 요구 사항을 해결하지 못합니다. 현재 모델들은 정보를 선택적으로 축적하고, 긴 시간 범위 내에서 시간적 일관성을 유지하며, 희소하고 반복된 관측 사이를 구분하는 데 어려움을 겪고 있습니다.

방법론

벤치마크 설계: EGOMEMREASON

저자들은 일주일 분량의 자아 중심 (egocentric) 비디오 이해를 위한 포괄적인 벤치마크인 EGOMEMREASON을 소개합니다. 이 벤치마크는 장시간 기억을 세 가지 상호 보완적인 유형으로 분해하여 각각 고유한 추론 작업을 대상으로 합니다:

1. 개체 기억 (Entity Memory): 여러 날에 걸쳐 객체 상태가 어떻게 진화하고 변화하는지 추적하는 데 중점을 둡니다.
   • 누적 상태 추적: 수 시간 또는 수 일에 걸쳐 분리된 관측 사이에서 객체의 위치나 상태가 어떻게 변하는지 식별합니다 (예: 조리대에서 싱크대로, 그리고 테이블로 이동하는 그릇).
   • 시간적 계수: 특정 쿼리 타임스탬프까지 관찰된 카테고리별 고유 인스턴스를 계수하며, 이는 개체 인스턴스에 대한 전역 재고 관리가 필요합니다.
2. 사건 기억 (Event Memory): 수 시간 또는 수 일에 걸쳐 분리된 활동을 회상하고 순서대로 배열하는 데 중점을 둡니다.
   • 사건 순서화: 서로 다른 날에서 추출된 사건들을 올바른 시간적 순서로 배열합니다.
   • 사건 연결: 이전 입력에서 맥락적 제약 (위치, 활동 유형) 을 만족하는 특정 사건을 식별하며, 이는 긴 간격에 걸친 추론을 요구합니다.
3. 행동 기억 (Behavior Memory): 일주일 전체에 걸쳐 희소하고 반복된 관측으로부터 반복되는 패턴을 추상화하는 데 중점을 둡니다.
   • 공간적 선호도 추론: 사람이 일반적으로 활동을 수행하는 위치와 같은 습관적 연관성을 추론합니다.
   • 활동 패턴 추론: 학습된 행동 패턴을 기반으로 가능한 다음 상태를 예측합니다 (예: 점심 식사 후 발생하는 일).

구축 파이프라인

이 벤치마크는 일주일 분량의 연속적인 자아 중심 녹화 데이터셋인 EgoLife를 기반으로 한 4 단계 파이프라인을 사용하여 구축되었습니다:

1. 증거 준비: 원시 비디오는 30 초 클립으로 분할되며, 강력한 MLLM(GPT-5) 에 의해 처리되어 밀집된 객체 중심 캡션과 계층적 사건 요약 (3 분, 2 시간, 일 단위 세분성을 포괄) 을 생성합니다.
2. 쿼리 생성: 특정 쿼리 타임스탬프로 제한된 객관식 질문을 생성하는 작업별 생성기 (GPT-5.2 사용) 를 통해 과거 관측만 접근 가능하도록 보장합니다. 방해 요소 (distractors) 는 유사한 맥락에서 생성되어 비자명한 난이도를 확보합니다.
3. 자동 필터링: 후보들은 "블라인드 테스트"(시각 입력 없이 답변) 를 거쳐 텍스트 누출 사례를 제거하고, 시간적 근거 (쿼리 시간 이전에 증거가 존재하는지 확인) 를 검증받습니다.
4. 인간 검증: 주석 작성자가 쿼리 시간 맥락과 증거 클립에 대해 질문을 검토하여 명확성, 답변 정확도 및 옵션 품질을 평가합니다. 초기 후보 중 약 15% 만이 이 엄격한 과정을 통과합니다.

최종 데이터셋은 세 가지 기억 유형과 여섯 가지 핵심 과제를 아우르는 500 개의 질문으로 구성됩니다. 평균적으로 각 질문은 5.1 개의 서로 다른 비디오 세그먼트를 집계하고 25.9 시간에 달하는 비디오 시간을 거슬러 올라가야 합니다.

평가 설정

저자들은 세 가지 패러다임에 걸쳐 17 개의 시스템을 평가했습니다:

• 범용 MLLM: (예: Qwen-3-VL, InternVL3.5, GPT-5, Gemini-3-Flash/Pro).
• 비디오 특화 MLLM: (예: LongVA, InternVideo-2.5, VideoLLaMA3, Molmo2).
• 에이전트 비디오 프레임워크: (예: SiLVR, Ego-R1, WorldMM, AVP).

평가 지표는 여섯 가지 능력 차원에 걸친 정확도와 전체 성능을 포함합니다.

주요 결과

전체 성능

장시간 기억 추론은 여전히 중요한 미해결 과제로 남아 있습니다. 가장 성능이 우수한 모델인 Gemini-3-Flash조차도 전체 정확도가 **39.6%**에 불과했습니다. 어떤 모델도 단일 능력 차원에서 51% 이상의 정확도에 도달하지 못했습니다.

기억 유형별 병목 현상

분석은 세 가지 기억 유형이 근본적으로 다른 이유로 실패함을 보여주며, 모델 크기 확장만으로는 부족함을 시사합니다:

• 개체 기억: **세밀한 시각적 근거 (fine-grained visual grounding)**와 장문맥 모델링의 결합이 병목이 됩니다. 텍스트 중심 추론에 크게 의존하는 모델 (예: LongVA) 은 낮은 성능 (<25%, 시간적 계수 기준) 을 보인 반면, 픽셀 단위 근거 사전 학습을 가진 모델 (예: Molmo2-8B) 은 우수한 성능을 발휘했습니다.
• 사건 기억: 장거리 시간적 일관성이 병목이 됩니다. 최상위 모델조차도 수 일에 걸쳐 분리된 사건들을 순서대로 배열하거나 연결하는 데 어려움을 겪었으며, 시간 범위가 증가함에 따라 정확도가 급격히 하락했습니다. 이는 이전 벤치마크에서의 단일 사건 검색과 높은 성능 대비되는 점입니다.
• 행동 기억: 희소 반복 증거에 대한 추상화가 병목이 됩니다. 모델들은 반복되는 패턴을 노이즈와 구분하는 데 어려움을 겪었으며, 관찰된 빈도를 집계하기보다는 종종 고정관념에 의존했습니다.

제거 실험 (Ablation Studies)

• 시간적 인증: 증거 범위 (시간적 인증) 가 증가함에 따라 정확도는 단조롭게 감소합니다. 사건 기억에서 감소 폭이 가장 컸습니다.
• 보조 입력: 대본이나 캡션을 추가하는 것은 미미하거나 부정적인 효과만 있었습니다. 캡션은 종종 시간적 연속성을 분열시켰으며, 대본은 행동 기억에 대해 약간만 개선을 제공했습니다.
• 프레임 샘플링: 샘플링된 프레임 수를 늘리는 것은 개체 기억을 포화 지점 (~256 프레임) 까지 개선시켰으나, 사건 또는 행동 기억의 병목 현상을 해결하지는 못했습니다. 이는 문제가 시각적 커버리지보다는 기억 저장 및 검색 메커니즘에 있음을 시사합니다.
• 프롬프트 전략: 체인 오브 씽킹 (CoT) 프롬프팅은 성능을 저하시켰으며, 이는 명시적인 단계별 추론이 기억 집약적 작업에서 오류를 증폭시킨다는 것을 시사합니다.

중요성 및 주장

본 논문은 EGOMEMREASON이 장문맥, 기억 인식 멀티모달 시스템을 평가하고 발전시키기 위한 강력한 기반을 확립한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 벤치마크 범위 재정의: 몇몇 관련 순간을 위치시키는 검색 중심 평가를 넘어, 수 일에 걸쳐 분산된 증거에 대한 집계, 관계적, 귀납적 추론을 요구하도록 범위를 확장합니다.
2. 구조화된 기억 진단: 기억을 개체, 사건, 행동 유형으로 분해함으로써, 다양한 실패 모드를 드러내는 진단 프레임워크를 제공합니다. 이는 향후 연구를 특정 능력 (예: 개체를 위한 지각적 정밀도, 사건을 위한 구조화된 시간 모델링) 으로 이끕니다.
3. 격차 강조: 결과는 현재 최첨단 MLLM 과 에이전트 프레임워크가 장시간 기억 추론을 해결하는 데는 아직 멀었음을 보여주며, 시간 범위가 확장됨에 따라 성능이 크게 저하됨을 입증합니다.

저자들은 진전을 위해서는 단순히 모델 파라미터나 입력 길이를 확장하는 것이 아니라, 세 가지 직교 축 (장문맥 유지와 결합된 지각적 정밀도, 구조화된 시간 모델링, 집계 기반 추론) 에 대한 발전이 필요하다고 결론지었습니다.