기술 요약: EgoExoMem

문제 정의

멀티모달 대형 언어 모델 (MLLM) 이 복잡한 환경을 지각하고 추론하는 능력이 점차 향상되고 있음에도 불구하고, 신체화된 에이전트 (embodied agents) 를 위한 기존 기억 프레임워크는 순수한 자아중심적 (1 인칭) 관찰에 의존한다는 점에서 근본적으로 제한되어 있습니다. 이러한 단일 시점은 보이지 않는 영역, 공간적 관계, 그리고 공유 공간 내 다른 에이전트들의 상호작용에 관한 맹점을 초래합니다. 인간은 상황 인식을 지원하기 위해 자연스럽게 '현장 (field, 1 인칭)'과 '관찰자 (observer, 3 인칭)' 관점 모두에서 경험을 인코딩하지만, 현재의 벤치마크와 방법론들은 이러한 시점들을 독립적으로 처리하거나 단방향 지식 전달에 집중하는 경향이 있습니다. 에이전트가 단일 시점만으로는 해결할 수 없는 질문에 답하기 위해 동기화된 자아중심적 (egocentric) 및 타자중심적 (exocentric) 비디오 스트림을 종합해야 하는 **교차 시점 기억 추론 (cross-view memory reasoning)**에 대한 표준화된 평가가 부재합니다.

방법론

1. EgoExoMem 벤치마크

저자들은 동기화된 자아중심적 및 타자중심적 비디오에 대한 기억 기반 추론을 평가하기 위해 설계된 최초의 벤치마크인 EgoExoMem을 소개합니다.

• 데이터 소스: 이 벤치마크는 LEMMA 및 EgoExo4D 데이터셋의 390 개 동기화 비디오를 활용하며, 환경 상호작용 (요리 및 자전거 수리) 과 다중 에이전트 활동이 상당한 시나리오에 초점을 맞춥니다.
• 작업 정의: 이 벤치마크는 8 가지 고유한 추론 유형으로 분류된 **2,600 개의 인간 검증 다지선다형 질문 (MCQs)**으로 구성됩니다:
  1. 습관적 위치 (HL): 지속적인 공간 지도 유지.
  2. 순간적 위치 (IP): 자아중심적 행동과 타자중심적 위치 간의 연결.
  3. 결과적 위치 (RL): 사건 경계를 넘어 조작된 후의 객체 위치 추적.
  4. 자아중심적 방향 (ED): 카메라 착용자에 대한 정교한 공간 인식.
  5. 객체 상태 (OS): 조작된 객체의 물리적 상태 식별.
  6. 타자중심적 관계 (AR): 3 인칭 관점에서 객체 간의 공간적 관계.
  7. 3 인칭 활동 (TPA): 다중 에이전트의 동시 공간 추적.
  8. 시간적 순서 (TO): 절차적 하위 행동의 순서 회상.
• 품질 관리: 모호함을 수정하기 위한 인간 편집과 질문이 엄격하게 시각에 의존하도록 보장하기 위해 GPT-4o 를 사용한 '텍스트 전용 확인'을 포함한 엄격한 파이프라인이 데이터 품질을 보장합니다.

2. E2-Select: 프레임 선택 방법

이중 동기화 및 비대칭 비디오 스트림에서 관련 정보를 검색하는 과제를 해결하기 위해 저자들은 E2-Select를 제안합니다. 이는 훈련이 필요 없는 프레임 선택 방법입니다. 시점들을 독립적으로 처리하거나 하드 선택을 사용하는 이전 방법들과 달리, E2-Select 는 다음 세 단계를 통해 시점 비대칭성과 교차 시점 시간적 일관성을 처리하도록 설계되었습니다:

• 독립 시점 점수 매기기: CLIP 코사인 유사도를 사용하여 자아 (ego) 및 타자 (exo) 시점에 대해 쿼리 - 프레임 관련성을 별도로 계산합니다. 이는 결합 검색 중 한 시점이 다른 시점을 압도하는 것을 방지합니다.
• 관련성 기반 예산 할당: 총 프레임 예산 ($K$) 은 각 시점의 집계된 관련성 점수에 비례하여 할당됩니다. 이를 통해 시스템은 특정 쿼리에 더 관련 있는 시점을 동적으로 선호하면서도 부드러운 균형을 유지할 수 있습니다.
• 시점별 k-DPP 샘플링: 각 시점 내의 시간적 중복성을 줄이기 위해, 이 방법은 **k-결정적 점 과정 (k-Determinantal Point Processes, k-DPP)**을 사용합니다. 이는 선택된 프레임 하위 집합이 쿼리와 관련 있을 뿐만 아니라 시각적으로 다양하여 특징 공간에서 프레임 임베딩이 span 하는 부피를 최대화하도록 보장합니다.
• 타임스탬프 순서 병합: 동기화된 기억 스트림의 시간적 구조를 보존하기 위해 두 시점에서 선택된 프레임이 시간 순서대로 병합됩니다.

주요 결과

MLLM 의 성능

독점 (Gemini 2.5 Flash) 및 오픈 소스 (InternVL3.5, LLaVA-OV, Qwen2.5-VL) MLLM 에 대한 광범위한 평가는 다음과 같은 중요한 과제를 드러냈습니다:

• 상호 보완성: 모든 모델에서 자아중심적 및 타자중심적 시점을 결합하는 것이 단일 시점 입력보다 일관되게 우수한 성능을 보였습니다. 예를 들어, Gemini 2.5 Flash 는 자아중심적 (52.2%) 과 타자중심적 (49.5%) 에서 Ego+Exo 를 사용할 때 **55.3%**로 향상되었습니다.
• 모델 한계: 가장 성능이 좋은 모델조차 **55.3%**의 정확도만 달성하여, 현재 MLLM 이 포괄적인 교차 시점 기억 추론에 어려움을 겪고 있음을 나타냅니다.
• 시점 선호도: 특정 QA 유형은 뚜렷한 시점 의존성을 보입니다. 순간적 위치는 타자중심적 시점을 선호하는 반면, 자아중심적 방향은 자아중심적 시점을 선호합니다. 주목할 점은 3 인칭 활동이 기준선 모델에서 자아중심적 시점에 대한 반직관적인 선호도를 보였는데, 저자들은 이를 질문 구성과 답변 근거 사이의 불일치로 귀결시켰습니다.

E2-Select 의 성능

E2-Select 는 기억 검색 전략 간에 최첨단 성능을 입증했습니다:

• 벤치마킹: E2-Select 는 평균 정확도 **58.2%**를 달성하여 기존 프레임 선택 (AKS, BOLT), 텍스트 검색 (BM25, DPR), 시각 기반 검색 (VideoRAG) 기준선들을 능가했습니다.
• 절대 연구: 이 연구는 k-DPP 샘플링이 교차 시점 예산 할당 하에서 성능이 저하되는 시간적 구조 추정 방법 (AKS/BOLT 등) 보다 교차 시점 통합에 더 효과적임을 확인했습니다. 또한, **소프트 할당 (관련성 기반)**이 하드 시점 선택보다 현저히 우수하여, 두 스트림의 상호 보완적 증거를 활용하는 필요성을 입증했습니다.

의의 및 주장

이 논문은 EgoExoMem이 교차 시점 기억 추론을 위한 최초의 벤치마크를 구축함으로써 신체화된 AI 연구의 중요한 공백을 메웠다고 주장합니다. 그 의의는 다음과 같습니다:

1. 단일 시점의 불충분성 입증: 자아중심적 기억만으로는 전체적인 시공간적 이해에 불충분하며, 타자중심적 관찰의 통합이 필요하다는 실증적 증거를 제공합니다.
2. 현재 한계 부각: 최첨단 MLLM 의 낮은 성능 (최대 55.3%) 은 작업의 복잡성과 전문적인 기억 메커니즘의 필요성을 강조합니다.
3. E2-Select 도입: 제안된 방법은 시점 비대칭성과 시간적 일관성을 명시적으로 해결하는 간단하면서도 효과적인 훈련 불필요한 이중 시점 프레임 선택 솔루션을 제공하며, 58.2% 의 새로운 최첨단 성능을 달성했습니다.
4. 시스템적 갈등 드러내기: 특히 '3 인칭 활동' 질문에서의 '시점 선호도 갈등'과 같은 실패 사례 분석은 질문과 가장 관련 있는 시점이 답변과 가장 관련 있는 시점과 다를 수 있는 미묘한 과제를 강조하며, 향후 공동 쿼리 - 답변 시점 라우팅 연구에 동기를 부여합니다.

저자들은 EgoExoMem 과 E2-Select 를 포괄적인 상황 인식이 필요한 의료, 스마트 홈, 다중 에이전트 환경과 같은 응용 분야에서 신체화된 지능의 교차 시점 기억 추론을 발전시키기 위한 기초 자원으로 위치시킵니다.