기술 요약: M 3Eval: 인지적 근거를 둔 비디오 태스크를 통한 멀티모달 메모리 평가

문제 정의

확장되는 컨텍스트 윈도우에 힘입어 멀티모달 모델(MLM)이 장기 비디오 이해로 진화함에 따라, **메모리(기억)**가 핵심적인 역량으로 부상했습니다. 그러나 기존의 비디오 이해 벤치마크와 데이터셋은 주로 시각적 지각 및 추론에 집중되어 있습니다. 일부 작업(예: 긴 비디오 이해 또는 비디오 추론)이 암묵적으로 메모리를 포함하고는 있지만, 메모리 메커니즘을 체계적으로 분리하여 평가하지는 못합니다. 결과적으로 현재의 평가는 부분적이고 간접적인 평가만을 제공하며, 용량(얼마나 많은 정보를 보유하는가), 충실도(정보가 얼마나 정확하게 보존되는가), 강건성(표상이 간섭을 얼마나 잘 견뎌내는가)과 같은 구체적인 메모리 차원을 분리하여 측정할 능력이 부족합니다. 현재로서는 모델이 무엇을 보유하는지, 정보가 얼마나 충실하게 보존되는지, 그리고 간섭 하에서 메모리가 얼마나 강건하게 유지되는지를 체계적으로 조사할 전용 평가 프로토콜이 존재하지 않습니다.

방법론

저자들은 멀티모달 모델의 다양한 메모리 차원을 조사하기 위해 설계된 최초의 포괄적인 평가 프레임워크이자 벤치마크인 M 3Eval을 소개합니다. 이 방법론은 인지 심리학에 근거하여, 통제된 실험 패러다임을 비디오 도메인에 맞게 변형하였습니다. 이 프레임워크는 네 가지 뚜렷한 평가 패러다임으로 구성되며, 각 패러다임은 정교하게 설계된 비디오 태스크와 타겟 질문을 통해 구현됩니다.

1. 분할 주의 (동시 부하 하의 인코딩):

   • 설정: 두 개의 의미적으로 유사한 비디오가 스플릿 스크린 형태로 나란히 표시되며, 교체 없이 표시되거나 빈번한 좌우 스왑(swap)이 발생합니다.
   • 목표: 병렬 스트림에 대해 독립적인 표상을 유지하는 모델의 능력을 평가합니다.
   • 지표: 출처 식별(내용의 기원 구분), 순서 이해(시간적/논리적 순서), 콘텐츠 보유(플롯 세부 사항).
   • 실패 모드: 출처 혼동, 순서 혼동, 콘텐츠 망각.

2. 메모리 간섭 (주의 산만으로부터의 강건성):

   • 설정: 두 개의 의미적으로 유사한 비디오가 순차적으로 연결됩니다. 질문은 하나의 특정 비디오를 대상으로 하며, 다른 비디오는 간섭 요인으로 작용합니다.
   • 목표: 순행 간섭(이전 콘텐츠가 이후의 회상을 방해)과 역행 간섭(이후 콘텐츠가 이전의 회상을 방해)을 분리하여 조사합니다.
   • 지표: 정확도 및 침입률(Intrusion Rate, IR) (경쟁하는 비디오의 옵션을 선택하는 응답의 비율 측정).

3. 인터리브 이벤트 (시간적 조직화):

   • 설정: 두 소스 비디오의 세그먼트가 단일 스트림 내에 인터리브(interleaved)되어 나타납니다 (예: A1–B1–A2–B2...).
   • 목표: 인터리브된 세그먼트를 분리하고 특정 소스의 내부 시간 순서를 복구하는 능력을 평가합니다.
   • 지표: 출처 식별, 순서 이해, 콘텐츠 보유, 허위 기억 판별(두 비디오 중 어디에도 속하지 않는 쿼리를 식별하는 능력).

4. N-Back (기호 접지 및 메모리 용량):

   • 설정: 일련의 짧은 비디오 클립들이 제시됩니다. 모델은 추상적 속성(장면 또는 동작)을 바탕으로 마지막 클립이 $N$ 단계 전의 클립과 일치하는지 판단해야 합니다.
   • 목표: 기호적 메모리와 시간적 간격($N$) 동안 무관한 정보를 필터링하는 능력을 조사합니다.
   • 지표: 다양한 지연 거리($N$) 및 시퀀스 길이($K$)에 따른 장면 및 동작 일치 정확도.

데이터셋 구축:
본 벤치마크는 다섯 가지 공개 데이터셋(HourVideo, Video-MME, LVBench, InfiniBench, CrossVid)에서 추출한 451개의 비디오(약 403시간)에 걸친 2,403개의 질문으로 구성됩니다. 비디오 쌍은 간섭을 극대화하기 위해 의미적 유사성을 기준으로 선택되었습니다. 질문은 LLM(Qwen3.5-27B)을 사용하여 생성되었으며, 논리적 일관성을 확보하고 모호성을 제거하기 위해 수동 검토 과정을 거쳤습니다.

주요 기여

1. M 3Eval 벤치마크: 비디오 태스크를 사용하여 네 가지 뚜렷한 차원(분할 주의, 간섭, 인터리브 이벤트, N-Back)에 걸쳐 멀티모달 메모리를 체계적으로 평가하는 최초의 벤치마크입니다.
2. 인지적 근거를 둔 설계: 확립된 심리학적 패러다임(예: 이중 과제, N-Back, 간섭 이론)을 비디오 이해에 적응시켜 특정 메모리 메커니즘을 분리해내는 새로운 평가 설계를 제공합니다.
3. 체계적 평가: 독점 모델(Gemini-3.1-Pro-Preview, GPT-5.4), 오픈 웨이트 모델(Qwen3-VL, InternVL3.5), 에이전트 방식(VideoLucy, M3-Agent)을 포함한 다양한 모델을 인간의 성능과 비교하여 포괄적으로 평가합니다.

실험 결과

평가는 현재의 멀티모달 모델이 인간과 비교했을 때 일관된 약점과 독특한 행동 양상을 보임을 드러냅니다.

• 병렬 처리 실패: 모델은 병렬 비디오 스트림을 처리할 때 분리된 표상을 유지하는 데 어려움을 겪습니다. 스플릿 스크린 설정에서 출처 식별 성능이 크게 저하되며, 이는 동시 시각 입력에 대한 **주의력 혼동(attention confusion)**을 시사합니다.
• 간섭 패턴: 인간은 순행 간섭보다 훨씬 강력한 역행 간섭을 보이는 것과 달리, 모델은 두 종류의 간섭 모두에서 유사한 수준을 보입니다. 또한, 모델은 의미적으로 유사한 콘텐츠로부터의 간섭에 저항하는 데 어려움을 겪으며 높은 침입률을 보입니다. 흥미롭게도, 타겟 또는 간섭 비디오를 반복하는 것이 모델의 정확도를 의외로 향상시키는데, 이는 인과적 어텐션(causal attention)을 통한 표상의 강화 때문으로 보입니다.
• 시간적 vs 공간적 접지: 모델은 시간적으로 인터리브된 정보를 조직화하는 데 있어 인간보다 능력이 떨어집니다. 분석 결과, 공간적 출처 접지(스플릿 스크린)는 시간적 출처 접지(인터리브 이벤트)보다 일관되게 강하게 나타났으며, 많은 모델이 시간적 접지에서는 랜덤 베이스라인 미만의 성능을 보였습니다.
• 기호적 메모리 및 필터링: 모델은 기호적 메모리(N-Back 태스크)에서 인간에 비해 크게 뒤처집니다. 인간의 정확도는 용량 제한으로 인해 시간적 간격($N$)이 증가함에 따라 단조 감소하는 반면, 모델의 정확도는 글로벌 어텐션 덕분에 평탄하거나 오히려 향상되는 경SE를 보입니다. 그러나 모델은 전체 심볼의 수($K$)가 증가함에 따라 급격히 성능이 저하되는데, 이는 메모리로부터 무관한 정보를 필터링하는 근본적인 능력 결여를 드러냅end.
• 환각(Hallucination): 허위 기억 판별 태스크에서 대부분의 모델은 랜덤 베이스라인보다 낮은 성능을 보였으며, 이는 비디오 콘텐츠와 관련 없는 쿼리가 제시되었을 때 심각한 환각 현상이 발생함을 나타냅니다.

의의

본 논문은 M 3Eval을 미래 연구를 위한 가치 있는 진단 자원으로 제안합니다. 연구 결과는 메모리가 멀티모달 모델에서 근본적이면서도 아직 충분히 탐구되지 않은 역량임을 강조합니다. 저자들은 현재의 벤치마크들이 메모리를 지각 및 추론과 혼동하여 특정 실패 모드를 가리고 있다고 주장합니다. 이러한 메커니즘을 분리함으로써, M 3Eval은 병렬 스트림을 위한 어텐션 정교화, 반복 전략 활용, 시간적 출처 접지 강화, 그리고 태스크와 무관한 데이터를 필터링하기 위한 기호적 메모리 개선 등 더 효과적인 메모리 메커니즘을 설계하기 위한 통찰을 제공합니다. 본 연구는 견고하고 구조화되며 인간과 정렬된 메모리 능력을 갖춘 멀티모달 시스템 개발을 촉진하는 것을 목표로 합니다.