← 최신 논문
💻 컴퓨터 과학

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

이 논문은 멀티모달 거대 언어 모델(MLLM)의 '인컨텍스트 비디오 메모리' 능력을 평가하기 위해 검증된 턴 간 의존성을 포함한 326개의 비디오와 다회차 대화로 구성된 새로운 벤치마크인 VideoMemBench를 소개하며, 최고 성능의 모델들조차 이 작업에서 단 45.7%의 최고 점수를 기록하며 상당히 어려움을 겪고 있음을 밝혀낸다.

원저자: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

게시일 2026-11-04
📖 1 분 읽기☕ 가벼운 읽기

원저자: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

기술 요약: VideoMemBench

문제 정의

멀티모달 거대 언어 모델(MLLM)은 시간 단위의 비디오를 백만 토큰 컨텍스트로 처리할 수 있을 정도로 발전하여, 단일 비디오에 대한 확장된 멀티턴 대화를 가능하게 했습니다. 그러나 이러한 대화를 지속하기 위해서는 인컨텍스트 비디오 메모리(in-context video memory), 즉 대화 중에 확립된 정보(모델이 본 시각적 에피소드와 모델이 이전에 생성한 답변 모두를 포함)를 검색하고 재사용하는 능력이 필요합니다.

기존의 비디오 이해 벤치마크(예: MVBench, Video-MME, LVBench)는 이러한 능력을 측정하는 데 실패합니다. 이들의 질문은 서로 독립적이며, 서로를 참조하지 않고, 오직 비디오와 현재의 질문만으로 답할 수 있습니다. 결과적으로, 정보가 턴(turn) 간에 전달될 필요가 없으므로, 인컨텍스트 비디오 메모리라는 핵심적인 과제를 측정하지 못합니다.

방법론: VideoMemBench 구축

저자들은 구조화되고 유형화된 턴 간 의존성(cross-turn dependencies)을 통해 인컨텍스트 비디오 메모리를 명시적으로 평가하도록 설계된 벤치마크인 VideoMemBench를 소개합니다. 구축 파이프라인은 세 가지 LLM 역할과 인간 전문가 검토로 구성됩니다:

  1. 비디오 수집: 기존 벤치마크(Video-MME, VSI-Bench 등)와 웹(YouTube)에서 라이프스타일 및 엔터테인먼트, 지식 및 교육, 예술 및 문학, 스포츠 및 경쟁의 네 가지 주요 도메인을 아우르는 약 3,200개의 초기 비디오 풀을 선별했습니다.
  2. 의존성 계획 (Planner LLM): 질문을 생성하기 전에, 플래너는 비디오 시놉시스, 대화 가이드라인, 그리고 **유형화된 의존성 그래프(typed dependency graph)**를 포함하는 글로벌 대화 명세를 작성합니다. 이 그래프는 부모 턴(parent turns)을 종속 턴(dependent turns)에 할당하며, 엣지(edge)를 다음 두 가지로 라벨링합니다:
    • 에피소드 의존성 (Episodic Dependency): 질문이 이전 턴에서 설명된 시각적 에피소드를 다시 참조함 (모델이 무엇을 보았는지에 대한 메모리 조사).
    • 답변 의존성 (Answer Dependency): 질문이 모델 자신의 이전 답변을 바탕으로 구성됨 (모델이 무엇을 말했는지에 대한 메모리 조사).
  3. 턴별 생성 (Generator LLM): 생성기는 계획을 준수하며 턴별로 대화를 구성합니다. 생성기는 종속 턴이 이전 내용을 재진술하지 않고 참조 표현(예: "T1의 장면")을 사용하도록 보장합니다.
  4. 자동 검증 (Judger LLM): 저지(Judger)는 모든 턴에 대해 세 가지 엄격한 요구 사항을 강제합니다:
    • 필요성 (Necessity): 질문은 부모 턴이 제거되었을 때(비디오 접근 권한이 있더라도) 답할 수 없어야 합니다.
    • 정보 누출 방지 (Non-leakage): 질문은 부모 턴의 정보를 재진술하거나 그 답변을 드러내서는 안 됩니다.
    • 시각적 근거 (Visual Grounding): 모든 답변은 특정 비디오 프레임에 대해 검증 가능해야 합니다.
      실패한 턴은 재생성되며, 두 번 연속 실패하면 재계획(replanning)을 수행합니다.
  5. 인간 전문가 검토: 8명의 인간 전문가가 비디오를 바탕으로 모든 대화를 검토하여 답변의 정확성, 의존성의 유효성, 정보 누출의 부재를 확인합니다.

데이터셋 통계:

  • 326개의 비디오와 326개의 멀티턴 대화 쌍.
  • 총 2,476개의 QA 턴.
  • 1,387개의 턴이 의존적이며(56.02%), 이는 1,200개의 에피소드 의존성과 594개의 답변 의존성으로 구성됩니다.
  • 의존성은 멀티 부모 구조(최대 3개의 부모)와 장거리 체인(최대 9턴 거리)을 포함합니다.

평가 프로토콜

이 벤치마크는 128개의 균등 샘플링된 프레임과 전체 대화 이력을 받는 셀프 롤아웃(self-rollout) 프로토콜을 사용하여 25개의 MLLM(폐쇄형 소스 8개, 오픈 웨이트 17개)을 평가했습니다. 세 가지 지표가 정의되었습니다:

  1. TurnAcc: 모든 턴에 대한 정확도로, 독립적으로 점수를 매깁니다.
  2. EpiDepAcc: 에피소드 의존성(시각적 컨텍스트에 대한 메모리)이 있는 턴에 대한 정확도입니다.
  3. AnsDepAcc: **체인 크레디팅(chain crediting)**을 사용한 답변 의존성 턴에 대한 정확도입니다. 턴의 응답과 그 답변 의존성 계보를 따라가는 모든 응답이 모두 정확할 때만 점수가 부여됩니다. 이는 오류 누적을 반영합니다.

주요 결과

  • 전반적인 성능: 가장 우수한 성능을 보인 모델인 Claude Opus 5는 전체 점수에서 단 **45.7%**를 기록했으며, 이는 인간 기준점인 **86.1%**보다 현저히 낮습니다.
  • 의존성 유형: 성능은 독립적인 턴에 비해 의존적인 턴에서 일관되게 낮았습니다.
    • AnsDepAcc가 가장 까다로운 지표였으며(Claude Opus 5의 경우 35.7%), 이는 TurnAcc보다 16.6 퍼센트 포인트 뒤처졌습니다. 이는 이전 답변과의 일관성을 유지하는 데 심각한 어려움이 있음을 나타냅니다.
    • EpiDepAcc(49.1%)는 약간 더 높았으나, 여전히 독립 턴 정확도(52.3%)보다 낮았습니다.
  • 복잡도 영향:
    • 거리 (Distance): 의존 거리(distance)가 증가함에 따라 정확도가 감소했습니다 (거리 1에서 30.2%에서 거리 ≥5에서 23.1%로).
    • 멀티 부모 (Multi-parent): 부모 턴의 수가 증가함에 따라 정확도가 떨어졌습니다.
    • 위치 (Position): 대화의 후반부에 위치한 의존 턴들은 일관된 정확도 하락을 보였습니다.
  • 오류 원인: 모델 이력을 정답 이력(Oracle history)으로 교체하는 실험은 상당한 성능 향상을 보여주었습니다 (예: Qwen3-VL-8B는 12.3%에서 32.4%로 개선됨). 이는 이전 응답의 오류가 후속 턴의 주요 난관임을 확인시켜 줍니다. 그러나 완벽한 이력이 있더라도 정확도는 독립 턴 수준 미만이었으며, 이는 올바른 이력만으로는 신뢰할 수 있는 인컨텍스트 비디오 메모리에 충분하지 않음을 시사합니다.

의의 및 주장

본 논문은 인컨텍스트 비디오 메모리가 현재의 MLLM, 심지어 최첨단 모델들에게도 여전히 개방되어 있고 도전적인 문제라고 주장합니다. 주요 기여는 다음과 같습니다:

  1. 격차 식별: 기존 벤치마크가 비디오 대화에서 확립된 대화 컨텍스트를 검색하고 재사용하는 능력을 측정하지 못함을 강조했습니다.
  2. VideoMemBench: 엄격한 구축 파이 pipeline에 의해 뒷받침되는, 명시적이고 유형화된 교차 턴 의존성(에피소드 및 답변)을 가진 최초의 벤치마크를 제공했습니다.
  3. 실증적 증거: 현재 모델들이 교차 턴 의존성, 특히 자신의 이전 답변과 일관성을 유지하고(체인 크레디팅) 장거리 또는 멀티 부모 의존성을 처리하는 데 있어 크게 고전하고 있음을 입증했습니다.

저자들은 VideoMemBench가 확장된 대화 속에서 이전의 관찰과 응답을 안정적으로 회상하고 그 위에 구축할 수 있는 비디오 MLLM을 개발하기 위한 필수적인 토대를 제공한다고 결론짓습니다.

연구 분야의 논문에 파묻히고 계신가요?

연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.

Digest 사용해 보기 →