MA-EgoQA: Question Answering over Egocentric Videos from Multiple Embodied Agents

이 논문은 다수의 embodied 에이전트로부터 수집된 장기 시점의 이기중심 비디오를 동시에 이해하는 새로운 문제를 정의하고, 이를 평가하기 위한 MA-EgoQA 벤치마크와 공유 메모리 및 동적 검색을 활용한 EgoMAS 기반 모델을 제안하며, 현재 모델들이 다중 스트림 처리에 한계가 있음을 보여줍니다.

핵심

🎬 1. 배경: "함께 사는 6 명의 AI 비서들"

상상해 보세요. 우리 집에 **6 명의 AI 비서 (로봇)**가 살고 있습니다. 이들은 매일 아침부터 밤까지 집안일을 하며 자신의 시선 (카메라) 으로 모든 것을 녹화합니다.

• 문제: 7 일 동안 녹화된 영상은 총 266 시간이나 됩니다. 이 엄청난 양의 영상을 한 번에 다 보고 "어제 누가 부엌을 청소했어?", "누가 커피를 마셨어?" 같은 질문에 답하는 건 인간도, 현재 최고의 AI 도 거의 불가능합니다.
• 기존의 한계: 지금까지의 AI 는 "한 사람"의 기억만 기억하거나, 아주 짧은 영상만 볼 수 있었습니다. 하지만 현실에서는 여러 명이 동시에 움직이며 복잡한 일을 하죠.

🧩 2. 새로운 도전: "MA-EgoQA" (다중 에이전트 자서전 퀴즈)

연구진은 이 문제를 해결하기 위해 **새로운 시험 (벤치마크)**을 만들었습니다. 이름은 MA-EgoQA입니다.

• 시험 내용: 6 명의 비서가 7 일 동안 찍은 영상을 바탕으로, 서로의 행동을 연결해서 답해야 하는 1,700 개의 질문을 냅니다.
• 질문 예시:
  • "누가 언제 커피를 마셨고, 그걸 본 사람은 누구였지?" (시간과 사람 연결)
  • "누가 커피를 마실 때 다른 사람이 무슨 생각을 했을까?" (마음 읽기, Theory of Mind)
  • "누가 언제 식탁을 닦았고, 그걸 누가 도와줬지?" (협업 파악)
• 난이도: 이 질문들은 단순히 "누가 뭐 했어?"가 아니라, 여러 사람의 시선을 동시에 보고, 시간을 맞춰서, 서로의 관계까지 이해해야 답할 수 있습니다. 마치 6 개의 다른 카메라로 찍은 드라마를 동시에 보며 "누가 왜 그랬을까?"를 추리하는 것과 같습니다.

🤖 3. 해결책 제안: "EgoMAS" (공유 메모리 비서)

연구진은 이 어려운 시험을 잘 풀기 위해 EgoMAS라는 새로운 방법을 제안했습니다.

• 기존 방식 (실패): 모든 비서의 영상과 대본을 한 번에 AI 에게 던져주면, AI 는 정보가 너무 많아서 (100 만 단어 이상) 혼란스러워하고 엉뚱한 답을 합니다.
• EgoMAS 의 방식 (성공):
  1. 공유 메모리 (Shared Memory): 6 명의 비서가 각자 한 일을 10 분 단위로 요약해서 하나의 공통된 장부에 적어둡니다. (예: "오후 2 시, 부엌에서 제이크와 앨리스가 커피를 마심")
  2. 동적 검색 (Dynamic Retrieval): 사용자가 "어제 부엌 청소한 사람 누구야?"라고 물으면, AI 는 먼저 이 공통 장부를 빠르게 훑어보고, 관련 있는 사람 (예: 제이크) 의 상세 기록만 찾아냅니다.
  3. 결과: 불필요한 정보를 다 읽지 않고, 정확한 정보만 골라서 답을 내기 때문에 훨씬 빠르고 정확하게 답할 수 있습니다.

📊 4. 시험 결과: "AI 들은 아직 멀었다"

• 현실: 최신 AI 모델들 (GPT-5, Gemini 등) 도 이 시험에서 평균 30~40% 만 맞췄습니다. 즉, 10 문제 중 7 개는 틀린 셈입니다. 특히 "누가 무엇을 생각했을까?" 같은 **마음 읽기 (Theory of Mind)**나 여러 사람의 행동을 연결하는 데는 매우 취약했습니다.
• EgoMAS 의 성과: 제안된 방법 (EgoMAS) 을 쓰면 성능이 크게 향상되었습니다. 특히 작은 모델을 썼음에도 불구하고, 거대한 모델을 쓰는 것보다 더 좋은 결과를 냈습니다. 이는 **"정보를 어떻게 정리하고 찾아내는가 (검색 전략)"**가 단순히 AI 가 얼마나 큰지보다 더 중요하다는 것을 보여줍니다.

💡 5. 결론: "함께 일하는 AI 시대를 위해"

이 논문은 우리에게 중요한 메시지를 줍니다.

"앞으로 집이나 직장에 여러 개의 AI 가 함께 일하게 될 텐데, 우리가 그들에게 질문할 때 모든 정보를 다 보여줄 필요는 없다. 대신 핵심 기억을 정리하고 필요한 부분만 찾아주는 시스템이 필요하다."

마치 도서관 사서가 방대한 책장 (영상) 에서 필요한 책 (정보) 만 찾아주는 것처럼, 앞으로의 AI 는 여러 사람의 기억을 통합하고 지혜롭게 검색하는 능력이 가장 중요해질 것입니다.

이 연구는 바로 그 '지혜로운 검색 시스템'을 만드는 첫걸음입니다.

기술 요약

1. 문제 정의 (Problem Definition)

본 논문은 여러 개의 embodied agent(구체화된 인공지능 에이전트) 가 공유된 환경에서 동시에 수집한 긴 시간의 1 인칭 시점 (Egocentric) 비디오를 기반으로 한 질문 응답 (QA) 과제를 정의합니다.

• 배경: 미래에는 인간과 여러 개의 AI 에이전트가 직장이나 가정에서 협업할 것입니다. 이때 인간 사용자는 여러 에이전트로부터 들어오는 정보를 병렬적으로 해석하고, 각 질문에 맞는 적절한 문맥을 참조하여 시스템 전체의 상태를 이해해야 합니다.
• 핵심 과제:
  1. 초장기 시점 (Long-horizon) 처리: 에이전트들이 수일 동안 연속적으로 촬영한 방대한 양의 비디오 데이터를 처리해야 합니다.
  2. 다중 에이전트 정보 통합: 단일 에이전트의 기억이 아닌, 여러 에이전트의 경험을 통합하여 시스템 수준의 (System-level) 이해를 달성해야 합니다.
  3. 복잡한 추론: 사회적 상호작용, 작업 조정, 마음 이론 (Theory-of-Mind), 시간적 추론, 환경 상호작용 등 다양한 맥락에서 여러 에이전트의 행동을 연결하여 답변해야 합니다.
• 기존 연구의 한계: 기존 비디오 QA 벤치마크는 대부분 단일 에이전트이거나 비디오 길이가 짧아 (보통 1 시간 미만), 실제 다중 에이전트 시스템의 복잡성을 반영하지 못했습니다.

2. 제안된 벤치마크: MA-EgoQA

이 문제를 해결하기 위해 저자들은 MA-EgoQA (MultiAgent-EgoQA) 라는 새로운 벤치마크를 제안했습니다.

• 데이터 구성:
  • EgoLife 데이터셋 기반: 6 명의 사람이 공유 주택에서 7 일간 착용한 카메라 안경을 통해 촬영된 총 266 시간의 초장기 1 인칭 비디오.
  • 질문 수: 1,741 개의 다중 선택형 질문 (MCQ).
  • 5 가지 카테고리:
    1. Social Interaction (SI): 여러 사람의 대화, 반응, 그룹 행동 등.
    2. Task Coordination (TC): 역할 분담, 책임, 작업 순서 등 목표 달성을 위한 협업.
    3. Theory of Mind (ToM): 타인의 생각, 믿음, 오해, 의도 등 심리 상태 추론.
    4. Temporal Reasoning (TR): 여러 에이전트 간의 시간적 정렬 (동시성, 순서 비교).
    5. Environmental Interaction (EI): 환경 내 객체 사용 빈도, 순서 등.
• 생성 프로세스: GPT 기반 생성, LLM 필터링 (단일 에이전트로 해결 가능한 질문 제거, 제로샷 추론 테스트), 크로스-모델 검증, 그리고 최종 인간 검증을 통해 고품질 데이터를 구축했습니다.
• 특징: 단일 에이전트 기억으로는 답할 수 없으며, 여러 에이전트의 여러 시간대 정보를 통합해야만 해결 가능한 질문들로 구성됨.

3. 방법론: EgoMAS (Baseline Model)

MA-EgoQA 를 평가하기 위해 저자들은 EgoMAS (Egocentric Multi-Agent System) 라는 간단한 학습 없는 (Training-free) 베이스라인 모델을 제안했습니다.

• 핵심 구조:
  1. 이벤트 기반 공유 메모리 (Event-based Shared Memory):
     • 각 에이전트의 10 분 단위 캡션을 중앙 관리자 (Manager) 가 통합합니다.
     • 단순 텍스트 요약이 아닌, 4W1H (When, Where, Who, What, How) 필드를 명시적으로 기록하여 에이전트 간 관점을 정렬하고 중요한 세부 사항을 보존하는 구조화된 글로벌 메모리를 생성합니다.
  2. 에이전트별 동적 검색 (Agent-wise Dynamic Retrieval):
     • 사용자 쿼리가 들어오면, 먼저 공유 메모리에서 상위 $n$개의 관련 이벤트를 검색 (BM25 기반) 합니다.
     • 검색된 시스템 수준 문맥을 바탕으로, 각 관련 에이전트에게 구체적인 하위 쿼리를 생성하여 해당 에이전트의 개인 메모리에서 상세 정보를 동적으로 검색합니다.
     • 최종 응답은 시스템 수준 컨텍스트와 집계된 에이전트 수준의 결과를 결합하여 생성합니다.
• 장점: 모든 정보를 단순히 연결 (Concatenation) 하는 방식보다 토큰 효율성이 뛰어나며, 관련 없는 정보로 인한 주의를 분산시키는 것을 방지합니다.

4. 실험 결과 (Results)

다양한 최신 LLM 및 비디오 LLM 을 MA-EgoQA 에서 평가한 결과입니다.

• 현재 모델의 한계:
  • 가장 강력한 모델인 Gemini-2.5-Flash조차 평균 정확도가 **36.93%**에 그쳤으며, 많은 오픈소스 모델은 무작위 추측 수준 (20%) 에 머물렀습니다.
  • 모든 캡션을 입력으로 연결하는 방식 (All Caption Concat) 은 긴 컨텍스트에도 불구하고 관련 없는 정보로 인해 성능이 저하되었습니다.
  • ToM (마음 이론) 카테고리는 모든 모델에서 가장 낮은 성능을 보였으며, 이는 내재된 심리 상태 추론의 어려움을 시사합니다.
• EgoMAS 의 성과:
  • **EgoMAS (Gemini-2.5-Flash)**는 베이스라인보다 4.48% 높은 **41.41%**의 정확도를 달성했습니다.
  • 더 작은 모델인 Qwen3VL-8B 기반 EgoMAS 는 100 만 토큰 컨텍스트를 가진 Gemini 베이스라인과 유사한 성능을 보였습니다.
  • 효율성: EgoMAS 는 검색 기반 접근을 통해 매우 낮은 지연 시간 (약 1.3 초/쿼리) 으로 높은 정확도를 유지했습니다.
  • Ablation Study: 공유 메모리와 에이전트별 동적 검색을 모두 사용할 때 성능이 최적화되었으며, 4W1H 메모리 구조가 다른 구조보다 우월함이 입증되었습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 새로운 벤치마크 제시: 다중 embodied agent 의 초장기 1 인칭 비디오를 이해하고 추론하는 능력을 평가하는 최초의 체계적인 벤치마크 (MA-EgoQA) 를 제시했습니다. 이는 기존 단일 에이전트 또는 짧은 비디오 벤치마크의 한계를 극복합니다.
2. 시스템 수준 이해의 필요성 강조: 실험 결과를 통해 현재 LLM 이 다중 에이전트 환경에서의 복잡한 상호작용과 시간적 정렬을 처리하는 데 심각한 어려움을 겪고 있음을 보여주었습니다. 특히 '마음 이론'과 '다중 에이전트 지식 융합'이 주요 병목 현상임을 규명했습니다.
3. 효율적인 아키텍처 제안: 거대한 컨텍스트를 모두 입력하는 대신, 공유 메모리와 동적 검색을 결합한 EgoMAS 를 통해 소규모 모델로도 고성능을 달성할 수 있음을 증명했습니다. 이는 실제 리소스 제약이 있는 다중 에이전트 시스템에 적용 가능한 실용적인 솔루션입니다.
4. 미래 연구 방향: 다중 에이전트 시스템의 투명성, 제어 가능성, 관리 가능성을 높이기 위해서는 에이전트 간 경험 통합 및 시스템 수준의 추론 능력 향상이 필수적임을 강조하며, 관련 연구의 중요한 방향성을 제시합니다.

결론적으로, 본 논문은 미래의 다중 에이전트 시스템이 직면할 '정보 과부하'와 '맥락 통합' 문제를 해결하기 위한 새로운 평가 기준과 해결책을 제시하며, embodied AI 의 발전에 중요한 이정표가 됩니다.