Evaluating Long-Horizon Memory for Multi-Party Collaborative Dialogues

이 논문은 다중 참여자 간의 긴 시간跨度 협업 대화에서 장기 기억 능력을 평가하기 위해, 기존 벤치마크의 한계를 극복하는 새로운 벤치마크 'EverMemBench'를 제안하고 현재 LLM 시스템이 다중 화자 attribution, 시간적 추론, 그리고 암시적 관련성 파악에서 심각한 한계를 겪고 있음을 규명합니다.

핵심

🏢 비유: "거대한 오픈 플랜 사무실" vs "1:1 상담실"

지금까지 AI 의 기억력을 테스트하던 기존 방법들은 마치 1:1 상담실에서 한 사람과만 대화하는 상황을 가정했습니다.

• 기존 방식: "어제 우리가 무슨 약속을 했지?"라고 물으면 AI 가 대답합니다.
• 문제점: 실제 세상은 이렇게 단순하지 않습니다.

이 논문이 말하는 '실제 상황'은 거대한 오픈 플랜 사무실입니다.

• 100 명 이상의 직원이 여러 팀으로 나뉘어 있습니다.
• 프로젝트 A 는 팀장님이 결정하고, 팀원 B 가 수정하고, 팀원 C 가 다시 바꿉니다.
• 중요한 정보는 팀장님의 메신저, 팀 B 의 이메일, 팀 C 의 회의록에 흩어져 있습니다.
• 시간이 지나면 결정 사항이 바뀌고 (버전 관리), 누가 무엇을 했는지 ( Attribution) 가 중요해집니다.

이런 복잡한 환경에서 AI 가 기억력을 제대로 발휘할 수 있는지, 기존 시험지로는 알 수 없었습니다. 그래서 이 연구팀은 **실제 사무실 환경을 100% 재현한 '에버멤벤치'**를 만들었습니다.

---

🧠 이 시험지는 AI 의 어떤 능력을 볼까요? (3 가지 핵심 능력)

이 시험지는 AI 에게 3 가지 종류의 미션을 줍니다.

1. 정밀한 기억력 (Fine-grained Recall): "누가, 언제, 무엇을 했지?"

• 상황: "프로젝트 A 의 최종 설계도 링크를 줘봐."
• 난이도: 같은 팀원이 2 일 전에 보낸 '초안 링크'와 '최종 링크'가 섞여 있고, 다른 팀원들이 중간에 수정한 기록도 있습니다.
• AI 의 실패: AI 는 보통 '초안 링크'를 찾아내거나, 누가 보냈는지 헷갈려서 엉뚱한 링크를 줍니다. 마치 수백 권의 책 중에서 특정 페이지의 특정 문장 하나를 찾아내야 하는데, 책 제목도 저자도 헷갈리는 상황과 같습니다.

2. 기억의 활용도 (Memory Awareness): "이전 규칙을 기억해서 새로운 문제를 해결할 수 있을까?"

• 상황: "새로운 기능을 추가해야 하는데, 팀 규칙상 이 부분은 누구의 승인이 필요해?"
• 난이도: 대화록에 "이건 팀장님이 결정한다"는 말이 직접적으로 나와 있지 않아도, 과거의 대화 흐름과 조직 구조를 추론해서 답해야 합니다.
• AI 의 실패: AI 는 규칙을 '단순히 암기'만 할 뿐, 새로운 상황에 그 규칙을 적용하거나 (적극성), 시간이 지나 규칙이 바뀌었을 때 최신 버전을 찾아내는 (업데이트) 능력이 부족합니다. 마치 과거의 지도만 보고 있는데, 길이 막히고 새 길이 생겼을 때 그걸 모르고 옛날 길로 가려는 것과 같습니다.

3. 사용자 이해 (Profile Understanding): "이 사람의 말투와 성향을 기억할 수 있을까?"

• 상황: "팀장님 대신 업무 보고서를 작성해줘."
• 난이도: 팀장님은 평소 짧고 직관적으로, 이모지를 많이 쓰며 말합니다.
• AI 의 실패: AI 는 사실 (Fact) 은 맞췄지만, 팀장님의 말투 (스타일) 는 무시하고 기계적인 문장으로 작성합니다. 마치 친구의 목소리를 흉내 내야 하는데, 내용은 맞는데 목소리는 로봇처럼 나오는 것과 같습니다.

---

📉 실험 결과: AI 는 아직 초보입니다

이 논문은 최신 AI 모델들 (GPT-4, Gemini 등) 로 이 시험을 치러보았는데, 결과는 충격적이었습니다.

1. 누가 말했는지 헷갈립니다: 여러 사람이 섞여 대화하면, "누가 이 결정을 내렸지?"를 파악하는 데서 AI 는 26% 만 맞췄습니다. (정답을 다 알려줘도 88% 만 맞췄으니, 기억력 문제라기보다 추론 능력의 문제입니다.)
2. 시간 개념이 부족합니다: "이 프로젝트가 시작부터 끝날 때까지 몇 일이 걸렸지?"라는 질문에, 주말을 제외하고 계산하는 등 실제 업무 시간을 계산하는 데서 AI 는 완전히 망했습니다.
3. 찾아내지 못합니다: AI 가 필요한 정보를 가지고 있어도, 검색 (Retrieval) 기술이 부족해서 그 정보를 찾아내지 못했습니다. 마치 도서관에 정답이 있는 책이 꽂혀 있는데, 사서가 그 책을 찾아주지 못하는 꼴입니다.

---

💡 결론: 왜 이 연구가 중요한가요?

이 논문은 **"단순히 긴 대화를 기억하는 것 (Context Length) 이 중요한 게 아니다"**라고 말합니다.

• 기존 생각: "AI 가 100 만 자의 글을 한 번에 읽을 수 있으면 기억력이 좋은 거야."
• 이 논문의 주장: "아니야, 중요한 건 누가, 언제, 왜, 어떻게 말했는지 파악하고, 시간이 지나도 규칙을 업데이트하며, 사람마다 다른 말투를 기억하는 진짜 협업 능력이야."

에버멤벤치는 앞으로 더 똑똑한 AI 를 만들기 위한 진짜 시험지 역할을 합니다. 이제 AI 개발자들은 "긴 글을 읽게 하는 것"을 넘어, **"복잡한 인간 사회에서 함께 일하게 하는 것"**에 집중해야 할 시기가 왔습니다.

한 줄 요약:

"지금까지 AI 는 긴 이야기를 외우는 '우등생'이었지만, 이 시험지를 통해 보니 복잡한 인간 사회에서 팀워크를 발휘하는 '실전 능력'은 아직 초보라는 것을 발견했습니다."

기술 요약

1. 문제 정의 (Problem Statement)

대규모 언어 모델 (LLM) 이 실제 업무 환경 (직장 협업, 개인 비서 등) 에 배포되면서, 대화 기억 (Conversational Memory) 은 단순한 정보 저장을 넘어 협업적 (Collaborative) 성격을 띠게 되었습니다. 그러나 기존 벤치마크는 다음과 같은 한계로 인해 실제 배포 환경을 제대로 평가하지 못합니다.

• 이중적 (Dyadic) 대화 위주: 기존 벤치마크는 주로 사용자와 어시스턴트 간의 1:1 대화를 가정하며, 다수 참여자가 서로 다른 그룹과 채널에 분산되어 정보를 생성하고 수정하는 복잡한 현실을 반영하지 못합니다.
• 단일 주제 및 정적 사실: 기존 데이터는 주로 단일 주제에 집중되거나, 시간이 지나도 변하지 않는 고정된 사실 (Stationary facts) 을 다룹니다. 반면 실제 협업에서는 역할 (Role) 과 사회적 맥락에 따라 정보가 지속적으로 수정, 업데이트, 충돌하며 진화합니다.
• 평가의 부재: 현재는 '긴 문맥 처리 능력 (Long-context)'을 '기억 능력'으로 오인하는 경향이 있으며, 다자간 대화에서의 귀속 (Attribution), 시간적 추론 (Temporal Reasoning), 역할 기반 일관성을 평가할 수 있는 표준이 부재합니다.

2. 방법론 (Methodology: EverMemBench)

저자들은 이러한 격차를 해결하기 위해 EverMemBench라는 새로운 벤치마크를 제안했습니다. 이는 합성 데이터가 아닌, 실제 배포 패턴을 모사한 진단 도구입니다.

A. 데이터 구성 (Data Construction)

• 규모: 5 개의 프로젝트 (기술, 운영, 마케팅, 금융 서비스, 거버넌스) 를 기반으로 하며, 총 170 명의 직원, 51,023 개의 대화 턴, 약 420 만 토큰 (프로젝트당 약 100 만 토큰) 의 대규모 데이터셋을 구성했습니다.
• 구조:
  • 다자간 그룹 채팅: 170 명의 직원이 7 개 부서와 5 개 프로젝트에 참여하며, 각 프로젝트는 3 개의 하위 그룹으로 나뉘어 상호 의존적인 작업을 수행합니다.
  • 역할 기반 페르소나: 각 직원은 직급, 기술 스택, 8 차원 커뮤니케이션 스타일 (공식성, 유머, 이모지 사용 등), 그리고 빅 5 성격 특성을 가진 페르소나를 가집니다.
  • 동적 지식 업데이트: 시간이 지남에 따라 결정이 수정되고, 새로운 정책이 기존 규칙을 덮어쓰는 (Override) 시나리오를 포함하여, 단순한 사실 회상이 아닌 버전 관리 능력을 평가합니다.
• 생성 파이프라인: 3 단계 (청사진 생성, 대화 합성, QA 구성) 를 거쳐 논리적 일관성과 증거 기반 (Evidence-grounded) 질문을 생성하며, 인간 검토를 통해 품질을 통제합니다.

B. 평가 차원 (Evaluation Dimensions)

EverMemBench 는 협업형 어시스턴트에 필수적인 3 가지 차원과 9 가지 하위 태스크로 구성됩니다.

1. 세밀한 회상 (Fine-grained Recall): 밀집된 다자간 대화에서 정확한 사실을 추출하는 능력.
   • Single-hop: 특정 엔티티 직접 추출.
   • Multi-hop: 여러 그룹과 화자를 거쳐 연결된 정보 추론 (예: A 가 B 의 다음 작업을 할당받음).
   • Temporal: 시작과 종료 시점을 구분하여 기간 계산 (휴일 제외 등).
2. 기억 인식 (Memory Awareness): 저장된 지식을 새로운 상황에 적용하고 규칙을 업데이트하는 능력.
   • Constraint: 암묵적인 조직 규범 적용.
   • Proactivity: 명시적 규칙 위반을 감지하고 경고.
   • Update: 시간적 우선순위를 고려하여 최신 규칙으로 업데이트.
3. 프로파일 이해 (Profile Understanding): 장기 대화에서 사용자의 성향을 추론하여 일관된 응답 생성.
   • Style: 화자의 커뮤니케이션 톤 (이모지, 공식성 등) 모방.
   • Skill: 화자의 기술적 역량에 맞는 제안 (예: 파이썬 전문가가 아닌 자바 전문가에게 파이썬 도구 추천 금지).
   • Role: 직무 역할에 맞는 관점 (개발자 vs QA) 으로 답변.

3. 주요 기여 (Key Contributions)

1. EverMemBench 도입: 다자간, 다그룹, 상호 의존적 작업을 가진 장기 협업 대화를 평가하는 최초의 벤치마크를 제안했습니다.
2. 새로운 평가 프레임워크: 단순 토큰 회상을 넘어, 세밀한 회상, 기억 인식, 프로파일 이해라는 3 가지 핵심 역량을 체계적으로 평가하는 기준을 마련했습니다.
3. 구조적 한계 규명: 기존 시스템이 직면한 근본적인 실패 모드를 규명하여, 단순한 문맥 길이 확장이 해결책이 아님을 증명했습니다.

4. 실험 결과 (Results)

GPT-4.1-mini, Gemini-3-Flash, LLaMA-4 등 최신 LLM 과 Zep, Mem0, MemOS 등 메모리 증강 시스템을 평가한 결과, 다음과 같은 심각한 한계가 발견되었습니다.

• 다자간 귀속의 붕괴 (Multi-party Attribution Collapse):
  • 단일 그룹 내 회상은 잘 수행되지만, 정보가 여러 그룹과 화자에 분산된 Multi-hop 추론에서는 정확도가 급격히 떨어집니다 (Gemini-3-Flash 기준 26.5%).
  • 오라클 (Oracle) 평가 (정답에 필요한 모든 증거를 모델에 직접 제공) 에서도 Multi-hop 정확도가 97% 로 상승하는 것을 보면, 문제는 정보 회수가 아닌 정보 통합 및 추론에 있음을 알 수 있습니다.
• 시간적 추론의 실패 (Temporal Reasoning Failure):
  • 단순 타임스탬프가 아닌, 이벤트의 생명주기 (시작, 수정, 완료, 아카이빙) 를 이해하는 **버전 의미론 (Version Semantics)**이 부족합니다.
  • 휴일을 제외한 '영업일' 계산이나, 여러 화자가 언급한 유사한 날짜 중 정확한 시점을 구분하는 데 실패합니다.
• 검색 기반 메모리의 한계 (Retrieval Bottleneck):
  • 기억 인식 (Memory Awareness) 태스크에서 검색 (Retrieval) 이 실패하여 관련 정보를 찾지 못하거나, 문맥적 단서를 놓치는 경우가 많습니다.
  • 특히 **프로파일 이해 (Profile Understanding)**에서 화자의 암묵적인 스타일 (이모지 사용, 톤) 은 검색 파이프라인에서 '노이즈'로 제거되어, 모델이 일관된 페르소나를 유지하지 못합니다.
• 시스템별 성능:
  • 긴 문맥을 직접 처리하는 Full-Context 모델 (Gemini-3-Flash) 이 검색 기반 모델보다 전반적으로 우수하지만, 여전히 Multi-hop 및 시간 추론에서 큰 격차가 존재합니다.
  • 검색 기반 시스템은 노이즈를 필터링하여 일부 성능을 개선하기도 하지만, 오히려 중요한 문맥을 잃어 성능이 저하되기도 합니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 LLM 의 장기 기억 평가에 있어 실제적인 협업 환경의 복잡성을 처음으로 체계적으로 다뤘다는 점에서 의의가 큽니다.

• 구조적 문제 제기: 현재 메모리 시스템의 실패는 단순히 문맥 길이가 부족해서가 아니라, 다자간 귀속, 시간적 버전 관리, 암묵적 관련성 추론이라는 구조적 한계 때문임을 증명했습니다.
• 향후 연구 방향 제시:
  • 단순한 스키마 기반 저장을 넘어, 버전화된 상태 (Versioned State), 이벤트 경계 (Episodic Boundaries), 그룹 간 의존성을 명시적으로 인코딩하는 아키텍처가 필요합니다.
  • 검색 (Retrieval) 과 추론 (Reasoning) 을 더 긴밀하게 통합하여, 표면적 유사도가 아닌 **추론적 관련성 (Inferential Relevance)**을 인식할 수 있어야 합니다.
• 차세대 LLM 개발의 기준: EverMemBench 는 시간, 역할, 협업 구조를 추론하는 차세대 LLM 개발을 위한 핵심 벤치마크로 자리 잡을 것입니다.

결론적으로, EverMemBench 는 단순한 성능 순위 경쟁을 넘어, 왜 현재 시스템이 실패하는지 진단하고 실제 협업 환경에 적합한 메모리 아키텍처를 설계하기 위한 필수적인 도구입니다.