LifeBench: A Benchmark for Long-Horizon Multi-Source Memory

이 논문은 기존 벤치마크가 명시적 기억에 국한된 한계를 극복하기 위해, 실제 디지털 흔적에서 암묵적 기억을 추론해야 하는 긴 시간 범위의 다중 소스 기억 능력을 평가하는 새로운 벤치마크 'LifeBench'를 제안하고 그 유효성을 검증합니다.

핵심

LifeBench: AI 의 '장기 기억력'을 시험하는 새로운 시험지

이 논문은 인공지능 (AI) 이 인간처럼 오랜 시간 동안 쌓인 기억을 어떻게 활용하고, 습관이나 습득된 기술을 기억할 수 있는지를 평가하는 새로운 기준 (벤치마크) 을 소개합니다.

기존의 AI 연구들은 주로 "어제 뭐 먹었어?" 같은 단순한 사실 기억 ( declarative memory) 에 집중했습니다. 하지만 실제 인간은 단순히 사실을 기억하는 것을 넘어, "아침에 커피를 마시는 습관", "스트레스를 받으면 산책을 하는 행동" 같은 무의식적인 습관과 기술 (non-declarative memory) 을 통해 살아갑니다.

이 논문은 AI 가 이러한 복잡한 인간 기억을 얼마나 잘 이해하고 있는지 테스트하기 위해 LifeBench라는 도구를 만들었습니다.

---

1. 왜 이 연구가 필요한가요? (기존의 한계)

기존의 AI 기억 테스트는 마치 **"완벽하게 정리된 일기장"**만 보고 문제를 푸는 것과 비슷했습니다. 모든 정보가 대화 (채팅) 로 명확하게 적혀 있었죠.

하지만 실제 인간의 삶은 다릅니다. 우리는 매일 수천 개의 디지털 흔적 (문자, 통화 기록, 캘린더, 건강 앱 데이터, 사진 등) 을 남깁니다. 이 중 중요한 기억은 조각조각 흩어져 있고, 때로는 직접 말로 표현되지 않는 습관으로 남아있죠.

비유하자면:
기존 테스트는 "친구가 '어제 영화 봤어'라고 말한 것"만 기억하는 AI 를 평가했습니다.
하지만 LifeBench 는 "친구가 영화관 티켓을 끊은 기록, 친구와 찍은 사진, 영화에 대한 감성적인 문자, 그리고 평소 영화 보는 습관"까지 모두 종합해서 **"친구의 성향과 최근 상태를 파악할 수 있는가?"**를 묻습니다.

2. LifeBench 는 어떻게 만들어졌나요? (현실적인 시뮬레이션)

실제 사람의 사생활 데이터를 모두 모으기는 어렵고 윤리적 문제가 있습니다. 그래서 연구팀은 AI 를 이용해 1 년 치의 가상의 인간 삶을 완벽하게 시뮬레이션했습니다.

• 인간 심리 기반: 단순히 무작위로 데이터를 쌓는 게 아니라, 심리학 이론을 바탕으로 '기억 시스템'을 설계했습니다. (사실 기억 + 습관/기술 기억)
• 밀도 높은 데이터: 하루에 약 14 개의 사건이 발생하고, 24 가지의 다양한 앱 (문자, 통화, 건강 기록 등) 에서 데이터가 생성됩니다.
• 현실감: 실제 지도 API 와 휴일 정보를 연결해, "비가 오면 우산을 챙긴다"거나 "명절에는 가족과 만난다"는 식의 현실적인 행동 패턴을 구현했습니다.

비유하자면:
연구팀은 10 명의 가상의 인물을 만들어, 1 년 동안 그들이 스마트폰을 어떻게 사용했는지, 어떤 일을 겪었는지, 건강은 어땠는지 모든 디지털 흔적을 완벽하게 재현했습니다. 마치 영화 속 캐릭터의 삶을 1 년 치로 녹여낸 것과 같습니다.

3. 어떤 질문을 던지나요? (5 가지 기억 능력)

이 벤치마크는 AI 에게 2,000 개 이상의 질문을 던지며 다음 5 가지 능력을 평가합니다.

1. 정보 추출 (IE): "어제 헬스장에 몇 시에 갔어?" (단순 사실 찾기)
2. 다단계 추론 (MR): "올해 마케팅 팀 동료들과 몇 번 만났어?" (여러 기록을 연결해 계산)
3. 시간과 지식 업데이트 (TKU): "수영을 처음 시작한 건 언제고, 지금은 얼마나 늘었어?" (시간 흐름에 따른 변화 추적)
4. 비선언적 기억 추론 (ND): "이 사람은 평소에 스트레스를 받으면 뭐를 할까?" (말하지 않은 습관과 성향 파악)
5. 답할 수 없는 질문 (UA): "5 월 8 일 우유를 몇 잔 마셨어?" (데이터에 없는 것은 모른다고 답해야 함)

4. 결과는 어땠나요? (AI 의 현실)

최고급 AI 모델들을 이 시험지에 풀어보게 했더니, 정답률이 고작 55% 정도였습니다.

• 현상: AI 는 간단한 사실은 잘 기억하지만, 시간이 지남에 따라 변하는 정보나, 말로 표현되지 않은 습관을 파악하는 데는 매우 취약했습니다.
• 의미: 현재 AI 는 여전히 '기억'보다는 '검색'에 가깝습니다. 인간처럼 경험을 통해 배우고, 습관을 형성하며, 복잡한 상황을 종합적으로 이해하는 능력은 아직 멀었습니다.

5. 이 연구의 의의

이 논문은 AI 개발자들에게 **"단순한 사실 기억을 넘어, 인간의 삶 전체를 이해하는 AI"**를 만들어야 한다는 신호를 보냅니다.

• 개인 비서: 사용자의 습관을 이해해 "오늘 비가 오는데, 평소처럼 산책 대신 실내 운동을 제안할까요?"라고 제안할 수 있습니다.
• 디지털 헬스: 건강 데이터와 생활 패턴을 연결해 "스트레스가 심할 때 수면이 깨지는 패턴이 있네요"라고 조언할 수 있습니다.

요약

LifeBench는 AI 에게 **"너는 내 친구의 일기장만 읽은 게 아니라, 친구의 삶을 살아본 것처럼 기억하고 있니?"**라고 묻는 시험입니다.

이 시험을 통해 우리는 AI 가 단순한 정보 저장고에서 벗어나, 인간의 습관과 감정을 이해하는 진정한 동반자로 성장할 수 있는 길을 찾고 있습니다. 아직 AI 는 이 시험에서 5 점 만점에 2.7 점 정도밖에 받지 못했지만, 이 벤치마크가 그 성장을 위한 나침반이 될 것입니다.

기술 요약

LifeBench: 장기 시간 범위 및 다중 소스 메모리를 위한 벤치마크 (Technical Summary)

이 논문은 개인화된 AI 에이전트의 핵심 요소인 **장기 기억 (Long-term memory)**의 한계를 극복하기 위해 제안된 LifeBench라는 새로운 벤치마크와 데이터 생성 프레임워크를 소개합니다. 기존 벤치마크가 명시적으로 대화에 포함된 사실적 정보 (선언적 기억) 에만 초점을 맞췄다면, LifeBench 는 일상생활에서 파편화된 디지털 흔적 (Digital Traces) 을 통해 추론해야 하는 **비선언적 기억 (습관, 절차, 선호도 등)**을 포함한 복잡한 기억 추론 능력을 평가합니다.

1. 문제 정의 (Problem Statement)

기존의 메모리 벤치마크 (LOCOMO, LongMemEval 등) 와 메모리 증강 시스템은 다음과 같은 한계를 가지고 있습니다:

• 선언적 기억에 대한 과도한 의존: 사실적 지식 (Semantic) 이나 개인적 경험 (Episodic) 과 같이 대화나 로그에 명시적으로 기록된 정보만 다룹니다.
• 비선언적 기억의 부재: 인간의 행동은 습관, 기술, 감정적 조건화 등 명시적 기록이 없는 **비선언적 기억 (Non-declarative memory)**에 의해 크게 좌우됩니다. 이를 평가할 수 있는 벤치마크가 부족합니다.
• 데이터의 희소성과 단순성: 실제 인간의 행동은 다양한 앱 (메시지, 캘린더, 건강 기록, 사진 등) 에 분산되어 있으며, 데이터가 파편화되고 노이즈가 많지만, 기존 데이터셋은 이를 충분히 반영하지 못합니다.
• 실제 데이터의 접근성 제한: 프라이버시 및 윤리적 문제로 인해 실제 사용자의 장기적이고 밀집된 행동 데이터를 수집하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 인간 인지 과학에 영감을 받은 시뮬레이션 프레임워크를 설계하여 1 년 분량의 고밀도 연결된 사용자 행동 데이터를 생성했습니다.

2.1. 설계 원칙

• 인지 과학 기반 합성: 선언적 기억 (사실, 경험) 과 비선언적 기억 (습관, 기술, 감정) 이 어떻게 상호작용하여 행동을 형성하는지 모델링합니다.
• 부분 계층 구조 (Partonomic Hierarchy): 사건을 '주제적 사건 (Thematic events)'에서 '원자적 사건 (Atomic events)'으로 분해하는 계층적 구조를 사용하여 시간적 일관성을 유지합니다.
• 다중 소스 디지털 흔적: 실제 생활에서 기억이 추론되는 방식 (채팅, 캘린더, SMS, 건강 기록, 알림 등) 을 시뮬레이션합니다.

2.2. 생성 파이프라인 (Synthesis Pipeline)

LLM 기반의 5 단계 모듈로 구성된 파이프라인을 사용합니다:

1. 페르소나 합성 (Persona Synthesis): 인구통계, 생활 습관, 성격, 사회적 관계, 장기 목표를 포함한 상세한 사용자 프로필을 생성합니다. (실제 익명화된 설문 데이터와 맵 API 를 활용하여 현실성 확보)
2. 계층적 개요 계획 (Hierarchical Outline Planning): 1 년 간의 전체적인 이야기 흐름 (Plot) 을 설정하고, 이를 월별 주제 사건과 일별 원자적 사건으로 분해합니다.
3. 이중 에이전트 일일 활동 시뮬레이션 (Dual-Agent Daily Activity Simulation):
   • 주관적 에이전트 (Subjective Agent): 사용자의 프로필과 비선언적 기억 (습관, 기분) 을 기반으로 일일 활동을 생성합니다.
   • 객관적 에이전트 (Objective Agent): 맵 API 와 물리적 제약을 활용하여 생성된 활동의 시간적, 공간적 타당성을 검증하고 수정합니다.
4. 휴대폰 데이터 생성 (Phone Data Generation): 생성된 활동을 바탕으로 연락처, SMS, 통화, 캘린더, 사진, 노트, 푸시 알림, 건강 기록 등 24 가지 유형의 디지털 흔적을 생성합니다. (의도적인 노이즈 데이터 포함)
5. 질문 생성 (QA Generation): 생성된 데이터에 기반하여 5 가지 유형 (정보 추출, 다중 홉 추론, 시간적/지식 업데이트, 비선언적 기억 추론, 답할 수 없는 질문) 의 질문을 동적으로 생성합니다.

2.3. 확장성 (Scalability)

기존 순차적 생성 방식 (1 인당 58 시간 소요) 의 비효율성을 해결하기 위해 병렬화 전략을 도입했습니다:

• 이벤트 분해 병렬화: 계층적 트리 구조에서 분해 가능한 노드를 병렬로 처리하여 시간을 단축.
• 시간 슬라이스 일일 시뮬레이션: 2 주 단위로 활동을 독립적으로 병렬 생성.
• 결과: 1 인당 1 년 분량의 데이터 생성 시간을 58 시간에서 8 시간으로 단축했습니다.

3. 주요 기여 (Key Contributions)

1. 인지 과학 기반 합성 시스템: 인간 기억 시스템 (선언적/비선언적) 을 모델링하고 부분 계층 구조를 통해 일관된 장기 행동 궤적을 생성하는 프레임워크 제안.
2. 다중 소스 데이터셋 및 벤치마크: 10 명의 사용자에 대해 1 년 분량의 데이터 (5,149 개 사건/인, 하루 평균 14 개 사건) 를 포함하며, 2,003 개의 질문으로 구성된 평가 세트를 제공합니다.
   • 데이터 특성: 하루 평균 23 개의 휴대폰 데이터 (앱 로그, 건강 기록 등) 를 포함하며, 문맥 깊이 (Context Depth) 가 기존 벤치마크보다 2 배 이상 큽니다.
3. 실증적 평가: 최신 메모리 시스템 (MemU, Hindsight, MemOS) 을 LifeBench 에서 평가하여 기존 벤치마크에서는 성능이 좋았으나, 본 벤치마크에서는 심각한 성능 저하를 보임을 입증했습니다.
4. 재현성 패키지: 전체 데이터셋, 생성 코드, 문서를 Apache License 2.0 하에 공개하여 투명하고 책임 있는 연구를 장려합니다.

4. 실험 결과 (Results)

• 성능 한계: 최첨단 메모리 시스템 중 가장 성능이 좋았던 MemOS조차도 전체 정확도가 **55.22%**에 불과했습니다. (Hindsight 는 40.99%)
• 비선언적 기억 추론의 어려움: 모든 시스템이 '비선언적 기억 추론 (ND)'과 '답할 수 없는 질문 (UA)' 카테고리에서 특히 낮은 점수를 기록했습니다. 이는 습관이나 선호도를 추론하거나, 정보가 부족할 때 정답을 모른다고 판단하는 능력이 부족함을 의미합니다.
• 오류 분석:
  • 시계열 추론 실패: 시간적 제약 조건을 무시하고 유사한 이벤트만 검색하는 경향.
  • 증거 누락 및 할루시네이션: 파편화된 데이터에서 핵심 정보를 놓치거나, 존재하지 않는 정보를 생성하는 오류가 빈번함.
  • 다중 소스 통합 실패: 텍스트, 이미지, 건강 데이터 등 다양한 소스의 정보를 통합하여 추론하는 능력이 부족함.

5. 의의 및 결론 (Significance)

• 차세대 메모리 시스템의 필요성: 단순한 사실 회상 (Recall) 을 넘어, 사용자의 생활 리듬과 습관을 이해하고 비선언적 기억을 추론할 수 있는 AI 에이전트 개발의 중요성을 강조합니다.
• 실제 적용 가능성: 이 벤치마크는 개인화된 AI 비서, 디지털 건강 코칭, 행동 연구 등 다양한 분야에서 실제 사용자의 복잡한 생활 패턴을 이해하는 시스템 개발에 필수적인 기준을 제공합니다.
• 윤리적 고려: 실제 데이터의 프라이버시 문제를 해결하면서도 현실적인 시나리오를 제공하는 합성 데이터의 가치를 입증했습니다.

결론적으로, LifeBench는 AI 가 인간의 장기 기억을 단순한 데이터 저장이 아닌, 습관과 맥락을 이해하는 '지능'으로 발전시키기 위한 중요한 도약대 역할을 할 것으로 기대됩니다.