기술 요약: Nous – 장기적 에이전트 메모리를 위한 예측적 세계 모델

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트는 지속적으로 진화하는 장기 기억의 결여라는 문제에 직면해 있다. 컨텍스트 윈도우는 단기적 회상을 제공하지만, 대화 기록은 외부적으로 영속화되지 않는 한 세션이 종료되면 소실된다. 기존의 메모리 시스템(예: RAG, 지식 그래프, 에피소드 저장소인 Memery 등)은 메모리를 정적인 사실의 데이터베이스로 취급한다. 저자들은 이러한 "저장(storage)" 패러다임이 다음과 같은 세 가지 구조적 실패 모드로 이어진다고 주장한다:

1. 충돌 맹목성(Conflict Blindness): 상충하는 기록들(예: 사용자의 직업 변경)이 원칙적인 해결 과정 없이 축적된다.
2. 휴리스틱 망각(Heuristic Forgetting): 삭제가 의미론적 관련성이나 불확inc성(uncertainty)이 아닌 시간에 기반하여 이루어진다.
3. 검색 그래뉴러리티 불일치(Retrieval Granularity Mismatch): 사실 저장소는 개별 레코드를 반환할 뿐, 시간이 흐름에 따라 가치를 집계하는 메커니즘(예: 한 사람이 지금까지 수행한 모든 활동 목록 작성)이 부족하다.

본 논문은 이러한 실패가 메모리를 단순한 저장소가 아니라, 예측 오류에 의해 업데이트되는 환경의 생성 모델(generative model)을 유지하는 뇌와 유사한 **예측적 세계 모델(predictive world model)**로 취급하지 않기 때문에 발생한다고 상정한다.

방법론: Nous 아키텍처

Nous는 메모리를 결정론적인 사실이 아니라, **차원(dimensions)**이라 불리는 범주형 확률 분포(categorical probability distributions)의 집합으로 구현한다.

핵심 추상화

• 차원 ($D_{e,a}$): 모든 엔티티-속성 쌍(예: Pranav, 고용주)에 대해, Nous는 가능한 값들의 어휘 집합에 대한 범주형 분포 $p(v)$를 유지한다. 이 분포의 최빈값(mode)은 에이전트의 현재 최선의 믿음을 나타낸다.
• 델타 ($\Delta$): 주요 저장물은 사실 그 자체가 아니라, 델타(delta), 즉 사전 믿음(prior belief)에서 사후 믿음(posterior belief)으로의 변화 기록이다. 델타에는 사전 분포, 사후 분포, 정보 이론적 놀라움(surprise), 타임스탬프, 그리고 뒷받침하는 근거가 포함된다.
• 놀라움 기반 업데이트(Surprise-Driven Updates): 들어오는 관측치는 정보 이론적 놀라움에 의해 점수가 매겨진다: $S = -\log_2 P(obs | D)$. 높은 놀라움(모순되는 증거)은 상당한 믿음의 수정을 트리거하는 반면, 낮은 놀라움(확증하는 증거)은 미미한 변화만을 초래한다.
• 베이지안 사후 분포(Bayesian Posterior): 업데이트는 폐쇄형 베이지안 사후 분포(Eq. 3)를 통해 계산된다. 이를 통해 명시적인 충돌 탐지 로직 없이도 확률 질량이 모순되는 증거 쪽으로 자연스럽게 이동할 수 있다.
• 엔트로피 붕괴(Entropy Decay, 망각): 일정 기간 $\Delta t$ 동안 업데이트되지 않은 차원은 균등 분포(uniform distribution)를 향해 지수적으로 혼합된다(Eq. 4). 이는 불확실성이 시간이 지남에 따라 증가함에 따라 발생하는 자연스러운 망각을 시뮬레이션하며, 이는 휴리스틱한 삭제 규칙에는 없는 특성이다.
• 아이덴티티 해소(Identity Resolution): 공유된 차원 집합 간의 대칭화된 KL 발산(symmetrized KL divergence)이 낮은 경우 엔티티들이 병합된다.

다중 값 속성 처리

단일 모드 범주형 분포는 역사적 대안들을 버리지 않고 본질적으로 다중 값을 갖는 속성(예: 방문한 도시 목록)을 표현하는 데 한계가 있다. Nous는 **델타-로그 집계(delta-log aggregation)**를 통해 이를 해결한다: 쿼리 시점에 놀라움이 임계값 $\theta_{min}$ 이상이었던 모든 값은 컨텍스트에 포함된다. 이는 특정 쿼리에 대한 포괄적인 집계를 허용하면서도 "현재 최선의 믿음"을 위한 베이지안 세계 모델을 보존한다.

파이프라인

• 주입(Ingestion): LLM은 세션에서 $(e, a, v)$ 트리플을 추출한다. 각 트리플에 대해 시스템은 놀라움을 계산하고, 사후 분포를 업데이트하며, 델타를 로그에 추가한다.
• 쿼리(Querying): 시스템은 관련 엔티티를 시딩하기 위해 엔티티 그래프를 너비 우선 탐색(BFS, 최대 2홉)한다. 차원 상태를 사실 라인으로 포맷팅하고, 상위 $k$개의 델타 레코드(BM25 유사도 기준)를 증거로서 추가한다. 이 컨텍스트는 답변을 생성하는 LLM에 전달된다.

주요 기여

1. 예측적 세계 모델 패러다임: 에이전트의 메모리를 사실 저장소가 아닌, 놀라움에 의해 업데이트되는 차원들의 집합으로 공식화했다.
2. 오픈 소스 구현: 외부 벡터 데이터베이스나 그래프 엔진이 필요 없는 완전한 시스템을 제공한다.
3. 평가 및 정직한 벤치마킹: LoCoMo 벤치마크를 통한 성능 평가와 함께, 베이스라인 비교(특히 A-MEM)에서 발견된 재현성 문제에 대한 명시적인 논의를 포함한다. 또한 유사한 전제를 가진 동시대 시스템인 BeliefMem과의 비교 분석을 제공한다.

결과

GPT-4o-mini를 백본으로 사용하여 LoCoMo 벤치마크(10개 대화, 1,540개 질문)에서 평가하였다:

• 성능: Nous는 다음과 같은 토큰 F1 점수를 달성했다:
  • Single-hop: 63.50
  • Multi-hop: 55.32
  • Temporal: 58.57
  • Open-domain: 62.50
• A-MEM과의 비교: Nous는 세 가지 카테고리에서 A-MEM의 자체 보고된 GPT-4o-mini 수치보다 실질적인 이득을 보였다. 저자들은 A-MEM의 결과에 대한 독립적인 인용들이 카테고리 할당에 있어 서로 상충하는 재현성 문제를 언급했다.
• BeliefMem과의 비교: 또 다른 믿음 기반 시스템인 BeliefMem과 비교했을 때, Nous의 자체 보고된 수치는 네 가지 카테 category 모두에서 BeliefMem을 상회했다 (예: single-hop에서 63.50 vs 48.41). 그러나 저자들은 추출 프롬프트, 검색 메커니즘(BM25/BFS vs similarity/decay), 검증되지 않은 질문 수의 차이로 인해 이것이 완전히 통제된 비교는 아님을 명시했다.
• 실패 분석:
  • Single-hop: 높은 컨텍스트 회상률(86.07%)을 보였으나 F1 점수는 낮았으며(63.50), 이는 병목 현상이 검색이 아닌 LLM의 답변 생성 단계에 있음을 나타낸다.
  • Open-domain: 가장 낮은 컨텍스트 회상률(47.50%)과 가장 높은 검색 누락률(37%)을 보였으며, 이는 엔티티-속성 차원 모델이 성격이나 습관 질문을 깔끔하게 매핑하는 데 어려움을 겪음을 시사한다.
  • Temporal: 시간적 데이터가 명시적인 차원 값보다는 증거 텍스트 내에 포함되어 있는 경우가 많기 때문에 낮은 컨텍스트 회상률(61.82%)로 인해 어려움을 겪는다.

의의 및 주장

본 논문은 Nous가 데이터베이스 중심의 메모리 아키텍처에 대한 실행 가능한 대안임을 입증한다고 주장한다. 메모리를 "무슨 일이 일어났는가"의 저장소가 아니라, 놀라움에 의해 업데이트되는 세계의 상태에 대한 확률 분포로 모델링함으로써, 예측 코딩(predictive coding) 및 자유 에너지 원리(free-energy principle)와 같은 인지 과학 원칙에 기반하여 모순(확률 이동을 통해), 망각(엔트로피 붕괴를 통해), 집계(델타 로그를 통해)를 자연스럽게 처리한다.

저자들은 이 작업을 새로운 아키텍처에 대한 첫 번째 공개 보고로 위치시킨다. 그들은 결과에 대해 겸허한 태도를 취한다:

• BeliefMem과의 비교는 매칭된 파이프라인을 통한 통제된 비교가 이루어지기 전까지는 "제안적일 뿐 결정적이지 않다"고 밝힌다.
• 차원의 단일 모드 특성은 집합형 속성에 대한 한계로 인정되며, 독립적인 베르누이 분포(Bernoulli distributions)로의 이동을 계획 중이다.
• 현재 평가는 LoCoMo와 GPT-4o-mini에 국한되어 있으며, 다른 백본 및 더 어려운 벤치마크(LongMemEval)로의 일반화가 계획되어 있다.

핵-심적인 의의는 아키텍처의 전환에 있다: 에이전트의 메모리를 단순히 "발생한 사건"의 저장소가 아니라, 예측 코딩과 자유 에너지 원리 같은 인지 과학 원칙에 근거하여 지속적으로 정교화되는 세계의 상태에 대한 확률 분포로 취급하는 것이다.