기술 요약: Engram – LLM 에이전트를 위한 이시적(Bi-Temporal) 메모리 엔진

1. 문제 정의

장기 기억은 LLM 에이전트에게 있어 핵심적인 공백으로 남아 있으며, 에이전트는 본질적으로 세션 간에 상태를 유지하지 못하는(stateless) 특성을 가집니다. 이를 해결하기 위해 널리 사용되는 임시방편인 '전체 대화 이력을 프롬프트에 결합하는 방식'은 다음과 같은 세 가지 복합적인 문제를 야기합니다:

1. 비용 및 지연 시간: 토큰 비용과 추론 지연 시간이 이력 길이에 따라 선형적으로 증가합니다.
2. 정확도 저하: 무관한 턴(distractors)이 축적됨에 따라 모델이 관련 증거를 찾는 데 어려움을 겪는 "중간에서 길을 잃는(lost in the middle)" 현상이 발생합니다.
3. 재현성 위기: 기존의 메모리 벤치마크들은 일관되지 않은 평가 하네스(데이터 주입 방식, 답변 프롬프트, 판정 모델의 차이 등)로 인해, 동일한 시스템이 출처마다 상이한 점수를 기록하는 모순된 성능 보고를 낳고 있습니다.

현재의 메모리 시스템들은 흔히 비용이나 속도를 최적화하는 데 집중하지만, 전체 컨텍스트 베이스라인의 정확도를 뛰어넘지는 못합니다. 본 논문은 정밀하게 검색된 간결한 컨텍스트 조각이 노이즈가 섞인 전체 윈도우보다 더 저렴할 뿐만 아니라 더 정확할 수 있음을 주장합니다.

2. 방법론: Engram 시스템

Engram은 이시적(bi-temporal) 데이터 모델을 기반으로 구축된 오픈 소스 이중 프로세스 메모리 엔진입니다. 이 시스템은 메모리 작업을 빠른 쓰기 경로(fast write path)와 비동기적 통합 경로(asynchronous consolidation path)로 분리하며, 이는 하이브리드 읽기 경로(hybrid read path)로 이어집니다.

2.1 이시적 데이터 모델

시스템은 시간을 두 개의 축을 가진 일급 시민(first-class citizen)으로 취급합니다:

• 이벤트 시간 (유효 시간, Event Time/Valid Time): 사실이 세상에서 참이었던 시점.
• 트랜잭션 시간 (Transaction Time): 시스템이 해당 사실을 학습하거나 철회한 시점.
• 데이터 구조:
  • 에피소드 (Episodes): 두 가지 시간 축이 찍힌(stamped), 손실 없는 원시 턴/이벤트.
  • 사실 (Facts): 표면 텍스트, 임베딩, 중요도 점수, 출처를 포함하는 원자적(Subject, Predicate, Object) 주장. 각 사실은 valid_at/invalid_at 및 created_at/expired_at 타임스탬프를 가집니다.
  • 그래프 (Graph): 이시적 엣지를 가진 엔티티와 관계.
• 불변 법칙: 사실은 절대 강제 삭제되지 않습니다. 모순된 사실은 무효화(invalid_at 표시)되며, 새로운 사실에 의해 대체되어 완전한 감사 추적(audit trail)과 출처를 보존합니다.

2.2 이중 프로세스 아키텍처

• System-1 (Hot Write Path - 빠른 쓰기 경로):
  • 작동: 손실 없는 에피소드를 추가하고, 세션 간 정체성(identity)을 해결하며, 가벼운 임베딩을 계산한 뒤 통합을 위해 큐에 넣습니다.
  • 제약 사항: 크리티컬 패스(critical path)에서 LLM 호출을 수행하지 않으며, 지연 시간을 50ms 미만으로 유지합니다.
• System-2 (Async Consolidation - 비동기 통합 경로):
  • 작동: 원자적 사실을 추출(규칙 기반 또는 LLM 기반)하고, 이시적 지식 그래프를 구축하며, 충돌을 감지하고, 대체된 사실을 무효화합니다.
  • 충돌 해결: "저비용 우선 후 단계적 격상(cheap-then-escalate)" 정책을 사용합니다. 정확한 슬롯 일치나 명확한 시간적 모순은 LLM 호출 없이 해결됩니다. 모호한 경우에만 LLM 판정가(adjudicator)로 격상됩니다.
  • 중요도 (Salience): 강화되지 않은 기억이 서서히 사라지도록 감쇠/강화 점수를 적용합니다.
• 하이브리드 읽기 경로 (Hybrid Read Path):
  • 검색 (Retrieval): 쿼리를 분해하고 네 가지 병렬 채널(밀집 의미론적 BGE 임베딩, 어휘적 BM25, 그래프 순회 n-hop, 최신성/중요도)을 통해 검색합니다.
  • 융합 (Fusion): 상호 순위 융합(RRF)과 선택적 교차 인코더 재순위를 사용하여 순위 목록을 결합합니다.
  • 필터링 (Filtering): 이시적 "as-of" 필터를 적용하여(특정 시점에 유효한 사실 검색) 절제 게이트(abstention gate)를 적용합니다(증거가 부재할 경우 답변 거부).
  • 컨텍스트 조립 (Context Assembly): 충돌이 해결된 사실, 관련 원시 세션 청크, 세션 요약을 포함하는 압축된 컨텍스트를 구성합니다.

2.3 재현 가능한 평가 하네스

저자들은 측정 무결성 문제를 제거하기 위해 설계된 중립적인 인-레포(in-repo) 평가 하네스를 기여합니다:

• 공식 판정가 (Official Judge): 자체 제작된 판정 모델 대신 LongMemEvalS의 공식 카테고리별 판정 프롬프트를 사용합니다.
• 전체 컨텍스트 베이스라인 (Full-Context Baseline): 모든 비교에 전체 이력 베이스라인을 포함합니다.
• 무결성 수정: 전체 컨텍스트 절단 문제(베이스라인이 전체 건초더미를 볼 수 있도록 보장)와 "전체 이력 앞에 사실을 전치하는 문제"(테스트가 단순한 메모리 증강이 아닌 검색을 측정하도록 보장)를 바로잡습니다.
• 결정론 (Determinism): 단위 테스트를 위해 의존성이 없는 오프라인 폴백(fallback)으로 실행되며, 모든 지표에 대해 가공되지 않은 질문별 로그를 공개합니다.

3. 주요 기여

1. 이중 프로세스 엔진: 대부분의 충돌을 LLM 호출 없이 해결하는 비파괴적 충돌 해결(무효화 vs 덮어쓰기) 기능을 갖춘 메모리 시스템.
2. 경험적 정확도 향상: 간결한 컨텍스트(9.6k 토큰)가 전체 컨텍스트 베이스라인(79k 토큰)보다 더 높은 정확도를 달성함을 입증.
3. 중립적 하네스: 공식 판정가, 전체 컨텍스트 베이스라인, 공개된 원시 로그를 탑재하여 분야의 재현성 위기를 해결하는 재현 가능한 평가 파이프라인 제공.
4. 하이브리드 읽기 경로 통찰: "사실 전용" 검색 경로가 재현율(recall)을 놓친다는 점을 식 발견하였으며, 상세 내용을 복구하기 위해서는 충돌이 해결된 사실과 원시 세션 청크를 결합하는 것이 필수적임을 밝힘.

4. 결과

공식 판정가를 사용하여 LongMemEvalS 벤치마크(7개 카테고리에 걸친 500개 질문)에서 평가한 결과:

• 전체 정확도: Engram의 간결한 구성은 **83.6%**의 정확도를 달성하였으며, 이는 **73.2%**를 기록한 전체 컨텍스트 베이스라인보다 10.4% 포인트 높습니다.
• 효율성: 간결한 구성은 약 8배 적은 토큰(9.6k vs 79k)을 사용하면서도 더 높은 정확도를 유지했습니다.
• 통계적 유의성: 이 격차는 통계적으로 결정적입니다 (McNemar exact test, $p < 10^{-6}$). Engram은 베이스라인이 놓친 81개 질문을 맞춘 반면, 반대의 경우는 29개에 불과했습니다.
• 오류율: 두 시스템 모두 500개 질문 중 0개의 오류를 기록했습니다 (시스템 실패 없음).
• 카테고리별 성능:
  • 지식 업데이트 (Knowledge-Update): 87.5% (무효화/대체를 통해 이득을 얻음).
  • 시간적 추론 (Temporal Reasoning): 81.1% ("as-of" 필터링을 통해 이득을 얻음).
  • 절제 (Abstention): 86.7% (메모리에 답이 없을 때 시스템이 올바르게 답변을 거부함).
  • 다중 세션 집계 및 선호도 (Multi-session Aggregation & Preference): 각각 79.3%와 73.3%로 낮은 점수를 기록했으며, 이는 개선 여지가 남아 있는 영역으로 식별되었습니다.
• 절제 실험 관찰 (Ablation Observation): 사실을 전체 이력 앞에 전치한 변형 모델(engram_full)은 83.4%를 기록하여 간결한 버전과 유사했습니다. 이는 구조화된 사실이 정확도 향상을 주도하는 반면, 전체 이력은 정확도를 개선하지 못한 채 토큰만 추가한다는 것을 시사합니다.

5. 의의 및 주장

본 논문은 두 가지 주요 기여를 주장합니다:

1. 비용 최적화를 넘어선 품질 향상: Engram은 장기 기억이 단순히 비용 절감 수단이 아니라 품질 향상 메커니즘이 될 수 있음을 보여줍니다. 디스트랙터(distractors)를 필터링함으로써, 간결하게 검색된 조각이 전체 컨텍스트 윈도우보다 더 정확합니다.
2. 측정 무결성: 저자들은 일관되지 않은 하네스로 인해 벤치마크 수치가 종종 논쟁의 대상이 된다고 주장합니다. 공식 판정가와 전체 컨텍스트 베이스라인을 갖춘 중립적이고 재현 가능한 하네스를 제공함으로써, "신뢰할 수 있는 점수판"이 시스템 자체만큼 가치 있다는 점을 강조합니다.

저자들은 단일 벤치마크와 단일 답변 백본을 기반으로 했다는 한계를 겸허히 인정하며, 다중 세션 집계 및 선호도 처리를 향후 과제로 꼽았습니다. 시스템은 오프라인 폴백을 지원하여 스스로 호스팅이 가능하도록 설계되었으며, 외부 API 의존성 없이 데이터 프라이버시와 재현성을 보장합니다.