💻 computer science

ENGRAM: Effective, Lightweight Memory Orchestration for Conversational Agents

ENGRAM은 상호작용을 세 가지 정형화된 메모리 유형으로 구성하고 밀집 검색을 활용하는 단순한 라우터-리트리버 아키텍처를 사용하여 복잡한 지식 그래프나 다단계 파이프라인의 필요성을 제거하는 동시에 토큰 사용량을 크게 줄임으로써, 대화형 에이전트에서 최첨단 수준의 장기적 일관성을 달로하는 경량 메모리 시스템입니다.

원저자: Daivik Patel, Shrenik Patel

게시일 2026-02-04

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Daivik Patel, Shrenik Patel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하지만 기억력이 형편없는 친구와 대화하고 있다고 상상해 보세요. 대화를 마칠 때마다 그 친구는 방금 당신이 한 말을 모두 잊어버립니다. 만약 내일 다시 대화를 시도한다면, 그 친구는 당신을 한 번도 만난 적 없는 것처럼 행동할 것입니다. 이것이 현재 AI 챗봇이 작동하는 방식입니다. 그들은 기억의 "창(window)"을 가지고 있으며, 대화가 너무 길어지면 오래된 내용이 밀려나 사라지고, AI는 무언가를 잊어버리거나 멋대로 지어내기 시작합니다.

이를 해결하기 위해, 연구자들은 AI를 위한 믿기 힘들 정도로 복잡한 "기억 기계"를 구축해 왔습니다. 그들은 거대한 디지털 서류함, 정교한 연결 지도(거미줄 같은), 그리고 무엇을 언제 기억할지 결정하는 복잡한 스케줄러 등을 사용합니다. 이는 단순히 짧은 대화를 기억하기 위해 거대한 도서관과 사서, 카탈로그 로봇, 그리고 보안 시스템까지 구축하는 것과 같습니다.

ENGRAM의 등장.

이 논문은 AI에게 기억을 부여하는 새로운 방법인 ENGRAM을 소개합니다. 저자들은 거대하고 복잡한 도서관이 필요한 것이 아니라, 그저 단순하고 정리된 노트 한 권만 있으면 된다고 주장합니다.

ENGRAM이 어떻게 작동하는지 다음의 간단한 비유를 통해 설명하겠습니다.

세 개의 서랍이 있는 책상

모든 노트를 하나의 크고 지저분한 더미로 던져두는 대신, ENGRAM은 AI에게 정확히 세 개의 특정 서랍이 있는 책상을 제공합니다.

"무슨 일이 있었나" 서랍 (일화적 기억/Episodic): 이야기와 사건을 위한 것입니다. 예: "화요일에, 사라는 매운 음식을 좋아한다고 말했다."
"내가 아는 것" 서랍 (의미적 기억/Semantic): 사실과 선호도를 위한 것입니다. 예: "사라는 땅콩 알레르기가 있다."
"방법" 서랍 (절차적 기억/Procedural): 지침과 규칙을 위한 것입니다. 예: "사라가 레시피를 물어보면, 항상 매운 옵션을 제안하라."

당신이 AI에게 무언가를 말할 때마다, 똑똑하지만 단순한 "라우터(router, 분류기)"가 당신의 문장을 살펴보고 그것이 어느 서랍에 속하는지 결정합니다. 그리고는 표준화된 형식으로 노트를 작성하여 저장합니다.

검색 과정

나중에 당신이 질문을 하면, AI는 자신의 전체 기록을 읽으려고 노력하지 않습니다(이는 단 한 문장을 찾기 위해 도서관의 모든 책을 읽는 것과 같습니다). 대신, AI는 빠르고 표적화된 검색을 수행합니다:

"무슨 일이 있었나" 서랍에서 가장 관련성이 높은 상위 20개의 노트를 찾습니다.
"내가 아는 것" 서랍에서 상위 20개의 사실을 찾습니다.
"방법" 서랍에서 상위 20개의 지침을 찾습니다.

그다음 이 노트들을 결합하여 질문에 답하는 데 도움이 되도록 AI에게 전달합니다. 노트들이 유형별로 정리되어 있기 때문에, AI는 이야기와 사실이 뒤섞여 혼란을 겪지 않습니다.

이것이 왜 중요한가 (결과)

연구진은 두 가지 어려운 과제를 통해 ENGRAM을 테스트했습니다:

LoCoMo: AI가 길고 여러 차례 이어진 대화의 세부 사항을 기억해야 하는 테스트입니다.
LongMemEval: 대화 기록이 엄청나게 방대한(마치 책 한 권 전체를 읽는 것과 같은) 테스트입니다.

결과는 놀라웠습니다:

더 똑똑합니다: ENGRAM은 화려한 도서관과 스케줄러를 갖춘 복잡한 시스템들보다 더 높은 점수를 받았습니다. 더 잘 기억했고 실수를 덜 했습니다.
더 빠릅니다: 전체 대화의 아주 작은 부분(약 1%)만을 읽기 때문에 훨씬 더 빠르게 답변합니다.
더 저렴합니다: 아주 적은 양의 "메모리 토큰"(노트를 저장하는 데 필요한 디지털 공간)만을 사용함으로써, 막대한 컴퓨팅 자원을 절약합니다.

핵심 요점

이 논문은 "더 복잡할수록 더 좋다"라는 생각에 도전합니다. 저자들은 기억을 세 가지 명확한 유형으로 정리하고 단순한 검색 방법을 사용하는 것만으로도, 복잡한 시스템 없이 긴 대화를 효과적으로 기억하는 AI를 구축할 수 있음을 보여줍니다.

이렇게 생각해 보세요. 친구의 생일을 기억하기 위해 고도의 기술이 집약된 AI 기반의 뇌가 필요한 것이 아닙니다. 그저 "생일"이라는 명확한 섹션이 있는 달력만 있으면 됩니다. ENGRAM은 바로 AI를 위한 그 달력입니다.

기술 요약: ENGRAM

1. 문제 정의

사용자 대상 애플리케이션에 배포되는 대규모 언어 모델(LLM)은 장기적 일관성(long-horizon consistency), 즉 이전 상호작용을 기억하고, 사용자 선호도를 존중하며, 과거의 사건에 근거하여 추론하는 능력을 필요로 합니다. 그러나 표준 LLM은 입력이 컨텍스트 창을 초과하면 초기화되므로, 망각, 모순, 또는 사전 학습 데이터에 대한 과도한 의존성과 같은 취약한 동작을 보입니다.

기존의 노력들은 컨텍스트 창을 확장하거나 복잡한 메모리 시스템을 구축하려고 시도해 왔으나, 현대의 접근 방식들은 지식 그래프, 다단계 검색 파이프라인, 또는 운영체제 스타일의 스케줄러를 포함하는 정교한 아키텍처에 의존하는 경우가 많습니다. 저자들은 이러한 설계가 상당한 엔지니어링 복잡성, 재현성 문제, 그리고 지연 시간 오버헤드를 유발하며, 효과적인 장기 기억에 필요한 근본적인 메커니즘을 오히려 가린다고 주장합니다.

2. 방법론: ENGRAM 아키텍처

ENGRAM은 아키텍처의 복잡성이 아닌 단순함을 통해 높은 성능을 달 구현하는 경량화된 최첨단 메모리 시스템으로 제안되었습니다. 이 시스템은 대화를 에피소드적(episodic), 의미적(semantic), **절차적(procedural)**이라는 세 가지 정형화된 메모리 유형으로 조직하며, 단일 라우터와 단일 리트리버를 통해 관리합니다.

시스템은 다음의 5가지 단계로 작동합니다 (논문의 그림 1 참조):

라우팅(Routing): 라우터는 각 유입되는 사용자 발화(utterance)를 분석하고, 이를 어떤 세 가지 메모리 버킷(에피소드, 의미, 절차)에 업데이트해야 하는지 결정합니다. 이는 압축된 3비트 마스크로 표현됩니다.
추출 및 임베딩(Extraction & Embedding): 선택된 각 버킷에 대해, 경량 추출기가 발화를 특정 스키마를 가진 정규화된 레코드로 변환합니다:
- 에피소드적(Episodic): 시간 제한이 있는 이벤트를 인코딩합니다 (필드: 제목, 요약, 시간적 앵커, 임베딩).
- 의미적(Semantic): 안정적인 사실이나 선호도를 보존합니다 (필드: 사실 문자열, 시간적 앵커, 임베딩).
- 절차적(Procedural): 지침이나 워크플로우를 유지합니다 (필드: 제목, 정규화된 내용, 시간적 앵커, 임베딩).
  이 레코드들은 밀집 벡터 임베딩(dense vector embeddings)과 쌍을 이루어 로컬 SQLite 데이터베이스에 저장됩니다.
밀집 검색(Dense Retrieval): 쿼리 시점에 시스템은 쿼리를 임베딩하고, 세 가지 저장소 각각에서 독립적으로 상위- $k$ 아이템을 (코사인 유사도에 의해) 검색합니다.
집계 및 절단(Aggregation & Truncation): 세 저장소에서 검색된 결과는 병합, 중복 제거된 후 고정된 예산(예: 총 레코드 $K=25$ )으로 절단됩니다. 이 집합 집계 전략은 이질적인 증거 유형(이벤트, 사실, 지침)이 모델에 전달되기 전에 모두 표현되도록 보장합니다.
답변 생성(Answer Generation): 선택된 레코드들은 시간적 앵커와 함께 직렬화되어 쿼리와 함께 프롬프트에 주입됩니다. 다중 화자 대화를 처리하기 위해, 시스템은 목소리의 혼선을 방기하기 위한 화자별 뱅크(speaker-specific banks)를 유지합니다.

3. 주요 기여

최소주의적 메모리 패러다임: 본 논문은 복잡한 그래프 기반 또는 스케줄러 중심의 메모리 시스템을 향한 추세를 반박합니다. 저자들은 세심한 메모리 유형화(에피소드, 의미, 절차 데이터의 분리)와 직관적인 밀집 검색을 결 Combining하는 것만으로도 최첨단 결과를 달성하기에 충분함을 입증합니다.
유형별 분리: 메모리를 유형별 저장소로 분할함으로써, ENGRAM은 검색 시 발생하는 경쟁을 줄입니다. 이는 서로 다른 카테고리에서 온 관련 없는 항목들이 단일 글로벌 랭킹에서 경쟁하는 것을 방지하여, 다양한 증거 유형이 보존되도록 합니다.
재현성 및 단순성: 시스템은 해석 가능하고, 교체가 용이하며, 재현 가능하도록 설계되었습니다. 단일 라우터와 리트리버를 사용하여 다단계 파이프라인에서 발견되는 "자유도(degrees of freedom)" 문제를 피합니다.
포괄적인 평가: 저자들은 절제 연구(ablation studies) 및 다양한 베이스라인과의 비교를 포함한 완전한 구현 및 평가 하네스를 제공합니다.

4. 결과

시스템은 두 가지 벤치마크인 LoCoMo(다중 세션 대화형 QA)와 LongMemEval(확장된 범위의 대화형 QA)에서 평가되었습니다.

LoCoMo 성능:
- ENGRAM은 Mem0, MemOS, LangMem, Zep 및 전체 컨텍스트 제어 그룹을 포함한 모든 베이스라인 중에서 가장 높은 전체 의미적 정확도(LLM-as-Judge 점수: 77.55%)를 달성했습니다.
- 특히 멀티홉(multi-hop)(79.79%) 및 오픈 도메인(72.92%) 추론에서 강력한 격차를 보였습니다.
- 효율성: ENGRAM은 증거 컨텍스트를 위해 평균 916 토큰을 사용하였으며, 이는 대부분의 베이스라인 대비 35% 이상 감소한 수치인 동시에 우수한 정확도를 유지했습니다.
- 지연 시간: 중앙값 총 응답 시간이 1.487초인 ENGRAM은 전체 컨텍스트 베이스라인(9.94초)보다 훨씬 빨랐으며(약 85% 감소), 정확도 측면에서도 이들을 능가했습니다.
LongMemEval 성능 (스케일링):
- 히스토리가 몇 배나 더 긴 LongMemEvalS에서 테스트했을 때, ENGRAM은 전체 컨텍스트 베이스라인보다 15 절대 포인트 앞섰습니다 (71.40% vs. 56.20%).
- 결정적으로, ENGRAM은 전체 컨텍스트 방식이 요구하는 토큰의 약 1%(1.0–1.2K vs. 101K)만을 사용하면서 이 성과를 달성했습니다.
- 이는 이 아키텍처가 거대한, 산만한 컨텍스트를 모델이 헤매게 만드는 대신, 고신호(high-signal) 이벤트와 사실을 부각시키는 효과적인 정보 병목(information bottleneck) 역할을 한다는 것을 시사합니다.

5. 의의 및 주장

본 논문은 메모리 시스템의 아키텍처 복잡성을 높이려는 일반적인 추세가 불필요하다고 상정합니다. 저자들은 유형화된 메모리 분리와 직관적인 밀집 검색이 장기적 추론을 유지하기에 충분하다고 주장합니다.

복잡성에 대한 도전: 결과는 장기 기억을 위해 복잡한 스케줄러나 무거운 그래프 구축이 필요하다는 가설에 직접적으로 도전합니다.
확장성: 시스템은 단순한 설계가 성능 저하 없이 극단적인 범위(LongMemEval)까지 일반화될 수 있음을 보여주며, 히스토리를 압축된 고신호 증거 세트로 필터링함으로써 "중간 소실(lost-in-the-middle)" 효과를 효과적으로 완화합니다.
실용성: ENGRAM은 토큰 예산과 지연 시간을 줄이면서 정확도를 개선함으로써, 엄격한 효율성 제약이 있는 실제 배포 시나리오에서 실행 가능한 토대를 제공합니다.

저자들은 결론적으로 ENGRAM이 정확도-효율성 경계(accuracy-efficiency frontier)를 이동시키는 투명하고 재현 가능한 베이스라인 역할을 하며, 정교한 오케스트레이션보다 단순함이 대화형 메모리 영역에서 더 뛰어난 성능을 발휘할 수 있음을 증명한다고 밝힙니다.