기술 요약: Eywa – AI 에이전트를 위한 출처 기반 장기 기억(Provenance-Grounded Long-Term Memory)

1. 문제 정의

여러 세션에 걸쳐 작동하는 AI 에이전트는 정보를 검색, 감사, 업데이트 및 삭제할 수 있는 기억 시스템을 필요로 합니다. 현재의 메모리 아키텍처는 종종 소스 증거, 추출된 사실, 검색된 컨텍스트 및 답변 정책을 하나의 불투명한 프롬프트 경로로 붕괴시켜 통합합니다. 이러한 "블랙박스" 접근 방식은 실패 진단을 어렵게 만듭니다. 잘못된 답변이 누락된 증거, 지원되지 않는 추출, 오래된 상태, 검색 손실 또는 답변 모델의 행동에서 기인했는지 알 수 없으며, 엔드 투 엔드 벤치마크는 일반적으로 단일한 집계 점수만을 보고하기 때문입니다.

나아가, 대규모 언어 모델(LLM)의 컨텍스트 창을 단순히 확장하는 것만으로는 불충분합니다. 롱 컨텍스트 모델은 규모가 커질수록 높은 계산 비용이 발생하며, 프롬프트 중간에 위치한 증거를 안정적으로 검색하거나 작업이 유효한 컨텍스트 크기를 초과할 때 실패하는 경우가 많습니다. 기존 시스템 또한 불변의 소스 데이터와 파생된 신념(belief)을 구분하는 데 어려움을 겪고 있어, 클레임을 검증하거나, 사용자 삭제를 수행하거나, 전체 이력을 다시 처리하지 않고 특정 기억 오류를 수정하는 것을 어렵게 만듭니다.

2. 방법론: Eywa 아키텍처

Eywa는 "신념 이전에 증거(evidence before belief)"라는 원칙에 기반한 **출처 기반 메모리 아키텍처(provenance-grounded memory architecture)**를 도입합니다. 이는 메모리 라이프사이클을 불변의 증거 캡처, 검증된 신념 추출, 결정론적 검색, 그리고 정책이 분리된 답변 합성의 구별되고 감사 가능한 단계로 분리합니다.

2.1. 핵심 객체 및 불변성(Invariants)

Eywa는 세 가지 뚜렷한 메모리 객체를 정의하며, 증거가 신념에 앞선다는 불변성을 유지합니다:

1. 증거(Evidence): 불변의 소스 자료 (원시 사용자 턴, 타임스탬프, 역할, 메타데이터). 이는 권위 있는 기질(substrate)입니다.
2. 시그널(Signals): LLM 호출 없이 결정론적 탐지기를 통해 추출된 증거 위의 유형화된 탐지 결과 (날짜, 엔티티, 결정, 수정 사항).
3. 신념(Beliefs): LLM에 의해 도출된 정형화된 사실 또는 관찰. 이는 소스 증거에 의해 뒷받침되는 범위 내에서만 유효하며, 출처 메타데이터를 통해 소스 증거와 연결된 상태를 유지합니다.

2.2. 쓰기 경로(Write Path): 신념 이전의 증거

쓰기 프로세스는 근거 있는 추출을 보장하기 위해 두 단계로 운영됩니다:

• Tier 0 (불변 캡처): 모든 사용자 턴은 불변의 증거 행으로 저장됩니다. 결정론적 시그널 탐지기는 타입화된 앵커(예: 날짜, URL, 금액)를 추출하여 검증 기질 역할을 수행합니다.
• Tier 1 (검증된 추출): LLM이 후보 사실을 제안합니다. 검증 함수는 이 후보들을 Tier 0 증거 및 시그널과 대조하여 다음을 확인합니다:
  • 지원(Support): 소스 텍스트와의 어휘적 및 퍼지(fuzzy) 중첩.
  • 하드 앵커(Hard Anchors): 결정론적 값(날짜, ID, 금액)의 정확한 일치.
  • 주체 및 행위(Subject & Act): 주장된 주체가 존재하는지, 그리고 부정/불확실성이 보존되었는지 확인.
  • 결과: 검증된 사실만이 출처 증거와의 연결 고리를 유지한 채 정형화된 신념으로 기록됩니다. 실패한 후보는 거부되거나 수정을 위해 표시됩니다.

2.3. 읽기 경로(Read Path): 결정론적 다중 경로 검색

Eywa의 읽기 경로는 **LLM 프리(LLM-free)**입니다 (쿼리 수신과 컨텍스트 반환 사이에는 LLM 호출이 전혀 발생하지 않습니다). 결정론적 쿼리 플래너를 사용하여 질문의 형태(예: 추론, 리스트, 시간적)를 분석하고 여러 검색 경로에 가중치를 할당합니다:

• 벡터 검색(Vector Search): 임베딩 코사인 유사도.
• 키워드 검색(Keyword Search): SQLite FTS5 BM25 매칭.
• 시간적 검색(Temporal Search): 사실의 유효 기간에 따른 필터링.
• 엔티티/그래프 검색(Entity/Graph Search): 추출된 엔티티를 기반으로 지식 그래프 탐색.
• 지원 채널(Support Channels): 정확한 질문을 위한 원시 에피소드 구조(raw-episode rescue) 및 추론 작업을 위한 추론 지원.

각 경로의 후보들은 **가중치 재순위 지정 융합(Weighted Reciprocal Rank Fusion, RRF)**을 사용하여 융합됩니다. 융합 후 필터는 인물 강등(잘못된 엔티티에 대한 사실에 페널티 부여) 및 보존 하한선(높은 순위의 후보가 노이즈에 의해 묻히는 것을 방지)을 적용합니다. 최종 순위 목록은 토큰 예산 내의 제한된 컨텍스트 문자열로 패킹됩니다.

2.4. 답변 정책 분리

시스템은 답변 모델에 두 가지 별도의 필드를 반환합니다:

1. 컨텍스트(Context): 검색된 메모리 증거.
2. 답변 지침(Answer Instructions): 모델이 증거를 어떻게 사용할지 규정하는 명시적인 정책 텍스트 (예: strict, balanced, advanced).
   이러한 분리를 통해 동일한 메모리 기질을 검색 아키텍처를 변경하지 않고도 다양한 모델 체제(프런티어, 저비용, 로컬) 및 정책에 걸쳐 평가할 수 있습니다.

3. 주요 기여

1. 출처 기반 모델(Provenance-Grounded Model): 불변의 소스 증거와 정형화된 LLM 도출 신념을 엄격히 분리하여 감사 가능성과 수정을 가능하게 하는 메모리 아키텍처.
2. 2단계 쓰기 경로: 타입화된 시그널 탐지와 하드 앵커 검증을 결려하여 지원되지 않는 추출된 기억을 줄이는 메커니즘.
3. 결정론적 다중 경로 읽기 경로: 벡터, 키워드, 시간, 그래프 등 여러 경로를 활용하면서 소스 증거에 대한 추적성을 유지하며 LLM 호출 없이 작동하는 검색 시스템.
4. 모델 분리 인터페이스: 메모리 전달가 답변 합성이 분리되어, 동일한 검색된 증거가 다양한 답변 모델과 정책을 서비스할 수 있도록 하는 아키텍처.
5. 트레이스 레벨 평가 프로토콜: 쓰기 경로, QA, 판사(judge) 역할을 분리하여 보고함으로써, 각 질문별 아티팩트(질문, 골드 답변, 검색된 컨텍스트, 라벨)를 독립적인 검사를 위해 보존하는 벤치마킹 접근 방식.

4. 실험 결과

Eywa는 세 가지 벤치마크인 LoCoMo(장기 대화형 메모리), LongMemEval-S(검색 충분성), BEAM(기술적 메모리 스트레스 테스트)를 통해 평가되었습니다.

• LoCoMo (C1–C4 분할): 쓰기 및 QA 역할 모두에 Claude Sonnet 4.6을 사용하고 GPT-4o를 판사로 사용했을 때, Eywa는 90.19%의 판사 정확도를 달성했습니다.
  • 진단 실행 결과, 더 강력한 쓰기 경로(Sonnet 4.6)는 더 작은 답변 모델(Qwen3 32B)의 성능을 유의미하게 향상시켜, 정확도를 69.09%에서 79.68%로 높였습니다.
  • 시스템은 다양한 모델 제품군 전반에서 견고함을 보여주었으나, 오픈 도메인 추론(C3)이 가장 모델 민감도가 높은 카테로리로 나타났습니다.
• LongMemEval-S: Eywa는 500개 질문에 대해 88.2%의 검색 충분성 정확도를 달 기록했습니다. 실패 분석에 따르면, 남은 오류는 단순한 추출 실패보다는 주로 검색 커버리지 격차 및 컨텍스트 선택 손실에서 기인했습니다.
• BEAM: 700개 질문의 기술적 메모리 스트레스 테스트에서, Eywa는 평균 너겟 점수(mean nugget score) 81.45% 및 **pass@score≥0.5 85.29%**를 달성했습니다. 성능은 모순 해결, 기권(abstention), 시간적 추론에서 가장 강력했으며, 요약 및 지식 업데이트가 가장 큰 과제를 제시했습니다.

운영 지표: LLM 프리 읽기 경로는 수천 개의 사실과 링크가 포함된 스트레스 스토어에서도 약 150–200 ms 내에 조립된 컨텍스트를 반환하며 낮은 지연 시간을 입증했습니다.

5. 의의 및 주장

본 논문은 Eywa를 롱 컨텍스트 모델의 대체재가 아니라, 에이전트의 행동을 검사 가능하고 제어 가능하게 만드는 메모리 인프라 레이어로 포지셔닝합니다.

• 감사 가능성: 증거와 신념을 분리함으로써, Eywa는 사용자와 개발자가 모든 클레임을 소스 턴으로 추적할 수 있게 하여 디버깅, 수정 및 사용자 요청에 따른 삭제를 용이하게 합니다.
• 진단 명확성: 트레이스 레벨 평가 프로토콜은 벤치마크 실패를 불투명한 점수에서 구체적인 엔지니어링 진단(예: 검색 격차와 합성 격차의 구분)으로 전환합니다.
• 비용 및 프라이버시 유연성: 이 아키텍처는 "로컬 우선" 배포와 모델 분리를 지원하여, 운영자가 메모리 기질을 재구축하지 않고도 로컬 프라이버시, 저비용 예산 모델 또는 프런티어 추론 능력을 선택할 수 있게 합니다.
• 거절 인식 평가: 본 논문은 표준 지표가 답변 가능한 질문에 대한 모델의 거절에 의해 부풀려질 수 있음을 강조합니다. Eywa의 평가 프레임워크는 거절률을 명시적으로 추적하여 시스템 역량에 대한 더 명확한 그림을 제공합니다.

저자들은 Eywa가 증거 캡처, 메모리 전달, 답변 정책을 분리하는 것이 시스템을 불투명한 프롬프트 장식이 아닌, 실용적인 에이전트 기본값으로서의 메모리 시스템으로 만든다는 것을 입증한다고 결론짓습니다. 모든 질문별 아티팩트와 벤치마크는 독립적인 검사를 위해 공개되어 있습니다.