기술 요약: RECON – 긴 컨텍스트에서의 구성적 추론을 위한 에이전트 메모리 벤치마킹

문제 정의

대규모 언어 모델(LLM) 기반 에이전트는 긴 컨텍스트와 여러 상호작용을 통해 축적된 정보를 유지, 접근 및 추론해야 하는 고위험 워크플로(코딩, 임상, 법률, 금융)에 점점 더 많이 배치되고 있습니다. 현재의 메모리 아키텍처(예: Mem0, Zep, MemGPT) 및 검색 증강 생성(RAG) 시스템은 주로 메모리를 사실의 현재 값을 추적하는 **상태 머신(state machine)**으로 모델링합니다. 그러나 실제 시나리오에서 사실은 단순히 축적되는 것이 아니라, 명시적인 의존 구조를 통해 서로 상호작리하고, 모순되며, 서로를 무효화합니다.

기존 벤치마크(예: RULER, LongBench, LoCoMo)는 에이전트가 흩어진 사실을 검색할 수 있는지 또는 사실이 변경되었는지 감지할 수 있는지를 평가합니다. 이들은 그러한 변화의 결과를 평가하는 데 실패합니다. 즉, 에이전트가 어떤 하위 결론이 무효화의 영향을 받는지, 어떤 결론이 독립적인 지지를 통해 생존하는지, 그리고 대안적인 타임라인이 어떻게 전개될지를 추적할 수 있는지를 평가하지 못합니다. 여기에는 단순한 정적 사실 목록이 아닌 복잡한 프로비넌스 그래프(provenance graph)에 의존하는, 진화하는 긴 컨텍스트 내러티브에 대한 **구성적 추론(compositional reasoning)**을 평가하는 데 있어 결정적인 격차가 존재합니다.

방법론: RECON 벤치마크

저자들은 50k~100k 토큰의 긴 컨텍스트에 대해 에이전트를 평가하도록 설계된 RECON(Reasoning over Extended Contexts with Obfuscated Narratives)을 소개합니다.

1. 결정론적 생성 파이프라인

그라운드 트루스(ground-truth)의 신뢰성을 보장하기 위해, RECON은 LLM이 오직 **표면 실현(surface realization, 서사화)**에만 제한되어 인과 구조, 프로비넌스 또는 정답 키에 영향을 미치지 않는 완전한 결정론적 생성 파이프라인을 채택합니다.

• 블루프린트 합성(Blueprint Synthesis): 시드가 포함된 프로덕션 엔진이 타입화된 터미널(행위자, 증거)과 프로덕션 규칙을 사용하여 케이스 블루프린트를 생성하며, 결론이 도출되기 전에 논리적 전제 조건이 충족되도록 보장합니다.
• 스켈레톤 확장(Skeleton Expansion): 블루프린트는 타임스탬프가 찍힌 이벤트, 인과적 의존성, 무효화, 출처 갈등 및 병렬적 시간 스트림(예: 감시, 거래)의 구조화된 스켈레톤으로 확장됩니다.
• 프로비넌스 DAG(Provenance DAG): 생성 계약으로부터 전역적인 유향 비순환 그래프(Directed Acyclic Graph, DAG)가 유도됩니다. 노드는 이벤트/증거를 나타내며, 엣지는 인과적, 수정적, 무효화 관계를 인코딩합니다. 이 DAG는 권위 있는 그라운드 트루스 역할을 합니다.
• 태스크 합성(Task Synthesis): 질문은 DAG로부터 알고리즘적으로 생성됩니다. 예를 들어, 연쇄 전파(Cascade Propagation) 질문은 무효화 노드를 선택하고 도달 가능성(reachability)을 계산하여 어떤 결론이 붕괴되는지를 결정함으로써 생성됩니다.
• 내러티브 실현(Narrative Realization): LLM은 구조화된 스켈레톤을 자연어 케이스 파일(경찰 보고서, 임상 로그, 금융 감사 기록 등)로 변환하되, 불변의 스켈레톤 사실을 엄격히 준수합니다.

2. 태스크 카테고리

RECON은 세 가지 도메인(범죄, 의료, 금융)에 걸친 24개의 케이스 파일과 1,604개의 질문을 포함하며, 다음 여섯 가지 태스크로 분류됩니다:

1. 체인 재구성(Chain Reconstruction): 문서 전체에 흩어져 있는 5~15개의 증거 홉(hop)을 찾아내고 인과적으로 순서를 정합니다.
2. 연쇄 전파(Cascade Propagation): 특정 증거 무효화 후 어떤 결론이 깨지고 어떤 결론이 독립적인 지지를 통해 생존하는지 결정합니다.
3. 출처 갈등 해결(Source Conflict Resolution): 독립적인 확증 증거를 사용하여 모순되는 설명들을 판정합니다.
4. 역사실적 추론(Counterfactual Reasoning): 대안적인 타임라인(예: 이벤트가 더 일찍 발생했을 경우) 하에서 하위 이벤트들이 어떻게 변하는지 결정합니다합니다.
5. 시간 제약 만족(Temporal Constraint Satisfaction): 병렬 데이터 스트림을 특정 시간 창과 교차 참조합니다.
6. 시간적 사실 검색(Temporal Fact Retrieval): 시간적 순서 및 상태 쿼리에 대한 베이스라인 태스크입니다.

3. 평가 설정

본 벤치마크는 세 가지 시스템 패밀리와 하나의 오라클(Oracle) 상한선을 평가합니다:

• Long-Context: 100k 토큰의 전체 케이스 파일을 처리하는 모델들.
• RAG: 밀집 검색(dense retrieval), 하이브리드 검색, 리랭킹(reranking)을 포함한 변형들.
• Memory Agents: Mem0, Mem0-Graph, Supermemory, Hindsight와 같은 시스템들.
• Oracle: 텍스트 대신 구조화된 그라운드 트루스 DAG를 전달받으며, 검색이 완벽한 상태의 상한선을 제공합니다.

평가는 다지선다형 질문에 대한 오답 페널티와 기권 옵션을 포함한 엄격한 정확도 메트릭을 사용하여 점수를 매깁/니다. 오염 필터는 이전 LLM 지식으로 답변 가능한 질문을 제거합니다.

주요 결과

평가는 모든 현재 아키텍처에서 상당한 한계를 드러냅니다:

• 전반적인 성능: 비-오라클 시스템 중 어느 것도 25% 정확도를 넘지 못했습니다. 가장 우수한 비-오라클 시스템(Gemini-2.5-Pro)은 22.4% 정확도를 달성한 반면, 오라클(완벽한 검색 수행)은 **54.6%**에 도달했습니다. 이는 완벽한 의존 그래프에 접근하더라도 추론이 여전히 중요한 병목 구간임을 나타냅니다.
• 태스크별 성능:
  • 연쇄 전파(Cascade Propagation): 메모리 시스템이 이 분야에서 두각을 나타냈으며, Supermemory는 가장 우수한 롱 컨텍스트 모델보다 거의 두 배 높은 0.708의 점수를 기록했습니다. 이는 의존 구조가 단순할 때 메모리 아키텍처가 상태 변화를 추적하는 데 효과적임을 시사합니다.
  • 역사실적 추론(Counterfactual Reasoning): 가장 어려운 태스크입니다. 오라클조차 0.483에 불과했으며, 이는 체인된 추론(chained inference)이 검색이 아닌 주요 병목임을 나타냅니다.
  • 체인 재구성 및 출처 갈등: 롱 컨텍스트 모델이 이 태스크들을 주도하지만, 성능은 여전히 낮습니다. RAG와 메모리 시스템은 압축이나 검색 과정에서 사실 간의 엣지가 손실되기 때문에 크게 고전하는 것으로 보입니다.
• 검색 vs. 추론:
  • 검색은 필요하지만 충분하지 않습니다. 올바른 증거가 검색되는 "전체 커버리지" 시나리오에서도 시스템은 약 **80%**의 확률로 오답을 냅니다.
  • 오라클과 LLM 간의 격차는 멀티 홉 추론(체인 재구성, 출처 갈등)이 필요한 태스크에서 가장 큽니다. 이는 검색된 사실을 구성(compose)하는 능력이 주요 실패 요인임을 시사합니다.
• 토큰 효율성: 검색 기반 접근 방식(RAG, 메모리)은 롱 컨텍스트 모델보다 8~20배 더 토큰 효율적이지만, 복잡한 추론 태스크에서는 성능 저하를 감수하는 경우가 많습니다.

의의 및 주장

본 논문은 RECON이 에이전트 메모리를 평가하는 방식의 변화를 나타낸다고 주장합니다:

1. 상태 머신에서 프로비넌스 그래프로: 벤치마크는 메모리가 단순한 현재 사실 값의 상태 머신이 아니라, 무효화가 의존성을 통해 전파되는 파생 이력의 그래프로 모델링되어야 한다고 주장합니다.
2. 구성적 추론이 병목이다: 결과는 현재의 에이전트들이 단순히 정보를 찾는 것뿐만 아니라, 정보를 **구성(compose)**하는 데 실패한다는 것을 보여줍니다. 오라클(완벽한 검색)과 LLM 성능 사이의 큰 격차는 인과 체인을 추적하고 무효화를 처리하는 능력이 현재 아키텍처의 근본적인 한계임을 강조합니다.
3. 결정론적 그라운드 트루스: 생성 과정에서 인과 구조와 LLM의 내러티브를 분리함으로써, RECON은 LLM으로 완전히 생성된 합성 데이터셋에서 흔히 발견되는 환각(hallucination)으로부터 자유로운 엄격하고 재현 가능한 벤치마크를 제공합니다.

저자들은 검색과 추론 모두 여전히 해결해야 할 과제라고 결론짓습니다. 완벽한 컨텍스트를 가지고 있더라도, 에이전트는 사실이 상호작용하고 모순되는 긴 문서를 일관되고 진화하는 이해도로 유지하는 데 어려움을 겪습니다. 벤치마크, 생성기 및 평가 하네스를 공개함으로써, 긴 컨텍스트에 대해 견고한 구성적 추론이 가능한 에이전트 개발을 위한 향후 연구를 지원하고자 합니다.