AMA-Bench: Evaluating Long-Horizon Memory for Agentic Applications

이 논문은 기존 대화 중심 평가의 한계를 극복하기 위해 실제 에이전트 상호작용을 기반으로 한 장기 기억 평가 벤치마크인 AMA-Bench 와 이를 위한 인과성 그래프 및 도구 증강 검색을 활용한 AMA-Agent 를 제안하여 기존 최강 베이스라인 대비 11.16% 높은 평균 정확도 (57.22%) 를 달성했음을 보여줍니다.

핵심

1. 문제: 로봇 비서의 '망각'과 '혼란'

우리가 AI 비서에게 "내 하루 일정을 계획해 줘"라고 하면, AI 는 대화만 하면 됩니다. 하지만 진짜 복잡한 일 (예: "25 달러 이하의 스테인리스 물병을 사서, 배송 주소가 바뀌었는지 확인하고, 그걸로 요리 레시피를 찾아줘") 을 시키면 AI 는 길고 복잡한 과정을 거쳐야 합니다.

이때 AI 는 **기억 (Memory)**이 필요합니다. 하지만 기존 연구들은 AI 의 기억력을 테스트할 때 사람과의 대화만 중점적으로 봤습니다.

• 기존 테스트: "어제 뭐 먹었어?", "내일 회의 시간 뭐였지?" 같은 대화형 질문.
• 현실의 문제: 실제 AI 는 사람과 대화하는 게 아니라, 컴퓨터 코드, 데이터베이스, 웹 페이지 같은 '기계적인 언어'와 끊임없이 상호작용합니다.

비유하자면:
기존 테스트는 사람이 사람과 대화하는 상황을 시뮬레이션한 거예요. 하지만 실제 AI 는 수천 장의 복잡한 설계도 (코드) 와 기계 작동 로그를 읽어가며 일을 해야 합니다. 그런데 기존 시험지는 "설계도"를 읽는 능력을 제대로 평가하지 못했던 거죠.

2. 새로운 도구: AMA-Bench (모든 길이의 기억력 시험지)

저자들은 이 문제를 해결하기 위해 AMA-Bench라는 새로운 시험지를 만들었습니다.

• 실제 상황 (Real-world subset): 실제 웹서핑, 게임, 코드 작성 등 AI 가 실제로 겪는 6 가지 분야의 긴 기록을 모았습니다.
• 가상 상황 (Synthetic subset): AI 의 기억력이 얼마나 길어질 수 있는지 테스트하기 위해, 길이를 마음대로 조절할 수 있는 가상의 미로 (BabyAI, TextWorld) 를 만들었습니다.

핵심 특징:
이 시험지는 AI 가 단순히 "무슨 말했는지"가 아니라, **"어떤 행동을 했을 때 환경이 어떻게 변했는지 (인과관계)"**를 기억하는지 봅니다.

• 예: "열쇠를 줍고 (행동) → 문이 열림 (결과)"이라는 인과관계를 기억해야만 다음 단계로 갈 수 있습니다.

3. 기존 방식의 실패 원인: "유리창으로 보는 기억"

저자들이 기존 AI 기억 시스템들을 AMA-Bench 로 시험해 보니, 대부분의 시스템이 엉망이었습니다. 그 이유는 두 가지였습니다.

1. 유리창 효과 (Similarity-based retrieval): 기존 시스템은 "비슷한 것"을 찾아서 기억을 꺼냅니다. 마치 유리창을 통해 밖을 볼 때, 흐릿하게 보이는 것처럼, 중요한 세부 사항이 뭉개지고 사라집니다.
2. 인과관계 부재: "A 를 하면 B 가 된다"는 원인과 결과의 연결고리를 무시하고, 그냥 텍스트 조각만 모아서 기억하려 했습니다.

비유:
기존 방식은 책갈피를 꽂는 방식입니다. "이 페이지에 '열쇠'라는 단어가 있었어!"라고 기억하는 거죠. 하지만 "열쇠를 줍는 행동을 했더니 문이 열렸다"는 스토리를 기억하지 못합니다. 그래서 복잡한 미로에서 길을 잃는 거예요.

4. 해결책: AMA-Agent (인과관계 지도를 그리는 로봇)

저자들은 이 문제를 해결하기 위해 AMA-Agent라는 새로운 시스템을 만들었습니다.

• 인과관계 그래프 (Causality Graph):
  단순히 텍스트를 저장하는 게 아니라, **"행동 A → 상태 변화 B → 행동 C"**처럼 **원인과 결과가 연결된 지도 (그래프)**를 그립니다.

  • 비유: 그냥 책갈피를 꽂는 게 아니라, 미로의 전체 지도를 그려놓고, 내가 어디를 지나왔는지, 어떤 문이 열렸는지 정확히 표시하는 것과 같습니다.

• 도구 활용 검색 (Tool-Augmented Retrieval):
  단순히 "비슷한 것"을 찾는 게 아니라, 필요한 정보가 없을 때는 직접 코드를 짜서 데이터를 검색하거나, 지도에서 경로를 찾아보는 능력을 추가했습니다.

  • 비유: 길을 잃었을 때, "아마 저기였을 거야"라고 추측하는 게 아니라, 내비게이션을 켜고 정확한 좌표를 검색하는 것입니다.

5. 결과: 압도적인 승리

이 새로운 시스템 (AMA-Agent) 으로 시험을 치르니, 기존 최고의 시스템들보다 약 11% 더 높은 점수를 받았습니다.

• 결론: AI 가 복잡한 일을 잘하려면, 단순히 "많은 정보를 기억"하는 게 아니라, **"정보들 사이의 인과관계를 정확히 파악하고, 필요할 때 도구를 써서 찾아내는 능력"**이 필수적입니다.

한 줄 요약

"기존 AI 는 사람과 대화할 때는 기억력이 좋지만, 복잡한 기계 작업을 할 때는 '인과관계'를 잊어버려 길을 잃습니다. 우리는 '인과관계 지도'를 그려주는 새로운 시스템을 만들어 AI 가 미로를 완벽하게 통과하게 했습니다."

기술 요약

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 이 자율 에이전트 (Autonomous Agents) 로서 복잡한 작업 (웹 탐색, 코드 편집, 게임 등) 을 수행할 때, 장기적 기억 (Long-Horizon Memory) 은 필수적입니다. 그러나 기존 에이전트 메모리 평가 기준에는 다음과 같은 심각한 격차가 존재했습니다.

• 평가 기준의 한계: 기존 벤치마크 (LoCoMo, LongMemEval 등) 는 주로 인간과 에이전트 간의 대화 (Dialogue) 에 초점을 맞추고 있습니다. 이는 자연어 중심이며, 불필요한 대화 (chit-chat) 가 많고 인과 관계가 약한 특징을 가집니다.
• 실제 에이전트 환경의 차이: 실제 에이전트는 데이터베이스, 코드 실행기, 웹 인터페이스 등 기계 생성 (Machine-generated) 환경에서 작동합니다. 이 환경의 트래젝토리 (Trajectory) 는 다음과 같은 고유한 특성을 가집니다.
  • 인과성 (Causality): 각 행동이 환경 상태의 변화를 유도하며, 이는 후속 관측을 제약합니다.
  • 객관적 정보 (Objective Information): 자연어 대화와 달리 중복된 정보가 적고, JSON, HTML, 코드 블록 등 구조화된 기계적 표현이 주를 이룹니다.
  • 다양한 심볼릭 (Symbolic Artifacts): ASCII 테이블, 유니코드 조각 등 다양한 형식을 포함합니다.

기존 메모리 시스템은 이러한 인과적 구조와 객관적 정보를 처리하지 못해 성능이 저하되었으며, 단순한 유사도 기반 검색 (Similarity-based retrieval) 과 손실 압축 (Lossy compression) 방식이 에이전트 작업에는 부적합함이 드러났습니다.

2. 방법론 (Methodology)

이 논문은 이러한 격차를 해소하기 위해 AMA-Bench와 이를 위한 새로운 에이전트 아키텍처 AMA-Agent를 제안합니다.

A. AMA-Bench (벤치마크)

에이전트 메모리 평가를 위해 설계된 최초의 벤치마크로, 두 가지 상호 보완적인 하위 세트로 구성됩니다.

1. 실제 세계 하위 세트 (Real-world Subset):
   • 웹 탐색, 소프트웨어 엔지니어링, Text-to-SQL, 게임, Embodied AI 등 6 가지 주요 도메인에서 수집된 2,496 개의 QA 쌍.
   • 전문가가 직접 주석을 달고 검증하여, 실제 에이전트 - 환경 상호작용 로그 (Action/Observation) 를 기반으로 합니다.
2. 합성 하위 세트 (Synthetic Subset):
   • BabyAI, TextWorld 환경에서 프로그래밍적으로 생성된 1,200 개의 QA 쌍.
   • 임의의 길이 (Horizon) 와 복잡도로 작업을 확장 가능하게 하여, 메모리 시스템의 확장성을 통제된 환경에서 평가합니다.
   • Needle-in-a-Haystack (NIAH) 패러다임을 적용하여, 특정 정보 (Needle) 를 긴 트래젝토리 (Haystack) 에서 정확히 찾아내는 능력을 평가합니다.

평가 차원:
메모리 능력을 4 가지 핵심 기능으로 분류하여 평가합니다.

• Recall: 시간적/순차적 정보 식별.
• Causal Inference: 행동 전제 조건 및 상태 간 의존성 검증.
• State Updating: 명시적 관측 및 숨겨진 상태의 업데이트 추적.
• State Abstraction: 중복 제거 및 핵심 정보의 압축.

B. AMA-Agent (제안된 메모리 시스템)

기존의 손실 압축이나 단순 유사도 검색의 한계를 극복하기 위해 두 가지 핵심 메커니즘을 도입했습니다.

1. 인과성 그래프 (Causality Graph):
   • 에이전트 트래젝토리를 단순 요약이 아닌, 객관적 상태 노드와 인과적 엣지 (Causal Edges) 로 구성된 그래프로 변환합니다.
   • 환경 상태 변화와 객체 상태 변화를 명시적으로 추출하여, 인과 관계를 보존합니다.
2. 도구 증강 검색 (Tool-Augmented Retrieval):
   • 단순 임베딩 유사도 검색을 넘어, 그래프 노드 탐색과 키워드 기반 스크립트 실행을 결합합니다.
   • 검색된 정보가 부족할 경우, 에이전트가 그래프를 따라 다중 홉 (Multi-hop) 정보를 탐색하거나, Python 스크립트를 실행하여 정밀한 키워드 매칭 및 통계적 집계를 수행합니다.

3. 주요 기여 (Key Contributions)

1. AMA-Bench 도입: 자연어 중심이 아닌, 기계 생성 및 인과적 특성을 가진 에이전트 트래젝토리를 평가하는 최초의 벤치마크를 제시했습니다.
2. 포괄적 평가 및 통찰: 기존 메모리 시스템이 장기 에이전트 작업에서 장문맥 (Long-context) 베이스라인보다 성능이 낮음을 입증했습니다. 이는 모델 자체의 능력 부족이 아니라, 메모리 아키텍처 설계의 한계 (손실 압축 및 유사도 검색의 부적합) 에 기인함을 규명했습니다.
3. AMA-Agent 제안: 인과성 그래프와 도구 증강 검색을 통해 기존 최첨단 (SOTA) 메모리 시스템보다 평균 11.16% 높은 정확도를 달성하는 새로운 아키텍처를 제시했습니다.

4. 실험 결과 (Results)

• 성능 비교: AMA-Agent 는 Qwen3-32B 백본을 사용하여 AMA-Bench 에서 평균 **57.22%**의 정확도를 기록했습니다. 이는 가장 강력한 기존 메모리 시스템 (HippoRAG2, MemoRAG 등) 보다 약 11% 이상 높은 수치입니다.
• 베이스라인 대비 우위: 장문맥 모델 (GPT-5.2 등) 이 높은 성능을 보이지만, AMA-Agent 는 제한된 컨텍스트 윈도우 내에서 구조화된 메모리 관리를 통해 경쟁력 있는 성능을 유지하며 확장성 (128K 토큰 이상) 에서 장문맥 모델의 성능 저하를 극복했습니다.
• 절대적 성능: 실제 세계 및 합성 데이터셋 모두에서 일관된 높은 성능을 보였으며, 특히 인과 추론 (Causal Inference) 과 상태 업데이트 (State Updating) 분야에서 기존 방법론 대비 압도적인 우위를 점했습니다.
• Ablation Study: 인과성 그래프나 도구 증강 검색 중 하나라도 제거할 경우 성능이 크게 저하됨 (약 20~25% 감소) 을 확인하여, 두 구성 요소 모두 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 에이전트 메모리 연구의 패러다임 전환을 시사합니다.

• 평가 기준의 재정의: 단순한 대화 기억이 아닌, 인과적 구조와 객관적 상태 추적이 에이전트 성능의 핵심임을 강조하며, 새로운 표준 벤치마크 (AMA-Bench) 를 제시했습니다.
• 아키텍처의 방향성: 단순한 RAG(검색 증강 생성) 나 요약 기반 접근법의 한계를 지적하고, 구조화된 그래프와 도구 활용 (Tool Use) 을 결합한 에이전트 중심의 메모리 관리 전략이 필요함을 증명했습니다.
• 실용적 가치: 에이전트가 복잡한 실제 환경 (웹, 코드, 게임) 에서 장기적인 작업을 성공적으로 수행하기 위해서는 기계 생성 데이터의 특성을 이해하고 인과 관계를 보존하는 메모리 시스템이 필수적임을 보여주었습니다.

결론적으로, 이 논문은 에이전트 메모리 연구에 있어 정량적 평가 기준과 효율적인 아키텍처를 동시에 제시함으로써, 자율 에이전트의 장기적 추론 능력 향상에 중요한 기여를 했습니다.