GAAMA: Graph Augmented Associative Memory for Agents

1. 문제 정의 (Problem)

AI 에이전트가 사용자와 여러 세션에 걸쳐 상호작용할 때, 일관되고 개인화된 행동을 유지하기 위해서는 지속적인 장기 기억 (Long-term Memory) 이 필수적입니다. 그러나 기존 접근 방식들은 다음과 같은 한계를 가지고 있습니다:

• 평면적 RAG (Retrieval-Augmented Generation): 단순한 임베딩 유사도 기반 검색을 사용하므로, 대화 간의 엔티티, 사건, 사실 간의 구조적 관계 (structural relationships) 를 잃어버립니다.
• 기존 그래프 기반 방법 (예: HippoRAG): 엔티티 중심 (entity-centric) 의 지식 그래프를 구축하지만, 다중 세션 대화에서 특정 인물 (예: '사용자') 이 수백 개의 엣지를 갖는 허브 (hub) 가 되어 PPR(Personalized PageRank) 의 확률이 균일하게 분산되어 검색 정밀도가 떨어집니다. 또한, 인덱싱 및 추론 과정에서 문맥 손실이 발생합니다.
• 압축 및 벡터 검색 기반 방법: A-Mem, Nemori 등은 벡터 유사도 검색에 의존하거나 그래프 기반의 연관성 전파 (relevance propagation) 가 부족하여 복잡한 추론이 어렵습니다.

2. 방법론 (Methodology)

GAAMA 는 세 가지 핵심 혁신을 통해 위 문제들을 해결합니다.

A. 개념 매개 계층적 지식 그래프 (Concept-Mediated Hierarchical Knowledge Graph)

기존의 '엔티티 중심' 설계 대신 '개념 (Concept) 중심' 설계를 채택하여 허브 문제를 방지하고 구조적 탐색 경로를 제공합니다.

• 4 가지 노드 유형:
  1. Episode: 원본 대화의 발화를 그대로 저장 (시간적 추론을 위해).
  2. Fact: LLM 을 통해 추출된 원자적 사실 (Atomic facts).
  3. Reflection: 여러 사실을 종합한 고차원적 통찰 (Cross-session inference 가능).
  4. Concept: 주제 수준 레이블 (예: pottery_hobby, camping_trip). 인물 이름이 아닌 활동/주제를 나타내며, 그래프를 희소하게 유지합니다.
• 5 가지 구조적 엣지 유형: NEXT(시간적 순서), DERIVED_FROM(출처), DERIVED_FROM_FACT, HAS_CONCEPT, ABOUT_CONCEPT.

B. 3 단계 구축 파이프라인

1. Episode 보존 (LLM 없음): 대화 발화를 그대로 저장하고 NEXT 엣지로 연결하여 시간적 맥락을 유지.
2. Fact 및 Concept 추출 (LLM): LLM 을 사용하여 원자적 사실과 주제별 개념 노드를 추출하고 출처를 연결.
3. Reflection 합성 (LLM): 여러 사실에서 고차원적 통찰을 도출하여 세션 간 추론을 지원.

C. 하이브리드 검색 (Hybrid Retrieval)

단순한 의미 유사도 검색과 그래프 기반 전파를 결합합니다.

• PPR (Personalized PageRank) 기반 확장: 시드 노드 (유사도 상위 k 개) 에서 그래프를 따라 확장하여 구조적으로 연결되었으나 의미적 유사도는 낮을 수 있는 노드를 발견.
• 허브 감쇠 (Hub Dampening): 연결 수가 너무 많은 노드 (임계값 50 초과) 의 엣지 가중치를 축소하여 PPR 질량이 과도하게 분산되는 것을 방지.
• 가산 점수 함수 (Additive Scoring): 최종 점수는 PPR 점수 (가중치 0.1) 와 의미 유사도 점수 (가중치 1.0) 의 합으로 계산합니다. 그래프가 검색을 대체하지 않고 보조 (augment) 하는 역할을 하도록 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. 개념 기반 그래프 아키텍처: 엔티티 중심 설계의 허브 문제를 해결하고, 주제 기반의 희소하면서도 구조적으로 의미 있는 탐색 경로를 제공합니다.
2. 계층적 기억 구축 파이프라인: 원본 대화 $\rightarrow$ 사실 $\rightarrow$ 통찰로 이어지는 3 단계 과정을 통해 단순한 텍스트 검색을 넘어 추론 가능한 기억 구조를 생성합니다.
3. 하이브리드 검색 전략: 의미 유사도 검색에 그래프 전파 (PPR) 를 약하게 결합하여, 구조적으로 연결된 정보를 효과적으로 발견하면서도 노이즈를 최소화합니다.
4. 성능 입증: LoCoMo-10 벤치마크에서 기존 최첨단 모델들을 능가하는 성능을 보였습니다.

4. 실험 결과 (Results)

LoCoMo-10 벤치마크 (1,540 개의 질문, 10 개 다중 세션 대화) 에서 평가되었습니다.

• 전체 평균 보상 (Mean Reward):
  • GAAMA: 78.9%
  • RAG Baseline (조정됨): 75.0%
  • HippoRAG: 69.9%
  • Nemori: 52.1%
  • A-Mem: 47.2%
• 카테고리별 성과:
  • 다중 홉 (Multi-hop): 72.2% (RAG 대비 +4.7%p, HippoRAG 대비 +10.5%p). 세션 간 정보 통합 능력이 뛰어남.
  • 시간적 (Temporal): 71.9% (RAG 대비 +12.9%p). 시간적 참조 해결 및 순서 추론이 우수함.
  • 단일 홉 (Single Hop): 87.2% (RAG와 유사).
• Ablation Study (PPR 영향 분석):
  • 순수 의미 검색 (Semantic only) 대비 PPR 을 0.1 로 가중치하여 추가했을 때 전체 성능이 +1.0%p 향상되었습니다.
  • PPR 가중치를 1.0 으로 높이면 오히려 성능이 저하됨 (74.6%), 이는 그래프 탐색이 의미적 관련성을 무시하고 노이즈를 유발하기 때문임을 확인.

5. 의의 및 결론 (Significance)

• 구조적 기억의 중요성: 단순한 벡터 검색만으로는 다중 세션 대화의 복잡한 맥락과 관계를 포착하기 어렵다는 것을 입증했습니다.
• 지식 증류 (Knowledge Distillation) 의 가치: 그래프 구조 자체뿐만 아니라, 원본 대화를 '사실'과 '통찰'로 추상화하는 계층적 구축 파이프라인 자체가 성능 향상의 주요 동인이었습니다 (PPR 없이도 RAG 대비 3.0%p 우위).
• 실용적 설계: 그래프 탐색이 검색을 지배하지 않고 보조하는 약한 결합 (mild augmentation) 전략이 노이즈를 줄이면서 일관된 개선을 이끌어냄을 보였습니다.

이 연구는 AI 에이전트의 장기 기억 시스템 설계에 있어 엔티티 중심이 아닌 개념 중심의 그래프와 계층적 정보 추상화가 핵심 요소임을 제시하며, 향후 에이전트의 복잡한 추론 능력 향상에 중요한 방향성을 제시합니다.