SYNAPSE: Empowering LLM Agents with Episodic-Semantic Memory via Spreading Activation

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 은 제한된 컨텍스트 윈도우 내에서 추론 능력을 발휘하지만, 장기적인 에이전트 (Agent) 의 기억을 유지하고 narrative 일관성을 유지하는 데에는 한계가 있습니다. 기존 해결책인 검색 증강 생성 (RAG) 은 다음과 같은 근본적인 결함을 가지고 있습니다.

• 문맥적 고립 (Contextual Isolation): 기존 RAG 는 과거 기억을 정적 벡터 데이터베이스로 간주하여, 현재 쿼리와 의미적 유사성 (Semantic Similarity) 이 높은 정보만 검색합니다.
• 인과적/전이적 추론의 실패: "오늘 왜 불안한가?"와 같은 질문에서, 직접적인 키워드 ('불안') 와 일치하지 않더라도 원인이 되는 과거 사건 (예: 몇 주 전의 일정 충돌) 을 찾아내지 못합니다. 이는 기억이 정적인 도서관처럼 인덱싱되는 반면, 에이전트는 동적인 네트워크를 통해 추론해야 하기 때문입니다.
• 검색 가정의 한계: 기존 시스템은 "과거 기억의 관련성은 현재 쿼리와의 의미적 근접성으로 결정된다"는 가정에 의존하는데, 이는 복잡한 인과 관계나 전이적 추론이 필요한 시나리오에서 실패합니다.

2. 방법론 (Methodology)

저자들은 인지 과학의 확산 활성화 (Spreading Activation) 이론 (Collins & Loftus, 1975) 에서 영감을 받아 SYNAPSE라는 새로운 아키텍처를 제안합니다. 이는 정적 벡터 검색을 넘어선 동적 그래프 기반 기억 구조입니다.

2.1 통합 에피소드 - 의미 그래프 (Unified Episodic-Semantic Graph)

기억을 방향성 그래프 $G=(V, E)$로 모델링하며, 두 가지 유형의 노드로 구성됩니다.

• 에피소드 노드 (Episodic Nodes): 구체적인 대화 턴 (텍스트, 임베딩, 타임스탬프) 을 캡슐화합니다.
• 의미 노드 (Semantic Nodes): LLM 을 통해 추출된 추상적인 개념 (엔티티, 선호도 등) 입니다.
• 엣지 (Edges):
  • 시간적 엣지: 순차적인 에피소드를 연결.
  • 추상화 엣지: 에피소드와 관련 개념을 양방향 연결 (예: "스키 여행"과 "Mark" 연결).
  • 연관 엣지: 개념 간의 잠재적 상관관계 모델링.
• 유지 관리: 그래프의 무한한 성장을 방지하기 위해 Top-K 엣지 가지치기와 활성화가 낮은 노드는 디스크로 아카이빙하는 노드 쓰레기 수집 (Garbage Collection) 을 적용합니다.

2.2 인지적 동역학: 확산 활성화 (Cognitive Dynamics)

질문이 들어오면 그래프 내에서 에너지가 전파되며 관련성을 동적으로 결정합니다.

1. 초기화 (Initialization): 쿼리에 대해 이중 트리거 (Dual-Trigger) 메커니즘 (BM25 를 통한 명시적 엔티티 매칭 + 밀도 검색을 통한 개념적 유사성) 으로 초기 활성화 노드 (Anchor) 를 설정합니다.
2. 전파 (Propagation): ACT-R 아키텍처의 Fan Effect를 적용하여, 하나의 노드가 많은 연결을 가질 경우 주의가 분산되도록 활성화 에너지를 감쇠시킵니다. 시간적 감쇠 (Temporal Decay) 를 통해 오래된 정보는 자연스럽게 약화됩니다.
3. 측면 억제 (Lateral Inhibition): 높은 활성화 값을 가진 개념이 경쟁자를 억제하여, 관련 없는 방해 요소 (Noise) 를 필터링합니다. 이는 "승자 독식" 경쟁을 통해 신호 대 잡음비를 높입니다.
4. 비선형 활성화: 시그모이드 함수를 통해 최종 활성화율을 결정합니다.

2.3 트리플 하이브리드 검색 (Triple-Signal Hybrid Retrieval)

최종 점수는 세 가지 신호를 결합하여 산출합니다.

• 의미적 유사성 (Semantic): 쿼리와 노드의 임베딩 유사도.
• 활성화 신호 (Activation): 확산 활성화 과정을 통해 전파된 컨텍스트 관련성.
• 구조적 우선순위 (Structural): PageRank 를 통해 전역적으로 중요한 허브 노드 (주요 인물 등) 를 반영.
  이러한 접근은 전역적 허브에 의해 국소적 세부 사항이 묻히는 것을 방지하면서도, 구조적으로 중요한 정보를 누락하지 않도록 합니다.

2.4 불확실성 인식 거부 (Uncertainty-Aware Rejection)

존재하지 않는 엔티티에 대한 공격적 질문 (Adversarial Queries) 에 대응하기 위해 메타인지 검증 계층을 도입합니다.

• 신뢰도 게이팅: 상위 노드의 활성화 에너지가 임계값 ($\tau_{gate}$) 이하이면, LLM 이 답변을 생성하기 전에 "알 수 없음"으로 거부합니다.
• 명시적 검증: 경계선상의 경우, LLM 에게 "이 정보가 명시적으로 언급되었는가?"를 강제하여 할루시네이션을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 통합 에피소드 - 의미 그래프: 정적 벡터 저장소의 구조적 단편화를 해결하고, 구체적인 상호작용 로그와 추상적 개념을 시너지 있게 결합한 이중 계층 토폴로지를 제안했습니다.
2. 불확실성 게이트가 있는 인지적 동역학: 확산 활성화와 측면 억제를 기반으로 한 검색 메커니즘을 도입하여 명시적 유사성이 없더라도 암묵적 관련성을 우선시하고, "알고 있다는 느낌 (Feeling of Knowing)" 프로토콜을 통해 할루시네이션을 강력하게 거부합니다.
3. 최고 성능 및 효율성: LoCoMo 벤치마크에서 SOTA 를 달성했으며, 복잡한 다단계 추론 (Multi-hop) 정확도를 23% 향상시키고, 전체 컨텍스트 방법 대비 토큰 소비를 95% 줄였습니다.

4. 실험 결과 (Results)

LoCoMo 벤치마크 (평균 16K 토큰의 긴 대화) 에서 10 가지 최첨단 방법론과 비교 평가되었습니다.

• 전체 성능: 가중 평균 F1 점수 40.5를 기록하여 기존 최강자 (A-Mem: 33.3, Zep: 39.7) 를 압도했습니다.
• 세부 카테고리:
  • 다단계 추론 (Multi-Hop): 35.7 (A-Mem 대비 27.0). 그래프 전파를 통해 단절된 사실을 연결하는 능력이 탁월합니다.
  • 시간적 추론 (Temporal): 50.1 (A-Mem 대비 45.9). 시간 감쇠 메커니즘이 오래된 정보를 적절히 배제하고 최신 사실을 우선시함을 입증했습니다.
  • 적대적 견고성 (Adversarial): 96.6 F1. 불확실성 게이팅을 통해 존재하지 않는 정보에 대한 할루시네이션을 거의 완벽하게 차단합니다.
• 효율성:
  • 토큰 효율: 쿼리당 평균 814 토큰 사용 (전체 컨텍스트 방법 대비 95% 감소).
  • 비용 효율성: 1,000 건당 비용 대비 성능 (F1/$) 이 167.3 으로, 기존 방법들보다 월등히 높습니다.
  • 지연 시간: 평균 1.9 초로, 전체 컨텍스트 방법 (8.2~8.5 초) 보다 4 배 빠릅니다.

5. 의의 및 결론 (Significance)

SYNAPSE 는 단순한 정보 검색을 넘어, 생물학적 뇌의 작동 원리 (확산 활성화, 측면 억제) 를 모방하여 에이전트 기억 아키텍처의 패러다임을 전환했습니다.

• 구조적 추론의 부활: 의미적 유사성만 의존하던 기존 RAG 의 한계를 극복하고, 인과 관계와 전이적 추론이 필요한 복잡한 작업에서 그래프 기반 구조적 추론의 중요성을 입증했습니다.
• 안전성과 신뢰성: 할루시네이션을 능동적으로 거부하는 메커니즘을 통해, 장기 기억을 가진 자율 에이전트의 신뢰성을 크게 높였습니다.
• 실용성: 높은 정확도를 유지하면서도 계산 비용과 토큰 사용량을 극도로 최적화하여, 실제 장기 에이전트 배포에 필요한 확장성을 제공합니다.

결론적으로 SYNAPSE 는 정적 벡터 검색과 적응형 구조적 인지 사이의 간극을 메우는 강력한 솔루션으로, 더 자율적이고 회복 탄력적인 AI 에이전트 개발의 새로운 기준을 제시합니다.