To Know is to Construct: Schema-Constrained Generation for Agent Memory
이 논문은 밀도 기반 검색의 한계를 극복하고 구조적 환각을 방지하기 위해 인지 스키마를 기반으로 한 생성적 메모리 접근법인 SCG-MEM 을 제안하며, 이를 통해 장기 기억 적응과 다단계 추론을 가능하게 하고 LoCoMo 벤치마크에서 기존 방식보다 뛰어난 성능을 입증했습니다.
원저자:Lei Zheng, Weinan Song, Daili Li, Yanming Yang
문제: 만약 "사과"라는 단어가 들어간 책을 찾으라고 하면, "사과를 먹은 사람"에 대한 책도 찾아주고, "사과 (과일) 에 대한 과학 논문"도 찾아줍니다. 하지만 AI 가 실제로 필요로 하는 건 "어제 친구가 사과를 먹었다는 대화"일 수 있는데, 검색 시스템은 문맥을 제대로 구분하지 못해 엉뚱한 책을 가져옵니다. (소음 발생)
생성형 기억의 위험 (Structural Hallucination):
비유: 사서에게 "어제 친구가 뭐라고 했는지 기억해 줘"라고 했을 때, 사서가 실제 존재하지 않는 책을 만들어서 가져오는 상황입니다.
문제: AI 가 기억을 직접 '생성'하게 하면, 머릿속에서 그럴듯하게 지어낸 제목 (예: "어제친구_사과_대화_2024") 을 만들어냅니다. 하지만 그 책은 도서관 (기억) 에 실제로 존재하지 않으니, AI 는 결국 빈손으로 돌아오거나 엉뚱한 이야기를 지어내게 됩니다. 이를 **'구조적 환각'**이라고 부릅니다.
🏗️ 2. 이 논문의 해결책: "SCG-MEM" (지식 구조로 기억하기)
이 논문은 인간의 기억 방식을 닮은 SCG-MEM이라는 새로운 시스템을 제안합니다. 핵심은 **"알고 있다는 것은 구조를 만들어가는 것"**이라는 점입니다.
🌳 비유 1: '생각의 나무' (Prefix Trie)
기존 방식은 책장을 무작위로 뒤지는 것이었다면, 이 시스템은 정해진 가지치기가 된 거대한 나무를 가지고 있습니다.
규칙: AI 는 이 나무의 가지 (경로) 를 따라만 말을 해야 합니다.
효과: 나무에 없는 가지 (존재하지 않는 기억) 로 갈 수 없으므로, 실존하지 않는 기억을 만들어낼 수 없습니다. (구조적 환각 제거)
작동 원리: 사용자가 질문을 하면, AI 는 나무의 뿌리에서 시작해 "어떤 가지가 맞을까?"라고 생각하며 정해진 길만 따라 내려갑니다.
🌱 비유 2: '식물 키우기' (동화화와 수용)
이 나무는 고정된 것이 아니라, 새로운 정보가 들어오면 자라납니다. 피아제 (Piaget) 의 심리학 이론을 차용했습니다.
동화 (Assimilation): 새로운 정보가 기존 가지에 자연스럽게 붙을 때 (예: "어제 사과를 먹었다" → 기존 '사과' 가지에 추가).
수용 (Accommodation): 완전히 새로운 개념이 들어오면, 나무에 새로운 가지를 뻗어냅니다 (예: "양자역학"이라는 새 개념 등장 → 새 가지 생성).
결과: AI 는 새로운 것을 배우면서도 기억의 구조가 무너지지 않고 자연스럽게 성장합니다.
🕸️ 비유 3: '연결된 거미줄' (Associative Graph)
나무의 가지들 사이에는 **보이지 않는 실 (연결고리)**이 있습니다.
상황: "사과"를 검색했을 때, 단순히 "사과"라는 책만 찾는 게 아니라, "사과"와 자주 함께 언급된 "오렌지", "과일", "건강" 같은 개념들도 실을 따라 찾아옵니다.
효과: 질문과 직접적으로 연결되지 않은 숨겨진 정보도 찾아낼 수 있어, 복잡한 추론 (Multi-hop) 이 가능해집니다.
🚀 3. 실제 효과: 왜 더 잘할까?
이 시스템을 실험 (LoCoMo 벤치마크) 해본 결과, 기존 방식보다 훨씬 뛰어난 성과를 보였습니다.
정확한 기억: 존재하지 않는 기억을 만들어내지 않으므로, "그게 무슨 이야기야?"라는 실수를 줄였습니다.
복잡한 추론: 여러 번의 대화를 거치며 흩어진 정보를 연결하는 능력이 비약적으로 향상되었습니다. (예: "어제 친구가 사과를 먹었는데, 그 친구가 좋아하는 과일은 뭐였지?" 같은 질문을 잘 처리)
교란에 강함: 사용자가 의도적으로 헷갈리게 질문해도, 나무의 구조를 따라 정확한 기억을 찾아냅니다.
💡 한 줄 요약
"기존 AI 는 기억을 '찾는' 데서 멈췄다면, 이 새로운 AI 는 기억을 '구조화'하고 '만들어가는' 방식으로, 실수 없이 더 똑똑하게 기억합니다."
이 연구는 AI 가 단순히 데이터를 저장하는 창고가 아니라, 인간처럼 지식을 스스로 조직하고 성장시키는 존재로 발전할 수 있는 길을 열었습니다.
1. 연구 배경 및 문제 정의 (Problem)
대형 언어 모델 (LLM) 기반 자율 에이전트의 장기 기억 (Long-term Memory) 시스템은 현재 밀집 검색 (Dense Retrieval) 에 크게 의존하고 있습니다. 그러나 이러한 기존 접근 방식에는 두 가지 근본적인 한계가 존재합니다.
문맥 불일치 (Context Mismatch): 밀집 검색은 문장 내의 의미적 유사성이나 엔티티 매칭에 의존합니다. 하지만 의미적으로 유사하지만 문맥적으로 완전히 다른 사례들을 구별하지 못해, 관련 없는 정보를 검색하여 노이즈를 발생시킵니다.
구조적 환각 (Structural Hallucination): 기억 접근을 오픈 엔디드 생성 (Open-ended Generation) 으로 전환할 경우, LLM 이 메모리에 존재하지 않는 키 (Key) 를 생성하여 조회 실패를 초래하는 '구조적 환각'이 발생할 위험이 큽니다.
기존 시스템은 기억을 단순한 '검색 문제'로 보지만, 이 논문은 구성주의 인식론 (Constructivist Epistemology, 피아제 이론) 에 기반하여 기억은 능동적으로 '구성'되는 과정이며, 유효한 회상은 기존 인지 스키마 (Cognitive Schema) 의 구조 내에서 수행되어야 한다고 주장합니다.
2. 제안 방법론: SCG-MEM
저자들은 SCG-MEM(Schema-Constrained Generative Memory) 을 제안합니다. 이는 기억 접근을 외부 검색이 아닌 스키마 제약 생성 (Schema-Constrained Generation) 으로 재정의하는 아키텍처입니다.
핵심 구성 요소
인지 스키마 (Cognitive Schema) 및 프리픽스 트라이 (Prefix Trie):
에이전트의 유효한 지식 경계를 정의하는 이산적 (discrete) 구조로, 프리픽스 트라이 형태로 구현됩니다.
트라이의 각 경로는 유효한 기억 엔트리 키에 대응합니다.
제약 디코딩 (Constrained Decoding): LLM 이 토큰을 생성할 때, 트라이의 유효한 경로 밖으로 나가지 않도록 확률 분포를 강제로 제한합니다. 이를 통해 구조적 환각을 수학적으로 0 으로 보장합니다 (생성된 모든 키는 반드시 메모리에 존재함).
진화적 스키마 구성 (Evolutionary Schema Construction):
피아제의 인지 발달 이론에 영감을 받아, 스키마를 정적이지 않고 동적으로 진화시킵니다.
동화 (Assimilation): 새로운 입력을 기존 스키마 노드에 매핑하여 기존 지식에 통합합니다.
수용 (Accommodation): 기존 스키마로 표현할 수 없는 새로운 개념이 등장할 경우, 트라이를 확장하여 새로운 노드를 추가합니다.
연상 그래프 (Associative Graph):
트라이 기반의 스키마는 평면적인 구조이므로, 다단계 추론 (Multi-hop Reasoning) 을 지원하기 위해 연상 그래프를 중첩합니다.
대화 턴 내에서 공발생 (Co-occurrence) 한 개념들 간의 연결 강도를 IDF 역문서 빈도 곱으로 계산하여 가중치를 부여합니다.
연동 전파 (Activation Propagation): 쿼리에서 시작하여 그래프를 따라 이웃 노드로 활성화가 전파되며, 명시적 매칭을 넘어선 문맥적 관련 정보를 수집합니다.
작동 프로세스 (Constructive Recall)
스키마 활성화: 쿼리에 대해 제약 디코딩을 통해 유효한 시드 개념 (Seed Concepts) 을 생성합니다.
연상 전파: 생성된 시드 개념을 기반으로 그래프를 탐색하여 관련 있는 기억 엔트리를 확장합니다.
문맥 재구성: 활성화된 개념들에 해당하는 원본 텍스트를 추출하여 LLM 에게 응답 생성을 위한 문맥으로 제공합니다.
3. 주요 기여 (Key Contributions)
SCG-MEM 아키텍처 제안: 검색을 제약된 생성으로 전환하여 구조적 환각을 근본적으로 제거하는 새로운 기억 패러다임을 제시했습니다.
하이브리드 구조 (Trie + Graph): 트라이를 통해 키의 유효성을 강제하고, 그래프를 통해 연상 추론을 가능하게 하는 이중 구조를 설계했습니다.
진화적 학습 메커니즘: 동화 (Assimilation) 와 수용 (Accommodation) 과정을 통해 에이전트가 장기적으로 적응하며 기억을 성장시키는 메커니즘을 구현했습니다.
4. 실험 결과 (Results)
LoCoMo 벤치마크 (초장기 대화, 멀티 세션, 시간적 일관성 평가) 에서 수행된 실험 결과는 다음과 같습니다.
성능 향상: 기존 밀집 검색 기반 시스템 (MemGPT, MemoryBank, ReadAgent 등) 및 최신 베이스라인 (A-MEM) 을 모든 카테고리 (Single-Hop, Multi-Hop, Temporal, Adversarial) 에서 압도적으로 능가했습니다.
특히 Qwen2.5 3B 모델에서 Single-Hop 태스크의 F1 점수가 +146.7% 향상되었고, Multi-Hop 태스크에서는 +126.6% 향상되었습니다.
Adversarial (기만적 쿼리) 상황에서도 구조적 제약 덕분에 관련 없는 정보를 배제하고 정확한 기억을 찾아 성능이 크게 개선되었습니다.
Ablation Study:
Cognitive Constraint 제거: 제약 디코딩을 없애고 일반 생성을 사용하면 Multi-Hop F1 이 -39.5% 급감하여, 유효한 시드 개념 선택의 중요성이 입증되었습니다.
Evolutionary Update 제거: 동화/수용 메커니즘을 없애면 Temporal 태스크에서 -20.1% 의 성능 저하가 발생하여, 시간에 따른 지식 업데이트의 중요성이 확인되었습니다.
하이퍼파라미터 분석:
검색된 개념 수 (k) 와 그래프 전파 깊이 (Hop) 는 모두 역 U 자형 (Inverted-U) 곡선을 보였습니다. 최적의 성능은 k≈35 및 Hop-1에서 나타났으며, 과도한 전파는 노이즈를 증가시켜 성능을 저하시켰습니다.
5. 의의 및 결론 (Significance)
이 논문은 에이전트 기억 시스템의 패러다임을 '검색 (Retrieval)'에서 '구성 (Construction)'으로 전환했다는 점에서 의의가 큽니다.
이론적 기여: LLM 의 생성 능력을 활용하면서도 구조적 환각을 방지하는 수학적 보장을 제공했습니다.
실용적 가치: 장기 대화에서 문맥의 일관성을 유지하고, 복잡한 다단계 추론이 필요한 작업에서 기존 RAG 기반 시스템의 한계를 극복했습니다.
미래 방향: 기억 압축, 계층적 스키마 구조, 그리고 텍스트를 넘어 시각/청각 정보를 포함하는 멀티모달 기억 시스템으로의 확장을 제안합니다.
결론적으로, SCG-MEM 은 에이전트가 자신의 지식 경계를 능동적으로 구성하고 유지하며, 이를 기반으로 정확하고 신뢰할 수 있는 기억을 회상할 수 있게 하는 강력한 프레임워크를 제시합니다.