SCM: Sleep-Consolidated Memory with Algorithmic Forgetting for Large Language Models

1. 문제 정의 (Problem Statement)

현재의 대규모 언어 모델 (LLM) 은 본질적으로 **기억 상실증 (amnesic)**을 겪고 있습니다. 각 대화는 새로운 시작을 하며, 이전 대화의 맥락을 유지하는 데 한계가 있습니다. 기존 해결책들은 다음과 같은 치명적인 단점을 가지고 있습니다:

• Context Window (문맥 창) 방식: 토큰 수 제한이 있으며, 긴 시퀀스 중간에 있는 중요한 정보가 누락되거나 성능이 저하됨.
• 벡터 데이터베이스 (RAG): 무한히 성장하는 임베딩을 저장하지만, 중요도 우선순위, 통합 (consolidation), 능동적 망각 (forgetting) 메커니즘이 부재함.
• 계층적 저장소 (MemGPT 등): 운영체제 메타포를 차용하지만, 생물학적 기억 과정인 수면 기반 통합이나 시냅스 가지치기 (pruning) 를 모방하지 못함.

인간의 기억 시스템은 단순한 '추가 전용 (append-only)' 데이터베이스가 아니라, 작업 기억의 한계, 수면 중 통합 (NREM/REM), 그리고 신호 대 잡음비 유지를 위한 능동적 망각을 포함하는 동적 구조입니다. SCM 은 이러한 생물학적 원리를 계산 모델로 구현하여 LLM 의 기억 한계를 극복하고자 합니다.

2. 방법론 (Methodology)

SCM 은 인간 기억의 5 가지 핵심 요소를 모방한 5 개의 상호 연결된 모듈로 구성된 아키텍처입니다.

핵심 구성 요소

1. 의미 인코더 (MeaningEncoder):
   • 비정형 텍스트를 구조화된 '개념 (Concept)'과 '관계 (Relation)'의 시맨틱 그래프로 변환합니다.
   • 로컬 LLM(Llama 3.2) 을 사용하여 엔티티, 사실, 선호도 등을 추출하고, 임베딩 (sentence-transformers) 을 생성하여 유사도 검색을 가능하게 합니다.
2. 가치 태거 (ValueTagger):
   • 각 개념에 4 차원 중요도 벡터를 할당합니다:
     • Novelty (신규성): 기존 기억 대비 예상치 못한 정도.
     • Emotional Valence (정서적 가치): 긍정/부정 감정 스코어.
     • Task Relevance (작업 관련성): 현재 대화 목표와의 일치도.
     • Repetition (반복 빈도): 접근 횟수.
   • 이 4 가지 가중치 합산 (작업 관련성이 가장 높은 가중치) 으로 종합 중요도 점수 $I(c)$를 계산합니다.
3. 작업 기억 (WorkingMemory):
   • 해마 (Hippocampus) 역할을 하며, **밀러의 법칙 (7±2 개)**에 따라 최대 7 개의 에피소드만 저장하는 제한된 버퍼입니다.
   • 용량이 차면 가장 오래된 항목이 교체되며, 이는 장기 기억으로의 통합을 강제하는 압력을 생성합니다.
4. 장기 기억 (LongTermMemory):
   • 대뇌 피질 역할을 하는 영구적인 시맨틱 그래프 (NetworkX + SQLite) 입니다.
   • 개념은 노드, 관계는 엣지로 저장되며, 엣지 가중치는 동시 발생 시 강화되고 수면 중에는 약화됩니다.
5. 수면 주기 (SleepCycle):
   • 트리거: 메모리 엔트로피, 충돌 밀도, 시간 경과, 수동 명령 시 활성화됩니다.
   • NREM 통합 (Consolidation): 작업 기억의 에피소드를 재생 (Replay) 하고, 헤비안 가소성 (Hebbian plasticity) 으로 동시 발생 개념을 강화한 후, 모든 시냅스 강도를 비례적으로 축소 (Downscaling, $\alpha=0.8$) 하여 새로운 학습을 위한 용량을 확보합니다.
   • REM 수면 (Dreaming): 고중요도 개념을 시드 (seed) 로 하여 그래프에서 무작위 보행 (Random Walk) 을 수행하여 새로운 연관 관계를 생성하고 통합합니다.
   • 의도적 망각 (Intentional Forgetting): 중요도와 시간 감쇠를 결합한 점수를 계산하여, 임계값 이하인 저가치 개념을 제거합니다.

추가 기능

• 자기 모델 (Self-Model): 시스템이 자신의 능력과 정체성을 기억 그래프 내에서 표현하여 내성적 (introspective) 응답이 가능하도록 합니다.

3. 주요 기여 (Key Contributions)

1. 통합 아키텍처: 작업 기억 한계, NREM/REM 수면 단계 통합, 의도적 망각, 자기 모델을 하나의 시스템으로 결합한 최초의 대화형 에이전트 메모리 아키텍처 제안.
2. 다차원 가치 태깅: 단일 점수 방식이 아닌 신규성, 정서, 작업 관련성, 반복을 고려한 4 차원 중요도 시스템 도입.
3. 성능 입증: 다중 턴 대화 벤치마크에서 완벽한 회상 정확도 (100%) 를 달성하면서도 메모리 잡음을 90.9% 감소시킴.
4. 시스템 설계 공개: 멀티 에이전트 동기화 및 웹 기반 시각화 인터페이스를 포함한 전체 시스템 설계 및 구현 코드 (Python 기반) 제공.

4. 실험 결과 (Results)

8 가지 표준 벤치마크 테스트에서 SCM 은 **평균 1.00 (완벽한 점수)**을 기록했습니다.

• 회상 정확도 (Recall Accuracy): 10 턱 대화 (22 개 사실 포함) 에서 모든 사실을 정확히 회상 (22/22).
• 기억 효율성:
  • FIFO 버퍼: 초기 사실 회상 실패 (36.4%).
  • 벡터 DB: 높은 회상률 (86.4%) 이지만 모든 잡음을 저장 (55 개 개념).
  • 망각 없는 그래프: 완벽한 회상 (100%) 이지만 메모리 폭주 (72 개 개념).
  • SCM: 완벽한 회상 (100%) 이면서 가장 작은 메모리 footprint (24 개 개념) 유지.
• 망각 효과성: 55 개 개념 (5 개 중요 + 50 개 잡음) 을 입력했을 때, 수면 주기 후 5 개 중요 개념은 모두 보존하고 45 개 잡음 개념을 제거하여 90.9% 의 잡음 감소율 달성.
• 지연 시간 (Latency): 수백 개의 개념이 저장되어도 검색 지연 시간이 1ms 미만 (소비자용 하드웨어 기준).
• 지속성: 서버 재시작 후에도 SQLite 를 통해 모든 개념과 관계가 무손실 복구됨.

5. 의의 및 한계 (Significance & Limitations)

의의

• 생물학적 영감의 실용화: 단순한 이론적 모방을 넘어, 실제 LLM 시스템에서 수면 기반 통합과 알고리즘적 망각이 작동하여 메모리 효율성과 정확도를 동시에 개선함을 증명했습니다.
• 차세대 AI 메모리: 무한히 성장하는 벡터 데이터베이스의 대안으로, 중요도 기반 우선순위와 능동적 삭제를 통해 장기 대화 에이전트의 실용성을 높이는 기반을 마련했습니다.
• 개인정보 보호: 의도적 망각 메커니즘을 통해 사용자가 특정 정보를 삭제하거나 데이터 보관을 제한할 수 있는 가능성을 제시합니다.

한계 및 향후 과제

• 계산적 근사: 실제 뇌의 뉴런이나 신경전달물질을 시뮬레이션하는 것이 아니라 그래프 알고리즘과 텍스트 생성을 기반으로 하므로, 의식 (Qualia) 을 가진 것은 아닙니다.
• 확장성: NetworkX 기반 그래프는 약 10,000 개 개념 이상에서 병목 현상이 발생할 수 있어, 대량 배포 시 Neo4j 같은 전문 그래프 DB 가 필요합니다.
• 다중 모달리티 부재: 현재는 텍스트 처리만 가능하며, 시각, 청각, 고유 수용감각 등 다른 감각 모달리티는 지원하지 않습니다.
• REM 의 효과 검증: 현재 벤치마크는 명시적 사실 회상에 집중되어 있어, REM 수면이 생성하는 '연상 추론 (Associative Inference)'의 효과는 향후 더 복잡한 평가가 필요합니다.

결론

SCM 은 LLM 이 단순한 대화 도구를 넘어, 인간과 유사한 방식으로 기억을 통합, 우선순위화, 망각할 수 있는 구조를 제공합니다. 이는 장기적인 개인 비서나 복잡한 맥락을 요구하는 AI 시스템 개발에 중요한 기술적 토대를 제공합니다.