기술 요약: 다중 시간 척도 기억 역학을 통한 LLM 시스템의 지속적 지식 업데이트

1. 문제 제기

대규모 언어 모델 (LLM) 은 일반적으로 한 번 학습된 후 배포되는데, 이때 배포되는 세계는 사실적 지식이 정적이지 않은 동적인 환경입니다. 새로운 사실이 등장하고, 오래된 사실은 쓸모없어지며, 개념적 연관성은 시간이 지남에 따라 강화되거나 약화됩니다. 배포 시점에 고정된 모델은 이러한 변화에 적응할 수 없습니다.

지속적 학습을 위한 기존 접근법들은 다음과 같은 중대한 한계에 직면해 있습니다:

• 매개변수 지속적 학습 (Parametric Continual Learning): 새로운 정보를 흡수하기 위해 모델 가중치를 업데이트하는 것은 재앙적 망각 (catastrophic forgetting) 을 초래할 위험이 있으며, 계산 비용이 많이 들고 서비스 형태로 모델을 사용하는 개발자들에게는 종종 접근이 불가능합니다. 또한, 단일 업데이트 메커니즘은 서로 다른 속도로 변화하는 지식을 구별할 수 없습니다.
• 외부 기억 증강 (External Memory Augmentation): 현재의 검색 증강 생성 (RAG) 및 기억 증강 시스템은 백본을 고정된 상태로 유지하지만 외부 기억 저장소에 의존합니다. 그러나 이러한 시스템들은 일반적으로 고정된 규칙 (예: 추가, 가지치기, 시간 감쇠) 을 통해 기억을 명시적으로 관리합니다. 이들은 내부 연관 구조를 재구성함으로써 '학습'하지 않습니다. 연관성은 반복에 의해 강화되지도 않으며, 증거가 부재할 때 자연스럽게 약화되지도 않습니다.

핵심적인 과제는 **선택적 적응 (selective adaptation)**을 수행하는 시스템을 만드는 것입니다. 즉, 지속적인 증거에 의해 확인된 연관성을 강화하고, 지지되지 않는 연관성은 버리며, 이를 근본적인 LLM 백본을 수정하지 않고 지속적으로 수행하는 것입니다.

2. 방법론: Memini 시스템

저자들은 지속적 학습이 외부 관리나 매개변수 업데이트를 통하는 것이 아니라, 다중 시간 척도 역학에 의해 주도되는 연관 기억의 재구성을 통해 이루어지는 Memini라는 패러다임을 제안합니다.

2.1. 기억 아키텍처

Memini 는 영구적인 방향성 그래프 $G = (V, E)$를 활용합니다. 여기서:

• 노드 ($V$): 유입되는 문서 스트림에서 추출된 개체나 개념을 나타냅니다.
• 간선 ($E$): 방향성 연관성 ($A \to B$) 을 나타냅니다. 이전의 그래프 기반 시스템과 달리, 간선은 레이블이 없으며 (의미는 연결 패턴에 인코딩됨) 영구적이고 진화하는 가중치를 가집니다.

2.2. 다중 시간 척도 간선 역학

핵심 혁신은 각 간선의 내부 상태에 있습니다. 시냅스 강화 (synaptic consolidation) 에 대한 Benna-Fusi 모델을 따르며, 각 방향성 간선 $(A, B)$은 두 개의 결합된 내부 변수를 유지합니다:

1. $w_{fast}$ (빠른 변수): 접근 가능한 구성 요소입니다. 공발생 사건 (입력 $I(t)$) 에 직접 반응하며, 빠르게 감쇠 ($\tau_{fast}$) 하고, 검색 시 읽히는 유일한 변수입니다.
2. $w_{slow}$ (느린 변수): 숨겨진 강화 구성 요소입니다. 직접적인 외부 입력을 받지 않습니다. $w_{fast}$와의 양방향 결합을 통해서만 변화하며, 훨씬 더 느리게 감쇠 ($\tau_{slow} \gg \tau_{fast}$) 합니다.

이 역학은 다음 미분 방정식에 의해 지배됩니다:
$$\frac{dw_{fast}}{dt} = -\frac{w_{fast}}{\tau_{fast}} + C(w_{slow} - w_{fast}) + I(t)$$
$$\frac{dw_{slow}}{dt} = -\frac{w_{slow}}{\tau_{slow}} + C(w_{fast} - w_{slow})$$

여기서 $C$는 결합 강도이고 $I(t)$는 공발생 입력입니다.

2.3. 창발적 행동

이 결합은 명시적인 규칙이나 게이트 모듈 없이 세 가지 주요 행동을 생성합니다:

• 에피소드 민감성 (Episodic Sensitivity): 단일 공발생은 $w_{fast}$의 급격한 상승을 유발하여, 강화되지 않으면 빠르게 감쇠하는 일시적인 흔적을 만듭니다.
• 점진적 강화 (Gradual Consolidation): 반복된 공발생은 $w_{fast}$를 반복적으로 상승시키고, 이를 통해 결합을 거쳐 $w_{slow}$를 점차 끌어올립니다. 일단 $w_{slow}$가 축적되면 직접적인 입력이 중단되더라도 $w_{fast}$를 유지하여 연관성을 에피소드적 상태에서 안정적인 상태로 전환시킵니다.
• 선택적 망각 (Selective Forgetting): 강화가 중단된 연관성은 감쇠합니다. $w_{slow}$가 느리게 감쇠하기 때문에 일정 시간 동안 $w_{fast}$를 유지하지만, 증거가 장기간 부재하면 결국 연관성이 사라집니다. 이는 망각을 실패가 아닌, 기억을 현재 세계의 상태에 맞추기 위한 기능적 메커니즘으로 재정의합니다.

2.4. 확산 활성화에 의한 검색

검색은 그래프 상의 확산 활성화 (spreading activation) 를 통해 작동합니다. 쿼리 개체가 시드 노드를 활성화하면, 활성화는 현재 $w_{fast}$ 값으로 가중치가 부여된 간선을 따라 전파됩니다.

• 시스템은 현재 기억 상태를 읽지만 검색 중에는 이를 수정하지 않습니다.
• $w_{fast}$는 최근성 (최근 입력) 과 강화 ($w_{slow}$에 의해 유지됨) 를 모두 반영하므로, 다른 시간에 제출된 동일한 쿼리는 다른 경로를 탐색하고 증거의 역사에 기반하여 다른 맥락을 검색합니다.

3. 주요 기여

1. 지속적 학습을 위한 새로운 패러다임: 이 논문은 기억을 '축적'하는 것 (저장소 확장) 과 기억을 '학습'하는 것 (역학을 통한 구조 재구성) 을 구분해야 한다고 주장합니다. Memini 는 학습을 연관 가중치의 자율적 재구성으로 구현합니다.
2. 생물학적 영감을 받은 역학: 시냅스 강화 모델인 Benna-Fusi 모델을 LLM 외부 기억에 적용하여, 결합된 빠른/느린 변수를 활용하여 가소성 - 안정성 트레이드오프를 해결합니다.
3. 창발적 선택성: 시스템은 역학의 창발적 속성으로서 선택적 유지와 망각을 달성하여, 명시적 삭제 규칙, 임계값, 또는 외부 관리자의 필요성을 제거합니다.
4. 기반의 분리: 이 설계는 언어 처리 기반 (고정된 LLM) 과 학습 기반 (동적 기억) 을 분리하여, 모델 가중치를 수정하지 않고도 기억이 지속적으로 진화할 수 있도록 합니다.

4. 실험 결과

저자들은 COVID-19 팬데믹과 관련된 13 개의 시간 순서대로 배열된 위키백과 문서 (기원, 봉쇄, 백신, 변이 등 4 단계에 걸침) 스트림을 사용하여 초기 검증을 수행했습니다.

• 설정: 스트림 전반에 걸쳐 20 개의 개체가 추적되었습니다. 시스템은 두 변수 Benna-Fusi 구현체 ($\tau_{fast}=2, \tau_{slow}=10, C=0.2$) 를 사용했습니다.
• 정성적 검증: 시스템은 예측된 세 가지 영역을 성공적으로 시연했습니다:
  • 에피소드: "박쥐 - SARS-CoV-2"(단일 언급) 는 $w_{fast}$에서 일시적인 스파이크를 보였으며 빠르게 감쇠했습니다.
  • 강화: "mRNA - 백신"(3 단계에서 반복된 언급) 은 직접적인 입력이 중단된 후에도 $w_{slow}$가 상승하여 $w_{fast}$를 장기간 유지하는 것을 보여주었습니다.
  • 최근성 민감성: "델타 - 백신"(최근 반복된 언급) 은 감쇠 시간이 적어 오래된 강화된 쌍보다 더 높은 가중치를 유지했습니다.
• 애블레이션 연구: Memini 는 단일 시간 척도 애블레이션 ($w_{slow}$ 제거) 과 균일 유지 기준선 (감쇠 없음) 과 비교되었습니다.
  • 결과: "반복되었으나 더 이상 언급되지 않는" 연관성에 대해 Memini 는 평균 가중치가 단일 시간 척도 애블레이션보다 약 30 배 더 큽니다.
  • 의의: 이 격차는 느린 변수의 기여도를 분리하여, 오래되었지만 이전에 확인된 지식을 유지하는 데 느린 변수가 필수적임을 입증합니다.
  • 대조군: "적은 언급, 더 이상 언급되지 않는" 쌍의 경우 두 시스템 모두 거의 0 으로 감쇠한 반면, 균일 기준선은 이를 유지했습니다 (망각이 없을 때의 비용을 보여줌).

5. 의의 및 주장

이 논문은 Memini 가 외부 기억을 어떻게 개념화하는지에 있어 전환점을 나타낸다고 주장합니다. 즉, 외부 규칙에 의해 관리되는 정적 저장소에서 자체 역학을 통해 재구성되는 학습 기반으로의 전환입니다.

• 이론적 기여: 에피소드 민감성, 점진적 강화, 선택적 망각이 별도의 저장소나 모듈이 아닌 단일 메커니즘 (결합된 다중 시간 척도 역학) 에서 창발할 수 있음을 보여줍니다.
• 실용적 함의: 학습을 LLM 백본에서 분리함으로써 Memini 는 매개변수 업데이트와 관련된 재앙적 망각 및 계산 비용을 피하면서 지속적 지식 업데이트를 위한 경로를 제공합니다.
• 소극적 범위: 저자들은 명시적으로 현재 작업이 소규모 통제 데이터셋 (13 개 문서) 에서 초기 검증을 거친 이론적 설계라고 밝힙니다. 검색 벤치마크 및 더 큰 문서 스트림을 포함한 완전한 경험적 검증으로의 확장화는 당면한 다음 단계임을 인정합니다. 이 논문은 모든 지속적 학습 문제를 해결한다고 주장하지는 않지만, 연관 지식의 시간적 역학을 관리하기 위한 구체적인 메커니즘을 제안합니다.