기술 요약: 메모리 전염 (Memory Contagion)

1. 문제 정의

본 논문은 거대언어모델(LLM) 에이전트 메모리 시스템의 치명적인 취약점인 **메모리 전염(Memory Contagion)**을 다룬다. 최근 연구(예: Zhang et al. [2026])는 메모리 통합(consolidation) 메커니즘이 유용한 정보를 저하시킬 수 있음을 입증했지만, 해당 연구들은 입력되는 경험이 편향되지 않았다고 가정한다.

실제로 에이전트는 종종 편향된 평가자(예: 보상 모델, 인간 피드로백, 또는 체계적인 선호도를 가진 다른 에이전트)에 의해 훈련되거나 유도된다. 에이전트가 편향된 평가자와 상호작용하면, 그 결과로 생성된 궤적(trajectories)은 편향된다. 만약 이러한 편향된 궤적들이 메모리 시스템에 저장되고 미래의 에이전트들에 의해 검색된다면, 편향은 시간과 에피소드를 가로질러 전파된다. 저자들은 이를 메모리 전염으로 정의하며, 이는 단일 에이전트 강화 학습에서의 편향이나 에피소드 내 검색 편향을 다룬 기존 연구와 구별된다.

2. 방법론

2.1 실험 설정

본 연구는 두 개의 에이전트로 구성된 프레임워크를 사용한다:

• 소스 에이전트 ($A_s$): 과업과 상호작용하며 편향된 평가자 ($E_b$)에 의해 평가받는다. 이 에이전트의 궤적은 메모리 저장소 ($M_b$)에 저장된다.
• 타겟 에이전트 ($A_t$): 새로운 과업을 해결하기 위해 메모리 저장소로부터 정보를 검색한다. 본 연구는 $A_t$ 자신의 평가자가 편향되지 않았음에도 불구하고 $E_b$의 편향을 보이는지 측정한다.

조사된 편향 유형:

1. 길이 편향 (Length Bias): 긴 응답을 선호함 ($b(\tau) = \text{len}(a)$).
2. 권위 편향 (Authority Bias): 권위 있는 표식(예: "연구에 따르면", 인용구 등)을 포함하는 응답을 선호하며, 이는 LLM 기반 분류기를 통해 탐지된다.

통합 전략 (Consolidation Strategies):

• 오라클 통합 (Oracle Consolidation): 정보 손실 없는 완벽한 병합 (편향 전파가 입력 자체의 문제인지 테스트하기 위한 상한선 역할).
• LLM 통합 (LLM Consolidation): LLM 요약을 통한 현실적인 병합.

2.2 지표 및 분해

저자들은 편향된 메모리를 검색하는 타겟 에이전트와 깨끗한 메모리를 검색하는 타겟 에이전트 사이의 행동적 거리(Wasserstein distance $W_1$ 사용)를 측정하는 지표인 $\Gamma_{\text{temporal}}$을 도입한다.

메커니즘을 이해하기 위해, 전체 전염량($\Gamma_{\text{total}}$)을 다음과 같이 분해한다:

• $\Gamma_{\text{content}}$ (E1): 저장된 메모리의 내용으로 인한 편향 전파.
• $\Gamma_{\text{retrieval}}$ (E2): 검색 메커니즘(예: 편향된 쿼리와의 임베딩 유사성)으로 인한 편향 전파.
• $\Gamma_{\text{interaction}}$ (E3): 내용과 검색 간의 시너지 효과.
• 디바이어싱 효능 ($E_4$): 편향 표식을 제거하기 위해 메모리를 재작성했을 때 발생하는 전염 감소량.

2.3 실험 단계

1. 편향 주입 (Bias Injection): 거절 샘플링(rejection sampling)을 통해 편향된 궤적 생성.
2. 메모리 구축 (Memory Construction): 궤적을 저장하고 통합.
3. 절제 실험 (Ablation - Oracle): 완벽한 통합 하에서 전염성 테스트.
4. 메커니즘 분해 (Mechanism Decomposition): 내용 효과와 검색 효과를 격리.
5. 용량-반응 분석 (Dose-Response Analysis): 오염율($p$)을 0.2에서 1.0까지 변화시킴.

3. 주요 결과

3.1 완벽한 통합에서도 전염이 발생함

오라클 통합(정보 손실이 없는 병합) 상황에서도 메모리 전염이 관찰되었다.

• 길이 편향: $\Gamma_A = 13.18$ (95% CI [9.05, 21.10]), 0보다 유의미하게 큼 ($p < 0.01$).
• 권위 편향: $\Gamma_A = 11.45$ (탐색적 단일 실행 추정치).
• 시사점: 편향된 입력은 전염의 충분한 원인이 된다. 즉, 완벽한 통합도 이를 방지하지 못한다.

3.2 편향 유형에 따른 통합 효과

LLM 기반 통합의 영향은 편향 유형에 따라 달랐다:

• 길이 편향: 통합이 전염을 **감쇄(attenuate)**시킨다. $\Gamma$는 13.18 (Oracle)에서 2.03 (LLM)으로 감소하여 84%의 감소를 보였다. 저자들은 이것이 요약 과정에서 총 단어 수와 같은 전역적 특징이 압축되기 때문이라고 가설을 세웠다.
• 권위 편향: 예비 결과에 따르면 통합이 전염을 **증폭(amplify)**시킨다. 단일 실행에서 $\Gamma$는 11.45 (Oracle)에서 16.80 (LLM)으로 증가했다. 저자들은 요약이 주변부 내용은 제거하면서 핵심 주장과 그에 부수되는 권위 표식들을 보존함으로써, 토큰당 편향 신호를 농축시킨다고 가설을 세웠다.

3.3 메커니즘 분해

• 내용 지배성 (Content Dominance): 내용 기반($E_1$) 및 검색 기반($E_2$) 전염이 모두 존재하지만, 내용 오염이 약간 더 크다.
• 상호작용: 상호작용 항($E_3$)은 작으며 통계적으로 0과 구별되지 않는다. 이는 내용과 검색 메커니즘이 대체로 독립적으로 작동함을 시사한다.
• 디바이어싱의 어려움: 편향 표식을 제거하기 위해 메모리를 재작성하는 것은 어렵다. 권위 편향의 경우, 디바이어싱 효능($E_4$)이 0.51에 불과하여 상당한 잔여 편향이 남아 있음을 보여주었다. 이는 권위 표식과 사실적 내용 사이의 의미론적 얽힘(semantic entanglement) 때문인 것으로 보인다.

3.4 용량-반응 분석

• 안전한 임계값 없음: 낮은 오염율($p = 0.2$, 즉 20%의 편향된 메모리)에서도 전염이 감지된다.
• 비선형성:
  • 길이 편향은 오염율에 따라 단조 증가한다.
  • 권위 편향은 $p=0.8$에서 정점($\Gamma = 23.03$)을 찍고 감소하는 "피크 후 하락(peak-and-decline)" 패턴을 보인다. 저자들은 대다수의 메모리가 유사한 표식을 가질 때 발생하는 검색 간섭 때문이라고 추측한다.

4. 의의 및 주장

본 논문은 에이전트 메모리 설계의 알려지지 않은 취약점인 **"편향된 입력은 통합의 품질과 관계없이 시공간적 편향 전파의 충분한 원인이 된다"**는 점을 밝혀냈다.

• "통합이 문제"라는 주장에 대한 반박: 통합을 고치면 메모리 문제를 해결할 수 있다는 주장은 불완전하다. 완벽한 통합을 하더라도 편향된 입력은 편향된 에이전트를 만든다.
• 방향적 비대칭성: 통합이 한 편향(길이)은 약화시키고 다른 편향(권위)은 증폭시킬 수 있다는 발견은, 통합이 항상 중립적이거나 해롭다는 가정에 도전한다.
• 측정 도구: 본 논문은 시공간적 편향 전파를 측정하기 위한 공식적인 도구($\Gamma_{\text{temporal}}$)를 제공하여, 향-후 연구에서 이러한 효과를 정량화하고 완화할 수 있게 한다.

저자들은 메모리 시스템 설계자가 통합의 품질뿐만 아니라 입력 편향(input bias) 문제를 반드시 다루어야 한다고 결론짓는다. 또한 권위 편향에 관한 결과는 예비적인 것이며(일부 지표의 단일 실행 추정치에 기반), 이 현상은 특정 편향 유형과 작업 맥락(예: 권위 편향은 합성 QA 작업에서는 전파되지 않았으나 사실 중심 맥락에서는 전파됨)에 크게 의존한다고 언급하였다.