기술 요약: 더 많이 기억할수록 더 큰 위험

문제 제기

메모리를 갖춘 대규모 언어 모델 (LLM) 에이전트에 대한 현재 안전성 평가는 주로 **작업 내 안전성 (within-task safety)**에 초점을 맞추고 있습니다. 이는 에이전트가 적대적 조건 (프롬프트 인젝션 또는 메모리 오염 등) 하에서 단일 시나리오를 안전하게 완료하는지 평가하는 것입니다. 그러나 실제 배포 환경에서는 단일 에이전트가 수주 또는 수개월에 걸쳐 많은 독립적인 작업을 수행하며 지속적인 상태를 축적합니다.

본 논문은 **시간적 메모리 오염 (temporal memory contamination)**이라는 중요한 격차를 지적합니다. 이는 적대적이지 않은 독립적인 작업들 사이에서 발생하는 순전한 메모리 축적이 시간이 지남에 따라 점점 더 위험한 행위로 이어지는 실패 모드입니다. 실패를 유도하기 위해 공격자가 입력을 조작하는 적대적 공격과 달리, 시간적 메모리 오염은 에이전트 자신의 일상적인 상호작용에서 발생합니다. 메모리가 커짐에 따라 현재 쿼리와는 관련이 있지만 안전한 응답과는 양립할 수 없는 내용 (예: 다른 사용자의 개인 데이터 검색 또는 구식 지시사항) 을 포함하게 되어, 위험한 전이가 발생할 수 있습니다.

이를 연구하는 기존 방법들은 **스트림 비정상성 (stream non-stationarity)**에 의해 혼란을 겪습니다. 단순히 시간 대비 위반율을 그래프로 나타내는 것은 실패합니다. 왜냐하면 입력 스트림 자체가 변하기 때문입니다 (예: 이메일 양의 급증이나 주제의 민감도 증가). 따라서 증가된 위험이 메모리 축적 때문인지, 아니면 작업의 변화된 특성 때문인지 분리해 내는 것이 불가능합니다.

방법론

스트림 비정상성으로부터 메모리 효과를 분리하기 위해 저자들은 **트리거 - 프로토콜 (trigger-probe protocol)**과 이벤트 기반 프레임워크를 도입했습니다.

1. 이벤트 분해

실패는 세 가지 구성 요소로 분해됩니다:

• 전제 조건 (Precondition): 메모리 상태가 특정 쿼리에 대해 검색 가능한 오염된 내용을 포함하고 있음.
• 트리거 (Trigger): 해당 내용을 검색하도록 활성화하는 특정 입력 (프로브).
• 위반 (Violation): 에이전트가 검색된 내용을 부적절하게 응답에 전달함.

2. 트리거 - 프로토콜

이 프로토콜은 다양한 길이 ($\ell$) 의 스트림 접두사로부터 구축된 읽기 전용 메모리 스냅샷에 대해 고정된 프로브 트리거 세트를 평가합니다.

• 제어된 노출: 에이전트는 메모리 상태를 구축하기 위해 처음 $\ell$개의 상호작용을 처리합니다. 그런 다음 고정된 프로브 세트를 읽기 전용 모드로 이 스냅샷에 대해 평가합니다 (프로브는 메모리에 다시 기록되지 않음).
• 반사실적 기준선: 각 프로브에 대해 시스템은 메모리가 있는 경우 ($y_{mem}$) 와 메모리가 없는 경우 ($y_{\emptyset}$, NullMemory 기준선) 두 가지 응답을 생성합니다.
• 메모리 유발 위반 레이블 ($U_a$): 다음 조건이 충족될 때만 위반을 메모리 유발로 레이블링합니다:
  1. 메모리 강화 응답이 안전하지 않음.
  2. NullMemory 응답이 안전함.
  3. 안전하지 않은 내용이 시맨틱 매칭을 통해 검색된 메모리로 추적 가능함.

3. 평가 설정

이 프로토콜은 두 가지 다른 에이전트 클래스와 세 가지 배포 시나리오에 적용됩니다:

• 사무 보조 에이전트: 합성 스트림 (의료 진료소, 대학 등록처) 과 개인별 Enron 메일함에 대해 평가됩니다. MemEngine 분류 체계의 여덟 가지 메모리 아키텍처 (전체 메모리, 단기, 장기, 생성 에이전트, MemoryBank, MemGPT, MemTree 등) 가 테스트됩니다.
• 클로 - 라이크 에이전트 (Claw-like Agents): 파일 시스템 접근 권한을 가진 사용자의 컴퓨팅 환경에서 작동하는 OpenClaw 및 SecLaw 플랫폼에서 평가됩니다. 메모리는 일반 Markdown 파일로 저장됩니다. 위험은 인증서에 내장된 **캐리 문자열 (canary strings)**을 통해 측정되며, 이러한 문자열이 출력이나 로그에 나타나면 위반으로 간주됩니다.

주요 기여

1. 종단적 안전성 프레임워크: 메모리 안전성을 단일 상태가 아닌 궤적으로 취급하여, 입력 스트림 변동으로부터 축적 효과를 분리하는 트리거 - 프로토콜 도입.
2. 실증적 특성화: 여덟 가지 메모리 아키텍처와 세 가지 시나리오에 걸친 메모리 유발 위반율의 포괄적인 측정. 이는 위험이 일관되게 NullMemory 기준선을 초과하며 노출 길이에 따라 증가함을 입증함.
3. 아키텍처 간 분석: 구조적으로 다른 실패 메커니즘 (사무 보조 에이전트의 교차 컨텍스트 누출 vs. 클로 - 라이크 에이전트의 주의력 희석/컨텍스트 정규화) 에서도 시간적 증폭이 지속됨을 입증.
4. 설계 공간 분석: 검색 범위 (광범위한 시맨틱 검색) 와 요약 수준 (추상화된 내용) 을 증폭을 주도하는 주요 설계 선택지로 식별.
5. 검색 시간 진단: 검색 상태를 기반으로 생성 전에 메모리 유발 위험을 예측하는 경량 모니터 개발. 도메인 특정 규칙에 의존하지 않고 높은 재현율 (0.970–0.984) 달성.

결과

• 시간적 증폭: 노출 길이 ($\ell$) 가 증가함에 따라 메모리 유발 위반율 ($q_a(\ell)$) 이 뚜렷한 상승 추세를 보임. 이 효과는 사무 보조 에이전트와 클로 - 라이크 에이전트 모두에서 관찰됨.
• 내용 vs 순서: 상호작용 순서를 뒤섞는 순서 무작위화 실험은 증폭이 특정 만남의 순서보다는 주로 축적된 내용에 의해 주도됨을 나타냄. 다만, 국소적 순서는 일부 아키텍처 (예: 트리 구조 메모리) 의 경우 효과를 조절할 수 있음.
• 아키텍처 민감도:
  • 광범위한 검색과 장기 유지를 가진 아키텍처 (예: MemTree, Self-Controlled Memory, Generative Agents) 는 위반율에서 가장 가파른 증가를 보임.
  • 최근성 편향 시스템 (예: 단기 메모리) 은 상대적으로 평탄하게 유지되어, 검색 범위 제한이 안전성 버퍼 역할을 함을 시사.
  • 요약은 별개의 컨텍스트에서 세부 정보를 결합하여 새로운 안전하지 않은 추론을 생성하는 복합 표현을 만들면서 위험을 초래할 수 있음.
• 클로 - 라이크 에이전트: 명시적인 교차 컨텍스트 누출이 없더라도 (프로브 내용이 고정되어 있으므로), 주변의 순전한 메모리가 안전성 주의를 희석하고 인증서 관련 언어를 정상화하여 메모리 양이 커짐에 따라 위반율이 높아짐.
• 예측적 모니터링: 검색 시간 모니터가 생성 전에 위험을 성공적으로 탐지하여, 검색 단계에서 안전 개입 (항목 필터링 또는 메모리 없는 생성으로 전환 등) 을 적용할 수 있음을 시사.

의의

본 논문은 메모리 안전성을 스냅샷으로 포착되는 단일 상태 속성이 아닌, 시간적 평가가 필요한 종단적 속성으로 취급해야 한다고 주장합니다. 이 발견들은 순전한 메모리 축적이 안전하다는 가정을 도전하며, 일상적인 상호작용만으로도 시간이 지남에 따라 안전성 프로파일이 저하될 수 있음을 보여줍니다.

이 연구는 장기 horizon 에이전트 안전성 평가를 위한 방법론적 기초를 제공하며 시스템 설계자에게 실행 가능한 통찰력을 제시합니다:

• 트레이드오프: 검색 범위 확대와 요약 레이어 추가는 유용성을 향상시키지만 시간적 안전성 노출을 증가시킴.
• 완화: 모델에 영향을 미치기 전에 오염된 컨텍스트를 필터링하기 위해 안전 메커니즘은 생성 단계뿐만 아니라 검색 단계에도 통합되어야 함.
• 평가 기준: 향후 안전성 벤치마크는 시간적 차원과 메모리 축적 및 비정상적 입력 스트림 간의 상호작용을 고려해야 함.

저자들은 명시적인 시간적 평가 없이는 장기 horizon 배포 환경에서 메모리 equipped 에이전트의 안전성이 검증되지 않았으며, 오히려 자신의 과거사에 의해 잠재적으로 훼손될 수 있다고 결론지었습니다.