MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

기술 요약: MEMSAD – 검색 증강 에이전트의 메모리 중독을 위한 그래디언트 결합 이상 탐지

1. 문제 정의

지속적인 외부 메모리 시스템 (예: Mem0, MemGPT) 은 사용자 선호도와 사실적 지식을 조밀한 벡터 임베딩으로 저장함으로써 대규모 언어 모델 (LLM) 에이전트가 세션 간 컨텍스트를 유지할 수 있게 합니다. 그러나 이러한 시스템의 보안 속성은 공식적으로 규명되지 않았습니다. 매 상호작용마다 접근이 필요한 프롬프트 인젝션과 달리, 메모리 중독은 공격자가 영구적으로 유지되는 단일 악성 항목을 주입하여 향후 세션의 모든 의미상 관련 쿼리에서 발동되게 할 수 있습니다.

본 논문은 접근 가정이 점진적으로 강화되는 세 가지 구별된 위협 모델을 공식화합니다:

• AGENTPOISON: 메모리 저장소에 대한 쓰기 접근 권한이 필요하며, DPR 임베딩을 통해 트리거를 최적화합니다.
• MINJA: 쿼리 전용 접근 권한이 필요하며, 점진적 단축 지시를 통한 자동 저장을 악용합니다.
• INJECMEM: 단일 상호작용 접근 권한이 필요하며, 검색기 무관 앵커를 통해 주입을 달성합니다.

기존의 검색 증강 생성 (RAG) 방어책은 일반적으로 코퍼스 수준의 접근과 오프라인 정화를 가정하는데, 이는 에이전트 메모리의 스트리밍 수집 모델에는 적용되지 않습니다. 또한, 이전 평가들은 종종 프로토콜 불일치 (예: 일반 쿼리로 트리거된 쿼리를 평가) 로 인해 공격 성공률이 과소평가되는 문제가 있었습니다.

2. 방법론: MEMSAD

저자들은 그래디언트 결합 정리에 기반한 보정 기반 방어책인 MEMSAD(의미 이상 탐지) 를 제안합니다.

핵심 통찰: 메모리 중독이 성공하는 이유는 악성 항목이 피해자 쿼리와 의미적으로 가깝기 때문입니다. MEMSAD 는 이 근접성이 탐지 가능한 신호라고 가정합니다. 이 시스템은 작성 시점에 작동하여 메모리 저장소에 확정되기 전 후보 항목을 필터링합니다.

그래디언트 결합 정리:
이론적 기여의 핵심은 인코더 규칙성 (가정 4) 하에서, 이상 점수 그래디언트와 검색 목적 함수 그래디언트가 단조 탐지기에 대해 증명 가능하게 동일함을 확립하는 것입니다.

• 충분성: 검색 점수의 임의의 단조 함수는 그래디언트 방향을 계승합니다. 따라서 탐지 위험을 감소시키는 모든 연속적 교란은 필연적으로 검색 순위를 저하시킵니다.
• 필요성: 비단조 탐지기는 공격자가 탐지를 회피하면서 검색 순위를 높일 수 있는 연속적 회피 경로를 허용합니다.
• 정규성: 최대 코사인 점수는 악성 대 비악성 가설 검정을 위한 유일한 최소 충분 통계량입니다.

알고리즘:
MEMSAD 는 롤링 피해자 쿼리 히스토리 $H$에 대한 후보 항목 $c$에 대해 이상 점수 $s(c; H)$를 계산합니다. 이 점수는 후보와 히스토리 간의 최대 코사인 유사도와 평균 코사인 유사도의 조합입니다.
$$s_{comb}(c; H) := \frac{1}{2} \max_{q \in H} \cos(E(c), E(q)) + \frac{1}{2|H|} \sum_{q \in H} \cos(E(c), E(q))$$
이 점수는 비악성 참조 코퍼스에서 유도된 임계값 $\hat{\mu} + \kappa\hat{\sigma}$와 비교됩니다. 점수가 임계값을 초과하면 항목이 거부됩니다.

이론적 보장:

• 인증된 탐지 반경: 악성 유사도와 비악성 유사도 간의 간격이 보정 불확실성을 초과하면, MEMSAD 는 탐지를 보장합니다.
• 최소최대 최적성: Le Cam 방법을 사용하여, 저자들은 임계값 탐지기가 $\Omega(1/\rho^2)$개의 보정 샘플을 필요로 함을 증명하며, MEMSAD 는 로그 인자를 제외하고 이 경계를 달성함을 보여줍니다.
• 온라인 후회 상한: 분포 드리프트가 있는 롤링 보정의 경우, 최적의 윈도우 크기는 $O(\sigma^{2/3}\Delta^{1/3})$의 후회율을 산출합니다.

한계 및 확장:
본 논문은 이산 동의어 불변성 공백을 지적합니다. 임베딩 공간에서의 연속적 교란에 대해 그래디언트 결합이 성립하지만, 이산 토큰 치환 (동의어) 은 인코더가 동의어를 거의 동일한 임베딩으로 매핑하는 경우 ($\epsilon_{syn} \approx 0$) 이 결합을 우회할 수 있습니다. 이를 해결하기 위해 저자들은 동의어 불변성이 아닌 문자 $n$-그램 제ン손-샤논 발산 (JSD) 특징을 의미 점수에 추가한 **MEMSAD+**를 제안합니다.

3. 주요 결과

저자들은 부트스트랩 신뢰 구간, 보너페로니 교정 가설 검정, 그리고 Clopper-Pearson 검증 (20 회 시도, $n=1,000$) 을 사용하여 $3 \times 5$ 공격 - 방어 행렬에서 접근 방식을 평가했습니다.

• 평가 수정: 원래 AGENTPOISON 작업에서 명시된 대로 트리거된 쿼리를 사용하여 평가 프로토콜을 수정한 결과, AGENTPOISON 의 측정된 공격 성공률 (ASR-R) 이 0.25 에서 1.00으로 증가했습니다.
• 방어 성능:
  • 복합 방어: MEMSAD, 워터마킹, 검증, 사전 탐지의 가중 앙상블은 세 가지 공격 클래스 전반에 걸쳐 TPR = 1.00 및 FPR = 0.00을 달성했습니다.
  • MEMSAD 단독: AGENTPOISON 에 대해 (트리거 보정 포함) TPR = 1.00, MINJA 에 대해 TPR = 0.40, INJECMEM 에 대해 TPR = 0.20 을 달성했습니다.
  • MEMSAD+: 동의어 치환 공격에 대한 탐지를 개선하여 INJECMEM 의 TPR 을 0.00 에서 0.40 으로 높였습니다.
• 적응형 공격자: 탐욕적 동의어 치환을 수행하는 화이트박스 공격자가 있더라도, 논문은 회피가 가능함 (80–100% 회피율) 을 보여주지만, 이는 연속 공간에서의 검색 저하를 수반하며, 이산 점프는 이를 우회할 수 있음을 입증했습니다.
• 생산 환경 검증: Mem0 을 사용한 실제 환경 검증에서, 내부 LLM 재형성은 트리거 최적화 구조를 제거하여 AGENTPOISON ASR-R 을 0.00 으로 낮췄으며, 반면 원시 벡터 저장소는 완전히 노출된 상태로 남았습니다.

4. 중요성 및 주장

본 논문은 RAG 메모리 중독에 대한 최초의 공식적으로 보장된 방어책을 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 공식적 규명: 메모리 중독에 대한 스택엘버그 게임 공식을 확립하고, 연속적 회피에 저항하기 위해 단조 검색 점수 탐지기가 필요하고 충분함을 증명합니다.
2. 인증된 보장: 휴리스틱 방어를 넘어선 인스턴스별 탐지 반경과 최소최대 최적성 증명을 제공합니다.
3. 통합 프레임워크: 접근 가정이 강화되는 세 가지 구별된 공격 클래스를 아우르며, 단일 방어책이 모든 접근 모델을 지배하지 않음을 밝혀 복합 포트폴리오의 필요성을 제기합니다.
4. 전선 식별: 연속 공간 방어책이 실패하는 경계인 "동의어 불변성 공백"을 명시적으로 규명하여, 하이브리드 의미 - 어휘적 접근법 (MEMSAD+) 의 필요성을 강조합니다.

저자들은 MEMSAD 가 연속적 교란에 대한 간극을 메우지만, 토큰 공간의 이산적 성격은 여전히 과제이며, 향후 연구는 이 간극을 해소하고 근사 최근접 이웃을 활용한 생산 환경 메모리로 확장해야 한다고 결론지었습니다.