기술 요약: SMSR – 지속적인 LLM 에이전트 시스템에서의 런타임 메모리 포이즈닝에 대한 인증된 방어

1. 문제 정의: 다중 세션 메모리 포이즈닝 (MSMP)

기업 환경의 검색 증강 생성(RAG) 에이전트는 사용자 세션 전반에 걸쳐 상호작용을 축적하는 지속적인 메모리 저장소에 점점 더 의존하고 있습니다. 이러한 지속성은 새로운 공격 표면을 생성합니다: 즉, 공격자(직원, 고객 또는 침해된 도구로 행동하는 자)가 정교하게 설계된 메모리를 주입하여 영구적으로 잔류시킬 수 있다는 점입니다. 일단 이러한 오염된 항목이 검색되면, 모델 가중치나 애플리케이션 코드를 수정하지 않고도 향후 쿼리에 대한 에이전트의 동작을 재지정할 수 있습니다.

본 논문은 공격자가 미래의 사용자 쿼리와 의미적으로 일치하는 메모리를 주입하여, 에이전트가 악의적이거나 잘못된 응답을 출력하도록 유도하는 다중 세션 메모리 포이즈닝 (MSMP) 위협을 식별합니다. 기존의 방어 기제는 불충분합니다:

• 정적 코퍼스 방어 (예: RobustRAG, ReliabilityRAG)는 오프라인에서 인덱싱된 고정된 지식 베이스를 가정하며, 공격자가 에이전트의 정상적인 쓰기 경로를 통해 런타임에 데이터를 주입할 경우 실패합니다.
• 휴리스틱 필터 (예: 키워드 블랙리스트, 엔트로피 체크, 의미론적 이상 탐지)는 합법적인 정책 업데이트를 모방하는 유창한 기업 스타일의 텍스트에 의해 우회될 수 있습니다.
• 합의 기반 휴리스틱 (예: A-MemGuard)은 공식적인 보안 보증이 부족하며, 주입 전략을 조정하는 지속적인 공격자에게 패배할 수 있습니다.

결정적으로, 기존의 어떤 방어 체계도 적응형 런타임 메모리 포이즈닝에 대해 **공식적인 보안 인증(mathematical bound on attack success)**을 제공하지 못합니다.

2. 방법론: 서명된 메모리와 평활화된 검색 (SMSR)

저자들은 MSMP에 대해 인증된 강건성 경계(certified robustness bound)를 제공하도록 설계된 두 가지 구성 요소의 방어 메커즘인 SMSR을 제안합니다.

구성 요소 1: HMAC 프로비넌스 태깅 (쓰기 시점 경계)

서명되지 않은 공격자(직접적인 데이터베이스 접근 권한은 있으나 인증 자격 증명은 없는 자)를 해결하기 위해, SMSR은 쓰기 시점에 암호학적 경계를 구현합니다.

• 메커니즘: 모든 합법적인 메모리 항목에는 서버 측 비밀 키($K$)를 사용하는 HMAC-SHA256 서명이 태그됩니다.
• 검색: 쿼리 시점에 시스템은 검색된 항목의 HMAC 태그를 검증합니다. 유효한 태그가 있는 항목만 후보 풀에 허용됩니다.
• 보안: 표준 HMAC 가정 하에, 서명되지 않은 공격자는 유효한 태그를 위조할 수 없으므로, 서명되지 않은 주입에 대한 공격 성공률(ASR)을 0%로 효과적으로 낮춥니다.

구성 요소 2: 무작위 메모리 절제 및 판결 기반 집계 (인증된 공격자)

인증된 공격자(서명된 메모리를 작성할 수 있는 합법적인 사용자)를 해결하기 위해, SMSR은 평활화된 분류(smoothed classification)와 유사한 무작위 방어를 채택합니다.

• 오버 페칭 (Over-fetching): 쿼리에 대해 시스템은 검증된 $m$개의 후보 풀($m > k$, 여기서 $k$는 표준 컨텍스트 크기)을 검색합니다.
• 무작위 절제 (Randomised Ablation): 시스템은 $n_{runs}$번의 독립적인 시행을 수행합니다. 각 시행에서는 $m$개의 후보로부터 $k$개의 항목을 비복원 추출 방식으로 무작위로 샘플링합니다.
• 판결 기반 집계 (Verdict-Based Aggregation): LLM 심판(judge)이 각 시행에서 생성된 응답을 평가하여 판결(예: 정확함, 악의적임, 둘 다 아님)을 반환합니다. 최종 출력은 텍스트 문자열 자체가 아니라 판결의 다수결에 의해 결정됩니다.
• 이론적 근거: 이 접근 방식은 샘플링된 컨텍스트 중 다수가 공격적인 항목을 포함할 확률을 바이어스(hypergeometric distribution)를 통해 제한하는 것에 의존합니다.

이론적 기여

• 불가능성 결과 (정리 1): 저자들은 검색 시점에만 작동하는 결정론적이고 프로비넌스(출처)가 없는 필터가 적응형 공격자에 대해 비자명한 보안 인증을 달성할 수 없음을 증명합니다. 이는 구성 요소 1의 쓰기 시점 프로비넌스 메커니즘을 필연적으로 만듭니다.
• 인증된 강건성 경계 (정리 2): 구성 요소 2를 위해, 풀 크기 $m$ 내에 $t$개의 공격적 항목이 있을 때 악의적인 출력이 나올 최대 확률($\delta$)을 정의하는 공식적인 초기하 분포(hypergeometric) 인증이 도출되었습니다.
• 일관된 소수 효과 (CME): 공격적 응답은 텍스트적으로 일관된 반면 선량한 응답은 다양하다는(패러프레이징 변이) 이유로 문자열 기반 다수결 투표가 실패하는 함정을 공식화합니다. SMSR은 판결 기반 집계를 사용하여 이를 완화하며, 이는 문자열 일치도가 아닌 의미적 정확성을 계산합니다.

3. 주요 기여

1. 공식적 정의: MSMP 위협 모델과 지속적인 LLM 에이전트 메모리 시스템을 위한 최초의 $(t, \delta)$-보안 정의를 도입했습니다.
2. 불가능성 증명: 프로비넌스가 없는 방어가 적응형 주입에 대해 인증될 수 없음을 입증했습니다.
3. SMSR 구축: HMAC 프로비넌스와 무작위 절제를 결합하여 공식적인 인증을 제공하는 실용적인 방어 체계를 구축했습니다.
4. CME 특성화: 판결 기반 집계가 필요한 이유를 보여주는 일관된 소수 효과(CME)를 공식화하고 정량화했습니다.
5. 실험적 검증: 15개의 기업 시나리오와 3,150회의 반복 실험을 통해 광범위한 평가를 수행했습니다.

4. 실험 결과

평가는 생산 규모 테스트를 위한 20-시드 메모리 저장소와 소규모 평가를 위한 10+시드 저장소를 사용하여 15개의 기업 지식 베이스 시나리오(금융, 컴플라이언스, IT, HR)에서 수행되었습니다.

• 서명되지 않은 공격 (구성 요소 1): SMSR은 미방어 베이스라인의 ASR(93~100%)을 모든 서명되지 않은 주입 변형(휴리스틱 필터를 피하도록 설계된 "바이패스" 공격 포함)에 대해 **0%**로 낮추었습니다.
• 인증된 공격 (구성 요소 2):
  • 생산 규모 ($m=20, t=1$): SMSR은 ASR을 93~100%에서 8.0% (95% CI [5.8%, 10.9%])로 낮추었습니다. 이 결과는 $n_{runs}=5$일 때의 이론적 최악의 경계인 $\delta = 10.4\%$보다 안전하게 낮습니다.
  • 소규모 규모 ($m'=11, t=1$): ASR은 37.8% (95% CI [33.4%, 42.3%])였으며, 이는 인증 경계인 $\delta = 41.5\%$보다 낮았습니다.
  • 플러딩 변형: 여러 번의 패러프레이징 주입이 발생하는 플러딩 시나리오에서 ASR은 이론적 경계에 근접하여 인증의 타이트함을 확인했습니다.
• 휴리스틱과의 비교: A-MemGuard 스타일의 합의 베이스라인이 유사한 경험적 ASR(특정 20-시드 테스트에서 3.8% vs 8.0%)을 달성했지만, SMSR은 공식적인 인증을 제공한다는 점에서 차별화됩니다.
• 엔드 투 엔드 검증: 에이전트 자체가 독을 주입하는 쿼리 전용 공격(MINJA 공격 벡터 모사)에서, SMSR은 ASR을 65.3%에서 **5.3%**로 낮추었습니다.
• 유틸리티: 구성 요소 1은 깨끗한 쿼리에 대해 90%의 유틸리티를 보존했습니다. 결합된 방어(구성 요소 1 & 2)는 85%의 유틸리티를 유지했으며, 이는 보안 보증을 위한 5%의 비용을 의미합니다.
• 심판 신뢰도: Haiku와 Sonnet 모델 간의 심판 일치도는 높게 나타났 ($\kappa = 0.955$), 판결 집계의 신뢰성을 확인했습니다.

5. 의의 및 주장

본 논문은 지속적인 LLM 에이전트 시스템의 런타임 메모리 포이즈닝에 대한 최초의 공식 인증된 방어를 제시한다고 주장합니다. 그 의의는 다음과 같습니다:

• 휴리스틱을 넘어: 경험적 관찰이나 정적 가정에 의존하는 이전 연구와 달리, SMSR은 공격 성공 확률($\delta$)에 대한 수학적 보증을 제공합니다.
• 메모리의 동적 특성 대응: 정적 코퍼스 방어가 실패하는 환경, 즉 "라이브 추가 전용(live append-only)" 성격을 가진 에이전트 메모리를 구체적으로 겨냥합니다.
• 프로비넌스의 필요성 증명: 불가능성 증명을 통해, 쓰기 시점의 암호학적 인증 없이는 검색 시점의 필터가 인증될 수 없음을 확립했습니다.
• 실용적 배포 가능성: 기존 RAG 아키텍처를 위한 드롭인 래퍼(drop-in wrapper)로 설계되어, 기본 LLM이나 임베딩 모델의 변경 없이 관리 가능한 수준의 계산 오버헤드(약 10회의 API 호출)로 사용 가능합니다.

저자들은 SMSR이 유한한 공격자에 대해 MSMP 위협을 효과적으로 완화하며, LLM 애플리케이션(특히 OWASP LLM08 포이즈닝 하위 문제 해결)을 위한 종합적인 보안 스택의 기초적인 단계를 제공한다고 결론짓습니다.