기술 요약: 에이전트 메모리 포이즈닝 탐지를 위한 포렌식 궤적 시그니처

문제 정의

본 논문은 대규모 언어 모델(LLM) 에이전트에서의 **지속적 메모리 포이즈닝 공격(persistent memory poisoning attacks)**을 탐지하는 과제를 다룹니다. 프로세스 트레이스를 분석하는 기존의 엔드포인트 탐지 및 대응(EDR)과 달리, LLM 에이전트 보안은 관찰 가능한 로그만을 사용하여 특정 공격 채널을 식별하는 확립된 방법론이 부족합니다. 기존의 방어 기제들은 메모리 저장소(예: MemLineberg), 화이트박스 모델 내부 데이터(예: 활성화 분석), 또는 사전 주입 검색 레이어(예: RAG Sanitizer)에 대한 접근을 요구하며, 이는 많은 운영자가 충족하기 어려운 인프라 요구사항을 부과합니다.

본 연구에서 모델링하는 구체적인 위협은 **지연 트리거 공격(Delayed-Trigger Attack, DTA)**입니다. 공격자는 RAG로 검색된 문서에 악성 명령을 주입하여 에이전트가 이를 지속적 메모리에 저장하도록 합니다. 이후 세션에서 에이전트는 저장된 규칙을 검색하고 악성 동작(예: 이메일 탈취)을 실행합니다. 탐지기의 제약 조건은 엄격합니다. 탐지기는 메모리 내용, 모델 가중치, 또는 사용자 메시지에 대한 접근 권한 없이 오직 도구 호출(tool-call) 시퀀스와 타임스탬프만을 관찰합니다.

방법론

위협 모델 및 가정

본 연구는 지속적 메모리가 관찰 가능한 검색 동작(도구 호출)을 통해서만 접근된다는 아키텍처를 가정합니다. 공격자의 라우팅 정보는 메모리에 값으로 저장되며, send email 도구를 실행하기 전에 목적지 주소를 가져오기 위한 특정 recall fact 도구 호출이 필요합니다. 이는 규칙이 사용자 프롬프트에 직접 포함되는 프롬프트 인젝션 공격과 대조됩니다.

데이터셋

평가는 다음을 포함하는 요인 설계 실험으로부터 얻은 2,520개의 레이블링된 실행 데이터를 활용합니다:

• 9개 모델: 7B에서 120B 파라미터 범위 (Qwen, GLM, GPT-OSS 계열).
• 7개 방어 조건: Minimizer, Sanitizer, RAG Sanitizer, Prompt Hardening, Memory Sandbox 포함.
• 레이블: 1,919개의 공격 성공(탈취 발생) 및 601개의 비탈취 세션(포이즈닝되었으나 방어됨). 분류기는 DTA 암 내에서 성공적인 공격 실행과 실패한 공격 실행을 구분합니다.

특징 공학 (Feature Engineering)

레이블 누수(label leakage)를 방기하기 위해 특징은 **트리거 세션(S4)**에서만 추출됩니다. 본 연구는 도구 호출 순서와 횟수에 기반하여 19개의 궤적 특징을 정의합니다:

• 횟수(Counts): 원시 호출 빈도 (예: recall count, send count).
• 구조적 특징(Structural): recall before send (첫 번째 send 이전에 recall이 발생했는가?) 및 send without recall과 같은 이진 지표.
• 전이(Transitions): 연속적인 도구 호출의 바이그램(bigram) 횟수 (예: list then recall, draft then send).
• 진입점(Entry Points): 세션에서 처음 호출된 도구의 정체.

분류 및 평가

로지스틱 회귀(Logistic Regression), 랜덤 포레스트(Random Forest), 그래디언트 부스팅 트리(Gradient Boosted Trees) 세 가지 분류기를 층화 k-겹 교차 검증(stratified 5-fold cross-validation)을 사용하여 학습시켰습니다. 주요 지표는 재현율(Recall) (미탐지 공격 최소화)이며, AUC-ROC가 보조 지표입니다. 평가는 leave-one-model-out 홀드아웃 테스트 및 프런티어 모델 프로브(GPT-4.1)를 포함합니다.

주요 발견 및 결과

1. 행동 불변량(Behavioral Invariant)의 발견

핵 핵심적인 발견은 **기계적으로 강제된 행동 불변량(mechanistically forced behavioral invariant)**입니다. 성공적인 메모리 채널 포이즈닝 공격은 반드시 send email 호출 전에 recall fact 호출을 나타내야 합니다. 이는 통계적 상관관계가 아니라 구조적 필연성입니다. 저장된 라우팅 주소를 검색하지 않고서는 에이전트가 탈취를 완료할 수 없기 때문입니다.

• 단순 규칙 성능: 오직 recall before send 전이에 기반한 탐지기는 AUC = 0.9563을 달합니다.
• 기계적 견고성: 이 전이를 억제하면 공격이 깨집니다. 에이전트가 목적지 주소를 검색할 수 없기 때문입니다.

2. 과결정된 시그니처 (Overdetermined Signature)

공격은 단일 recall 이벤트뿐만 아니라 여러 독립적인 행동 채널에 걸쳐 분산된 시그니처를 남깁니다.

• 전체 분류기 성능: 19개 특징 모두를 사용하는 랜덤 포레스트는 AUC = 0.9904 (BCa 95% CI [0.987, 0.993])를 달성하며 재현율은 0.9838입니다.
• 절제 연구(Ablation Study): 모든 recall 관련 특징(9개)을 제거해도 AUC는 0.9904로 변하지 않습니다. 이는 시그니처가 **과결정(overdetermined)**되어 있음을 확인시켜 줍니다. 즉, 공격의 정보 검색 의존성이 다운스트림의 행동 변화(예: draft 횟수, send 횟수, 전이 패턴)를 연쇄적으로 유발하므로, 명시적인 recall 특징 없이도 탐지가 가능하다는 것을 의미합니다.

3. 교차 모델 일반화

불변량은 모델 계열과 파라미터 규모(7B–120B)를 가로질러 일반화됩니다:

• 홀드아웃 검증: 9개 중 6개의 홀드아웃 모델에서 분류기는 AUC = 1.000을 달려냈습니다.
• 예외 사항:
  • qwq:32b (AUC=0.000): "암묵적 우회(implicit-bypass)" 실패 사례로, 모델이 recall fact를 호출하지 않고 RAG 폴백(fallback)을 사용하여 메모리 채널을 완전히 우회합니다.
  • qwen2.5:14b (AUC=0.083): 비공격 세션이 베니인 데이터를 확인하기 위해 공격적으로 recall을 호출하여 공격 시그니처를 모방하는 분포 역전 현상이 발생했습니다 (단, 재현율은 1.000 유지).
  • qwen3.5:122b (AUC=0.750): 모델이 규칙을 저장하지만 실행은 거부하는 "슬리퍼(sleeper)" 세션으로 인한 레이블 모호성 때문입니다.
• 프런티어 모델: 오픈 소스 모델로만 학습된 분류기는 재학습 없이 GPT-4.1 프로브에 대해 재현율 = 1.000을 달성했습니다.

4. 배포 경계 및 회피

• 접두사 전용 탐지(Prefix-Only Detection): send 이벤트 이전에 작동하는 엄격한 접두사 전용 분류기는 AUC = 0.934를 달성하여, 적절한 성능 저하와 함께 실시간 차단이 가능함을 시사합니다.
• 회피 경계: 프롬프트 인젝션 공격(규칙이 메모리가 아닌 프롬프트에 있는 경우)은 recall before send = 0인 별도의 궤적을 생성합니다. 탐지기는 이를 낮은 점수(평균 0.541)로 할당하여, 조사관이 도구 호출 로그만으로 메모리 채널 공격과 프롬프트 인젝션 공격을 구분할 수 있게 합니다.
• 미탐지(False Negatives): 31개의 모든 미탐지는 Memory Sandbox 방어 조건(도구 스키마에서 recall fact가 제거됨) 또는 특정 qwq:32b의 암묵적 우회 아키텍처에서 발생했습니다.

의의 및 주장

본 논문은 주요 기여가 분류기 아키텍처 자체가 아니라, 에이전트 실행 궤적에서 안정적이고 과결정된 행동 불변량을 경험적으로 발견한 데 있다고 주장합니다.

• 포렌식 유용성: 이 탐지기는 메모리 검사나 모델 내부 데이터보다 요구사항이 낮은 도구 호출 로그만을 필요로 하는 메모리 채널 공격에 대한 "상태 공간 IDS(State-Space IDS)" 역할을 합니다.
• 채널 귀속(Channel Attribution): 운영 로그만으로 메모리 포이즈닝 공격과 프롬프트 인젝션 공격을 구분할 수 있게 합니다.
• 구조적 견고성: 탐지는 공격의 정보 검색 의존성에 의해 기계적으로 강제되는 특징(recall before send)에 의존합니다. 공격자는 이 특징을 억제하려면 공격 자체를 무력화하거나 공격 벡터를 프롬프트 인젝션으로 변경해야만 합니다.
• 일반화 가능성: 시그니처는 재학습 없이 모델 계열과 파라미터 규모를 가로질러 전이되며, 이는 이것이 특정 모델의 행동이 아닌 공격 메커니즘을 반영함을 나타냅니다.

저자들은 이 작업을 예방 메커니즘을 보완하는 포렌식 감사 도구로 위치시키며, 예방 방어(예: Memory Sandbox)가 실패하거나 이미 공격이 발생한 상황에서 높은 신뢰도의 탐지 및 귀속을 제공합니다.