기술 요약: MAGE – 그림자 메모리를 통한 장거리 위협으로부터 LLM 에이전트 보호

1. 문제 정의

대형 언어 모델 (LLM) 에이전트가 복잡하고 다중 턴 (multi-turn) 작업에 배포됨에 따라, 그들은 점점 더 증가하는 **장거리 위협 (long-horizon threats)**의 대상이 되고 있습니다. 단일 턴 공격 (예: 표준 재일브레이크) 과 달리, 이러한 위협은 개별 턴 내에는 악의적 의도가 잠재되어 있지만 궤적 (trajectory) 수준에서만 파괴적으로 나타나는 확장된 상호작용을 악용합니다.

이 논문은 이러한 취약성의 세 가지 주요 원인을 규명합니다:

1. 맥락 희석 (Context Dilution): 유한한 작업 메모리와 성장하는 컨텍스트 창 사이의 긴장 관계로 인해 시간이 지남에 따라 보안에 중요한 정보가 희석됩니다.
2. 사후 검사의 부재: 에이전트들은 종종 점진적으로 누적되는 적대적 의도를 탐지하기 위해 전체 궤적을 검사할 수 있는 역량이 부족합니다.
3. 학습 분포 이동 (Training Distribution Shift): 안전 정렬 (safety alignment) 은 일반적으로 짧은 컨텍스트에서 훈련되므로 확장된 상호작용으로 일반화되지 못합니다.

기존의 방어 수단 (예: 키워드 필터, 턴별 분류기, 안전 프롬프팅) 은 이러한 장거리 조건 하에서 크게 저하됩니다. 일부 최근 연구들은 다중 턴 정렬을 시도하지만, 상호작용 길이가 학습 체제를 초과할 때 실패하거나 재일브레이크에 narrowly 초점을 맞추어 순차적 도구 공격 체이닝 (Sequential Tool-Attack Chaining, STAC) 및 **지속적 간접 프롬프트 주입 (Persistent Indirect Prompt Injection, PI2)**과 같은 더 광범위한 위협들은 다루지 못하고 있습니다.

2. 방법론: MAGE 프레임워크

저자들은 시스템 보안의 "그림자 스택 (shadow stack)" 추상화에서 영감을 받은 MAGE(Memory As Guardrail Enforcement) 라는 방어 프레임워크를 제안합니다. 에이전트의 작업 메모리에만 의존하는 대신, MAGE 는 병렬로 실행되는 전용 보안 중심 **그림자 메모리 (Shadow Memory)**를 도입합니다.

핵심 아키텍처

MAGE 는 에이전트 워크플로우 내의 도구 호출로 구현되고 강화 학습 (RL) 을 통해 훈련되는 두 가지 주요 구성 요소로 구성됩니다:

1. 메모리 관리자 (Memory Manager, $M$): 그림자 메모리를 정제하고 유지하는 모듈입니다. 이 모듈은 에이전트의 실행 궤적 (사용자 지시, 행동, 관찰) 을 처리하여 보안에 중요한 맥락을 추출하고 유지하면서 관련 없는 정보는 폐기합니다. 이는 사용자 의도와 알려진 공격 패턴을 추적합니다.
2. 심판 (Judge, $J$): 사후 위험 평가를 수행하는 모듈입니다. 행동이 실행되기 전에 심판은 그림자 메모리의 현재 상태를 참조하여 대기 중인 행동의 위험을 평가합니다. 그리고 승인/거부 결정과 인간이 읽을 수 있는 근거를 출력합니다.

워크플로우

각 턴 $t$에서:

1. 에이전트가 행동 $a_t$를 제안합니다.
2. 메모리 관리자는 이전 상태 $m_{t-1}$와 현재 �적 세그먼트를 기반으로 그림자 메모리 $m_t$를 업데이트합니다.
3. 심판은 $m_t$에 조건부인 $a_t$의 위험을 평가합니다.
4. 심판이 행동을 거부하면 실행이 중단되고 근거가 보고됩니다. 그렇지 않으면 행동이 진행됩니다.

턴별 RL 을 통한 최적화

이 프레임워크는 $M$과 $J$를 공동으로 훈련하기 위해 **그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 사용합니다. 훈련은 턴별 (turn-wise) 세분성에서 독특합니다:

• 보상 설계: 시스템은 궤적 수준이 아닌 턴 수준에서 보상을 할당합니다.
  • 심판 보상: 특정 행동에 대한 실제 레이블 (ground-truth labels) 에 기반한 이진 정확도.
  • 메모리 보상: 미래 심판 결과를 메모리 업데이트로 역전파하는 시간적 할인 보상입니다. 이는 근시안적인 메모리 업데이트를 방지하고 미래 탐지에 중요한 정보를 메모리에 유지하도록 보장합니다.
  • 페널티: 구조화된 출력과 컴팩트한 메모리 표현을 보장하기 위해 형식 및 길이 페널티가 적용됩니다.
• 단계 분리: 손실 함수는 메모리 관리자와 심판의 생성 단계를 분리하여, 각 구성 요소가 생성한 특정 토큰에 보상이 올바르게 귀속되도록 합니다.

3. 주요 기여

1. 핵심 도전 과제의 규명: 이 논문은 장거리 위협에 대응하기 위해서는 표준 에이전트 설계에 결여된 전체 실행 궤적에 걸쳐 보안에 중요한 맥락을 유지해야 한다고 주장합니다.
2. 새로운 프레임워크 (MAGE): MAGE 는 에이전트 메모리를 보안 원시 (primitive) 로 활용하는 최초의 프레임워크입니다. 이는 맥락을 정제하고 사후적이며 궤적 수준의 위험 평가를 수행하기 위한 그림자 메모리 메커니즘을 도입합니다.
3. 플러그 앤 플레이 설계: 이 프레임워크는 에이전트의 핵심 추론 파이프라인을 최소한으로 수정하여 기존 LLM 에이전트와 통합되며, 에이전트의 네이티브 도구 호출 기능을 활용합니다.
4. 실증적 검증: 광범위한 평가는 탐지 정확도, 초기 단계 탐지, 그리고 유틸리티 보존 측면에서 MAGE 가 기존 방어 수단보다 우월함을 입증했습니다.

4. 실험 결과

저자들은 사용자 - 적대자 (User-as-Adversary, STAC 공격) 및 **환경 - 적대자 (Environment-as-Adversary, 간접 프롬프트 주입 포함 PI2)**라는 두 가지 위협 모델 하에서 MAGE 를 평가했습니다.

평가 I: 사용자 - 적대자 (STAC)

• 설정: 에이전트 백본으로 GPT-5.1 을, MAGE 구성 요소로 Qwen3-4B 를 사용했습니다.
• 성능: MAGE 는 방어 없음 (100.0%) 에서 STAC 공격의 공격 성공률 (ASR) 을 **8.3%**로 낮추었으며, **94.4%**의 선의 유틸리티 (BU) 를 유지했습니다.
• 효율성: 작업당 7.0K개의 추가 토큰만 도입하여 기존 변형보다 현저히 낮았습니다.
• 탐지 지연: 실제 악성 행동 시점 또는 그 직후에 대부분의 공격을 탐지하여 평균 지연 -0.06 턴을 기록하며 조기 경고를 제공했습니다.
• 애블레이션 (Ablation): 그림자 메모리가 없거나 RL 훈련이 없는 변형은 성능이 현저히 저하되었습니다 (예: 훈련되지 않은 변형은 무차별적 거부로 인해 0% ASR 을 달성했지만 0% BU 도 기록했습니다).

평가 II: 환경 - 적대자 (PI2)

• 설정: GPT-4o-mini, Llama-3.3, Qwen3 전반에 걸쳐 지속적 간접 프롬프트 주입 (PI2) 및 정적 주입 공격에 대해 평가했습니다.
• 성능: MAGE 는 PI2 공격에서 0.0% ASR을 달성했습니다 (Spotlighting 및 Repeated-Prompt 와 같은 기저 모델들은 70% 이상의 ASR 로 실패했습니다). 또한 높은 선의 유틸리티 (Llama-3.3 에서 73.0%, Qwen3 에서 86.5%) 를 유지했습니다.
• 비교: MAGE 는 보안 - 유틸리티 - 오버헤드 트레이드오프 측면에서 기저 모델 (PI-Detector, Spotlighting, MELON, IPIGuard) 보다 우월했으며, 낮은 토큰 오버헤드로 가장 낮은 ASR 과 높은 BU 를 달성했습니다.
• 적응형 공격: 아키텍처를 알고 메모리를 오염시키거나 심판을 우회하려는 적대자가 있는 적응형 공격 하에서도 MAGE 는 견고한 성능을 유지했습니다 (PI2 적응형 공격의 경우 ASR 은 0.0% 로 유지됨). 반면 훈련되지 않은 변형이나 그림자 메모리가 없는 변형은 실패했습니다.

5. 중요성과 주장

이 논문은 MAGE 가 장거리 위협에 대응하는 LLM 에이전트 방어를 위한 새로운 패러다임을 확립한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 유일무이한 접근법: 궤적 수준의 위협 탐지를 위한 방어 원시로서 에이전트 메모리를 구체적으로 활용한 최초의 연구입니다.
• 균형 잡힌 트레이드오프: 기존 방어 수단들이 동시에 달성하지 못하는 보안(낮은 ASR), 유틸리티(높은 BU), 오버헤드(낮은 토큰 비용) 의 삼각 관계를 성공적으로 해결합니다.
• 해석 가능성: 그림자 메모리에 기반한 탐지 결정을 통해 인간이 읽을 수 있는 설명을 제공하여 운영자에게 방어를 투명하게 만듭니다.
• 일반화 가능성: 이 프레임워크는 플러그 앤 플레이로 설계되어 에이전트의 핵심 추론 파이프라인 수정이 필요 없으며, 방어 구성 요소에 더 작고 로컬한 모델로도 효과적으로 작동합니다.

저자들은 MAGE 가 중요한 진전을 이루었지만, 향후 연구는 더 광범위한 공격 클래스 (예: 메모리 오염, 목표 이탈), 동적 메모리 스키마, 그리고 다중 에이전트 시스템으로의 확장을 탐구해야 한다고 결론지었습니다.