기술 요약: 플랜트, 퍼시스트, 트리거: 대형 언어 모델 에이전트에 대한 슬리퍼 공격

1. 문제 정의

대형 언어 모델 (LLM) 에이전트는 외부 환경에서 발생하는 안전 위협에 취약합니다. 공격자가 도구 반환 데이터, 웹페이지, 또는 MCP 컨텍스트와 같은 관찰 사항에 적대적 콘텐츠를 주입하기 때문입니다. 기존 연구는 주로 적대적 콘텐츠가 주입되어 동일한 사용자 요청 내에서 즉시 해로운 행동을 유발하는 단일 상호작용 공격에 초점을 맞추고 있지만, 본 논문은 적대적 콘텐츠가 상호작용 간에 지속될 수 있다는 중요한 한계를 지적합니다.

저자들은 **슬리퍼 공격 (Sleeper Attack)**이라는 새로운 위협 모델을 공식화했습니다. 이 시나리오에서 적대적 콘텐츠는 초기 상호작용 동안 에이전트의 상태 (세션 컨텍스트, 메모리, 또는 재사용 가능한 스킬) 에 심어집니다. 이 콘텐츠는 이후의 상호작용들 동안 잠복 상태로 남다가, 나중에 정당한 사용자 쿼리에 의해 활성화됩니다. 이 메커니즘은 해로운 행동이 초기 주입 사건과 분리되어 있기 때문에 직접 주입보다 탐지 및 완화하기 어렵습니다.

2. 방법론

2.1 위협 공식화 및 분류

저자들은 LLM 에이전트 시스템을 사용자, LLM 정책 ($\pi_\theta$), 외부 환경 ($E$), 그리고 에이전트 상태 ($s_t$) 가 관여하는 상호작용 과정으로 정의합니다. 슬리퍼 공격은 상호작용 $t$에서 주입된 적대적 관찰 $o^{adv}_{t,i}$가 즉시 안전하지 않은 행동을 유발하지는 않지만 ($U(h^{adv}_t) = 0$), 상태 업데이트에 저장되는 ($s^{adv}_{t+1} = f(s_t, h^{adv}_t)$) 경우에 발생합니다. 미래의 상호작용 $t+k$에서 정당한 쿼리 $x_{t+k}$가 저장된 상태를 트리거하여 안전하지 않은 행동을 발생시킵니다 ($U(h^{adv}_{t+k}) = 1$).

본 연구는 공격을 두 가지 축으로 분류합니다:

1. 공격 전략 (트리거 모드):
   • 잠재적 지시 심기 (Latent Instruction Planting, LIP): 나중에 안전하지 않은 행동을 유도하도록 악성 지시를 심는 것.
   • 적극적 정보 유도 (Proactive Information Elicitation, PIE): 심어진 지시가 악성 행동을 실행하기 전에 에이전트가 사용자로부터 민감한 정보를 요청하도록 만드는 LIP 의 강화된 변형.
   • 지속적 정보 오염 (Persistent Information Corruption, PIC): 에이전트 상태의 지속적 정보가 오염되어 에이전트가 향후 출력에 잘못된 데이터를 의존하게 만드는 것.
2. 에이전트 상태 대상 (지속 위치):
   • 세션 컨텍스트: 대화 기록에 유지되는 적대적 콘텐츠.
   • 메모리: 나중에 검색될 메모리 모듈에 기록된 콘텐츠.
   • 재사용 가능한 스킬: 향후 도구 선택을 안내하는 계층적 스킬 정의 (고수준 및 도구 수준 스킬) 에 주입된 콘텐츠.

2.2 벤치마크 구축

이 위협을 평가하기 위해 저자들은 1,896 개의 평가 인스턴스로 구성된 포괄적인 벤치마크를 구축했습니다.

• 해악 도메인: 여섯 가지 범주: 경제적 해악, 계정/시스템 침해, 물리적 세계 해악, 개인 데이터 유출, 금융 데이터 유출, 기타 민감 정보 유출.
• 시뮬레이션 환경: OpenAI Agents SDK 와 ToolEmu 를 사용하여 구축되었으며, 330 개의 도구와 에이전트 상태 (메모리 및 스킬) 를 시뮬레이션합니다.
• 평가 프로토콜: 궤적 수준의 안전성을 검증하기 위해 규칙 기반 평가 시스템이 설계되었습니다. 성공은 순차적 추적 일치 (올바른 행동 순서) 와 인자 - 값 일치 (예: 데이터가 공격자가 제어하는 주소로 전송되었는지 확인) 를 통해 결정됩니다. 이는 안전성 평가를 위한 LLM 판정자의 불확실성을 피합니다.

2.3 실험 설정

해당 벤치마크는 Gemini-3-Flash, Gemini-3.1-Pro, DeepSeek-R1, Qwen3.5-Plus/Flash, GPT-5.4, Llama-3.3-70B 를 포함한 7 개의 강력한 LLM(오픈소스 및 클로즈드 소스 모두)에서 평가되었습니다. 실험은 슬리퍼 공격의 공격 성공률 (ASR) 을 직접 단일 상호작용 기준선과 비교했습니다.

3. 주요 결과

3.1 심각한 안전 격차

실험은 상당한 "직접에서 슬리퍼로의" 안전 격차를 드러냈습니다. 직접 공격에 대한 취약성이 낮은 것으로 나타난 모델들도 슬리퍼 공격 하에서는 크게 실패했습니다.

• LIP: 직접 기준선의 평균 ASR 은 **11.1%**였으나, 가장 강력한 에이전트 상태에서는 **39.9%**로 상승했습니다. 예를 들어, Gemini-3.1-Pro 는 6.2%(직접) 에서 92.6%(스킬 상태) 로 급증했습니다.
• PIE: 직접 기준선은 평균 **0.6%**였으나, 가장 강력한 에이전트 상태는 **41.6%**에 달했습니다. Qwen3.5-Plus 와 같은 모델은 거의 0 에 가까운 직접 ASR 에서 스킬 상태에서는 51.2% 로 상승했습니다.
• PIC: 이 전략은 전체적으로 가장 높은 취약성을 보였으며, 평균 ASR 은 **47.8%**로 LIP(29.1%) 와 PIE(26.8%) 보다 높았습니다. Gemini-3.1-Pro 는 스킬 상태에서 100% ASR 에 도달했습니다.

3.2 상태별 취약성

• 스킬 및 세션 상태: 이 두 가지는 각각 평균 ASR 이 45.6% 와 40.5% 로 메모리의 34.8% 에 비해 가장 위험한 대상으로 판명되었습니다.
• 불일치: 모델의 안전성 성능은 전략이나 상태에 따라 균일하지 않습니다. 한 컨텍스트 (예: 직접 주입) 에서는 안전한 모델이 다른 컨텍스트 (예: 스킬 기반 슬리퍼 공격) 에서는 매우 취약할 수 있습니다.

3.3 지속성 및 장기 효과

• 신규 세션 재생: 같은 세션 내에서 공격이 실패하더라도, 심어진 상태는 신규 세션으로 지속될 수 있습니다. Qwen3.5-Plus 의 경우, 신규 세션 재생 후 PIC 사례에서 메모리에 대한 누적 ASR 이 **94.3%**에 달했습니다.
• 더 긴 시간 범위: 세션 기반 공격은 컨텍스트가 길어짐에 따라 약화됩니다 (20 번의 상호작용 동안 ASR 이 62.7% 에서 40.7% 로 하락). 반면 메모리 및 스킬 상태는 안정적으로 유지되어 더 긴 시간 범위에서도 높은 취약성을 유지합니다.

3.4 방어 평가

저자들은 Qwen3.5-Plus 에서 경량화되고 훈련이 필요 없는 방어 (규칙 기반 지시 및 가드 기반 필터) 를 테스트했습니다.

• 제한된 효과: 일부 설정에서 방어는 ASR 을 감소시켰습니다 (예: 가드 기반 필터가 PIE 스킬 ASR 을 51.2% 에서 30.9% 로 감소). 하지만 위협을 완전히 제거하지는 못했습니다.
• 불안정성: 일부 경우 규칙 기반 지시는 오히려 ASR 을 증가시켰으며, 이는 단순한 프롬프트 엔지니어링이 상호작용 간 외부 위협에 대해 불충분함을 시사합니다.

3.5 모델 확장

취약성은 모델 크기와 엄격하게 상관관계가 없습니다. 더 큰 오픈소스 모델 (예: Qwen3-32B) 은 더 작은 변형 (예: Qwen3-4B) 보다 평균 ASR 이 더 높게 나타났으며, 특히 PIC 전략에서 그랬습니다. 이는 확장이 본질적으로 슬리퍼 공격 취약성을 해결하지 못함을 나타냅니다.

4. 기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

1. 슬리퍼 공격의 공식화: 적대적 콘텐츠가 심어지고, 저장되며, 정당한 요청에 의해 트리거될 수 있는 방식을 강조하는 상호작용 간 LLM 에이전트 공격을 위한 최초의 통합 외부 소스 위협 모델을 제시합니다.
2. 대규모 벤치마크: 세 가지 공격 전략, 세 가지 에이전트 상태 대상, 그리고 여섯 가지 실제 해악 도메인을 포괄하는 1,896 개의 인스턴스 벤치마크를 제공하여 직접 공격과 슬리퍼 공격 간의 통제된 비교를 가능하게 합니다.
3. 취약성에 대한 경험적 증거: 단일 상호작용 공격에 대해 견고해 보이는 경우에도 최첨단 LLM 에이전트가 슬리퍼 공격에 여전히 매우 취약함을 입증합니다.

의의:
저자들은 현재 안전성 평가가 주로 즉각적인 도구 사용에 초점을 맞추고 있기 때문에 불충분하다고 주장합니다. 결과는 에이전트 안전성 평가가 신뢰할 수 없는 콘텐츠가 상호작용 간에 어떻게 작성, 저장, 재사용되는지 추적해야 함을 나타냅니다. 직접 공격과 슬리퍼 공격 간의 큰 안전 격차의 존재는 현재 방어 체계가 지속적이고 상태 기반의 위협을 처리하는 데 적합하지 않음을 시사하며, 단순한 입력 필터링이 아닌 에이전트 상태 (메모리, 스킬, 컨텍스트) 를 모니터링하고 정화하는 새로운 연구가 필요함을 의미합니다.

한계:
본 연구는 추가적인 인증 또는 감사 로그가 있는 배포된 생태계와 다를 수 있는 시뮬레이션 도구 환경 (ToolEmu) 에 의존합니다. 또한, 벤치마크는 특정 배포 제어 계층 (예: 인간 검토 워크플로우) 을 추상화하므로, 결과는 특정 실제 시스템의 직접 사고율이 아니라 통제된 인터페이스 하에서의 취약성을 측정합니다.