The Autonomy Tax: Defense Training Breaks LLM Agents

1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 에이전트는 파일 조작, API 호출, 데이터베이스 트랜잭션 등 외부 도구를 활용하여 복잡한 다단계 작업을 자율적으로 수행합니다. 이러한 에이전트를 보호하기 위해 프롬프트 인젝션 (Prompt Injection) 공격에 대항하는 방어 훈련 (Defense Training) 이 널리 적용되고 있습니다.

그러나 기존 방어 훈련은 단일 턱 (Single-turn) 벤치마크에 최적화되어 있어, 다단계 에이전트 환경에서는 치명적인 결함을 드러냅니다.

• 현재 상황: 방어 훈련된 모델은 공격 거부율 (Attack Rejection) 이 높고 오탐지 (FPR) 가 낮다는 단일 턱 지표에서 우수한 성능을 보입니다.
• 핵심 문제: 이러한 지표는 다단계 에이전트에서 발생하는 연쇄적 실패 (Cascade Failures) 와 기본 수행 능력의 상실을 감추고 있습니다. 방어 훈련이 오히려 에이전트의 유용성 (Utility) 을 파괴하면서 정교한 공격에는 무력해지는 역설적인 상황을 초래합니다.

2. 방법론 (Methodology)

저자들은 97 개의 다단계 에이전트 작업 (AgentDojo 벤치마크) 과 1,000 개의 적대적 프롬프트를 사용하여 방어 훈련된 모델 (StruQ, SecAlign, Meta SecAlign 등) 과 기본 모델 (Base) 을 비교 평가했습니다.

• 진단 데이터셋 설계:
  1. 에이전트 무능력 및 연쇄 실패 측정: 도구 관찰 (Observation) 이 발생하기 전인 1 단계 (Step-1) 에서의 실행 행동을 분석하여, 외부 콘텐츠 유무와 상관없이 훈련으로 인한 능력 저하를 격리했습니다.
  2. 트리거 편향 및 보안 - 유용성 트레이드오프 측정: 350 개의 선별된 샘플 (289 개 적대적, 61 개 정상) 을 사용하여 방어 모델이 의미론적 위협을 이해하는지, 아니면 단순 키워드 매칭 (Shortcut Learning) 에 의존하는지 검증했습니다.
• 평가 지표:
  • 작업 완료율 (CR): 전체 작업 성공률.
  • 연쇄 실패율 (CFR): 재시도 루프를 거쳐 최대 깊이 (Timeout) 에 도달하여 실패한 비율.
  • 심층 계층별 분석 (Depth-stratified analysis): 작업이 어느 단계에서 중단되는지 분석하여 실패 패턴의 양상 (점진적 저하 vs 양극화) 을 파악했습니다.

3. 주요 기여 및 발견 (Key Contributions & Findings)

저자들은 방어 훈련이 초래하는 세 가지 체계적인 편향 (Biases) 을 규명했습니다.

① 에이전트 무능력 편향 (Agent Incompetence Bias)

• 현상: 방어 훈련된 모델은 외부 관찰 데이터를 받기 전, 작업의 첫 단계 (Step-1) 에서 정상적인 작업 (Benign Tasks) 에 대해서도 즉시 실패합니다.
• 데이터: 기본 모델은 1 단계에서 97% 이상의 유효한 동작을 생성하는 반면, 방어 모델 (StruQ, SecAlign) 은 47~77% 의 실패율 (명시적 거절 또는 잘못된 출력) 을 보입니다.
• 원인: 방어 훈련이 도구 사용 자체를 회피하도록 학습시켜, 에이전트의 기본 수행 능력을 파괴합니다.

② 연쇄 증폭 편향 (Cascade Amplification Bias)

• 현상: 다단계 에이전트 프레임워크는 실패를 복구 가능한 오류로 간주하고 재시도 (Retry) 를 수행합니다. 하지만 방어 모델의 실패는 입력에 의존적이지 않고 체계적이므로, 재시도 시 동일한 실패 패턴이 반복됩니다.
• 결과: 초기 실패가 전체 작업 흐름에 전파되어 타임아웃으로 이어집니다.
  • 기본 모델의 타임아웃률: 13~50%
  • 방어 모델의 타임아웃률: 최대 99% (SecAlign-Mistral 기준)
  • 이는 초기 실패가 2~2.7 배 증폭되어 전체 작업 실패로 이어짐을 의미합니다.

③ 트리거 편향 (Trigger Bias)

• 현상: 방어 모델이 학습 데이터의 표면적 상관관계 (키워드, 위치) 에 과도하게 적합 (Overfit) 되어, 의미론적 위협 이해가 결여됩니다.
• 결과:
  • 고급 공격 우회: 키워드를 숨기거나 사회적 공학 (Social Engineering), 인코딩 (Obfuscation) 을 사용한 정교한 공격은 73~86% 의 높은 우회율을 보입니다.
  • 과도한 거부 (False Positive): "우회 (bypass)", "재정의 (override)"와 같은 보안 관련 용어가 포함된 정상적인 기술 문서조차 25~71% 의 높은 비율로 거부합니다.
  • 역설: 방어 훈련은 보안 (TPR) 과 유용성 (FPR) 을 동시에 악화시킵니다.

4. 실험 결과 (Results)

• 작업 완료율 붕괴: SecAlign-Mistral 모델은 기본 모델의 50.5% 에서 1.0% 로 작업 완료율이 급감했습니다.
• 이분화된 실패 패턴: 기본 모델은 단계가 깊어질수록 완결률이 서서히 감소하는 반면, 방어 모델은 1~9 단계에서는 완결되다가 10 단계 (타임아웃) 에서 급격히 실패하는 양극화 (Bimodal) 분포를 보입니다. 이는 재시도 루프가 무의미하게 소모됨을 시사합니다.
• 단일 턱 평가의 한계: 기존 벤치마크 (공격 거부율 >90%) 는 다단계 에이전트 환경에서의 연쇄 실패와 능력 저하를 전혀 포착하지 못했습니다.

5. 결론 및 의의 (Significance)

이 논문은 "자율성 세 (The Autonomy Tax)" 라는 개념을 제시하며, 현재의 방어 훈련 패러다임이 다단계 에이전트를 근본적으로 신뢰할 수 없게 만든다고 주장합니다.

• 근본 원인: 방어 훈련이 단순한 표면 패턴 (Shortcut Learning) 에 의존하여 학습되기 때문입니다. 모델은 공격의 의미론적 맥락을 이해하지 못하고, 특정 키워드나 위치에 반응하는 방식을 학습합니다.
• 시사점:
  1. 현재와 같은 단일 턱 중심의 방어 평가는 에이전트 안전성을 과대평가합니다.
  2. 새로운 방어 접근법이 필요하며, 이는 악의적 조건 하에서도 도구 실행 능력을 유지하면서 의미론적 위협을 이해할 수 있어야 합니다.
  3. 향후 연구는 재시도 루프를 고려한 손실 함수 설계, 컨텍스트 일관성 검증, 그리고 표면적 패턴이 아닌 의미론적 추론에 기반한 에이전트 인식 방어 (Agent-aware defense) 에 집중해야 합니다.

이 연구는 LLM 에이전트 보안 분야에서 기존 방어 메커니즘이 가진 치명적인 한계를 폭로하고, 보다 견고한 에이전트 시스템 설계를 위한 새로운 방향성을 제시한다는 점에서 중요한 의의를 가집니다.