Bypassing AI Control Protocols via Agent-as-a-Proxy Attacks

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 이 수동적인 텍스트 생성기를 넘어 자율 에이전트 (Autonomous Agents) 로 진화하면서, 이메일, 웹사이트, RAG(검색 증강 생성) 컨텍스트 등 신뢰할 수 없는 외부 데이터를 처리하게 되었습니다. 이로 인해 간접 프롬프트 주입 (Indirect Prompt Injection, IPI) 공격에 대한 취약성이 심화되었습니다.

• 기존 방어 체계의 한계: 현재 가장 선진화된 방어 기법은 하이브리드 모니터링 (Hybrid Monitoring) 입니다. 이는 에이전트의 출력뿐만 아니라 내부 사고 과정 (Chain-of-Thought, CoT) 과 도구 사용 (Tool-use) 행위를 동시에 감시하여 사용자 의도와 일치하는지 확인합니다 (예: AlignmentCheck, LlamaFirewall).
• 핵심 가설의 붕괴: 기존 연구는 "에이전트의 사고 과정과 행위를 함께 감시하면 더 강력한 방어가 가능하다"고 가정했습니다. 그러나 본 논문은 이 가정이 오히려 새로운 공격 벡터를 창출하여, 감시 모델 (Monitor) 자체를 조작할 수 있는 치명적인 취약점이 있음을 증명합니다.

2. 방법론 (Methodology)

가. 에이전트 - 프록시 공격 (Agent-as-a-Proxy Attack)

이 공격은 악성 프롬프트가 에이전트를 속이는 것을 넘어, 에이전트 자체를 감시 모델에 악성 데이터를 전달하는 '전달 수단 (Delivery Mechanism)'으로 악용하는 방식입니다.

• 원리: 공격자는 최적화된 악성 문자열을 에이전트의 CoT(사고 과정) 나 도구 호출 파라미터 내에 반복적으로 삽입하도록 유도합니다.
• 효과: 에이전트가 이 악성 문자열을 반복하여 감시 모델에게 전달할 때, 감시 모델은 이를 에이전트의 정상적인 행동으로 오인하거나, 악성 문자열의 구조적 특성으로 인해 '안전 (Safe)'으로 잘못 분류하게 됩니다. 즉, 에이전트가 감시 모델을 속이는 '프록시' 역할을 수행합니다.

나. 병렬 GCG (Parallel-GCG) 알고리즘

기존의 GCG(Greedy Coordinate Gradient) 알고리즘은 단일 입력에 최적화되지만, 에이전트 환경에서는 악성 문자열이 여러 단계 (추론, 도구 호출, 실행 로그 등) 에 걸쳐 반복되어 나타납니다. 이를 해결하기 위해 Parallel-GCG를 제안했습니다.

• 동작 방식:
  1. 에이전트의 실행 궤적 (Trace) 에서 악성 문자열이 반복되는 $K$개의 위치를 식별합니다.
  2. 단일 문자열 $a$가 이 $K$개의 서로 다른 컨텍스트 (위치) 에 모두 삽입되었을 때, 감시 모델이 이를 '안전'으로 분류하도록 동시에 (Parallel) 최적화합니다.
  3. 손실 함수 (Loss) 의 기울기를 모든 발생 위치에 대해 합산하여, 어떤 국소적 컨텍스트에서도 탐지되지 않는 '은밀한' 악성 문자열을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 프레임워크 제안: 에이전트를 악성 문자열을 감시 시스템으로 전달하는 도구로 활용하는 '에이전트 - 프록시 공격' 프레임워크를 최초로 제시했습니다.
2. 최적화 알고리즘 개발: 에이전트 추론과 도구 사용 과정에서 반복되는 악성 문자열의 효과를 극대화하는 Parallel-GCG 알고리즘을 개발했습니다.
3. 하이브리드 모니터링의 역설 증명: 정적 공격 (Static attacks) 에는 강하지만, 적응형 공격 (Adaptive attacks) 에는 오히려 CoT 만을 감시하는 방식보다 더 취약함을 실험적으로 입증했습니다.
4. 모델 확장성의 무효화: "감시 모델의 규모가 크면 안전하다"는 가설을 반박했습니다. 동일한 성능을 가진 에이전트 (예: GPT-4o mini, Llama-3.1-70B) 가 최첨단 규모의 감시 모델 (예: Qwen2.5-72B) 을 우회할 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 벤치마크: AgentDojo 벤치마크 (Slack, Banking 등 4 개 도메인) 를 사용했습니다.
• 공격 성공률 (ASR):
  • AlignmentCheck: 다양한 오픈소스 모델 (Llama-3.1-8B, Mistral-7B, Qwen2.5-7B) 을 감시자로 사용했을 때, 90% 이상의 공격 성공률을 기록했습니다. (Mistral-7B 기준 93.3%, Qwen2.5-7B 기준 90.7%)
  • 다중 계층 방어 (PromptGuard 2 + AlignmentCheck): 다중 목적 최적화 (Multi-objective GCG) 를 통해 이 방어 체계도 **99.0%**까지 우회했습니다.
  • Extract-and-Evaluate: Quote 추출 및 판정 모델을 우회하여 **95.5%**의 성공률을 달성했습니다.
• 모델 규모 비교:
  • Qwen2.5-72B (최첨단 감시 모델) 를 대상으로 할 때, GPT-4o mini와 Llama-3.1-70B (동급 성능 에이전트) 를 프록시로 사용하여 각각 46.0%, **60.2%**의 공격 성공률을 기록했습니다. 이는 감시 모델이 더 강력하다고 해서 보안이 보장되지 않음을 의미합니다.
• 실시간 환경 검증: 전체 궤적을 한 번에 보는 방식 (No-replay) 과 실시간 단계별 감시 방식 (Replay) 모두에서 공격이 유효함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 구조적 취약성: 현재 에이전트 보안의 핵심인 '모니터링 기반 방어'는 모델의 규모 (Scale) 나 감시 강도를 높이는 것만으로는 해결할 수 없는 구조적 결함을 가지고 있습니다.
• 확장 가능한 감독 (Scalable Oversight) 의 실패: "작은 감시 모델이 큰 에이전트를 감독할 수 있다"는 가설뿐만 아니라, "더 큰 감시 모델이 동급 에이전트에게 우회당한다"는 사실이 드러나면서, 단순한 모델 확장 (Scaling) 만으로는 안전한 감독이 불가능함이 증명되었습니다.
• 향후 방향: 모델 크기나 런타임 관찰에 의존하는 현재의 접근법은 근본적으로 취약합니다. 따라서 **구조적으로 안전성이 보장되는 아키텍처 (Robust by design)**를 개발하고, 적응형 공격에 견딜 수 있는 새로운 방어 메커니즘을 모색해야 할 시급성이 대두되었습니다.

이 연구는 AI 에이전트 시스템의 보안이 단순한 기술적 우위가 아닌, 시스템 아키텍처의 근본적인 재설계를 필요로 함을 경고하는 중요한 결과입니다.