기술 요약: AgentRedBench 및 AgentRedGuard

1. 문제 정의

본 논문은 도구 사용 통합(예: Gmail, Salesforce, Jira)을 통해 작동하는 대규모 언어 모델(LLM) 에이전트의 간접 프롬프트 주입(indirect prompt injection) 문제를 다룹니다. 사용자가 직접 악성 텍스트를 입력하는 전통적인 프롬프트 주입과 달리, 간접 주 injection은 에이전트가 제3자 통합 서비스로부터 콘텐츠를 읽는 과정("read" 작업)에서 발생하며, 이때 외부 공격자가 오염시킨 콘텐츠가 유입됩니다. 그 후 에이전트는 이 신뢰할 수 없는 콘텐츠를 바탕으로 동작("writes")을 수행하여 데이터를 유출하거나 승인되지 않은 작업을 실행할 위험이 있습니다.

저자들은 기존의 벤치마크와 방어 체계가 다음 세 가지 이유로 불충 sufficient하다고 주장합니다:

1. 제한된 범위: 기존 벤치마크는 소수의 통합 사례만을 다루는 반면, 실제 운영 중인 에이전트는 매우 다양한 SaaS 도구들과 상호작용합니다.
2. 정적 공격 콘텐츠: 대부분의 벤치마크는 고정된 공격 페이로드를 반복 재생합니다. 이는 특정 통합 스키마와 피드백에 따라 페이로드가 매 실행마다 적응하는 동적인 공격자의 행동을 포착하지 못합니다.
3. 학습 데이터 불일치: 오픈 소스 안전 가드(예: Llama Guard, WildGuard)는 채팅 스타일의 대화에 맞춰 학습되었으며, 에이전트가 실제로 소비하는 **도구 응답 콘텐츠(tool-response content)**의 특정 분포를 반영하지 못합니다. 이로 인해 가드들이 API 응답에 내재된 적대적 패턴을 탐지하지 못하는 사각지대가 발생합니다.

2. 방법론

AgentRedBench (벤치마크)

저자들은 이러한 위협을 측정하기 위해 설계된 동적, LLM 기반 레드팀 벤치마크인 AgentRedBench를 소개합니다.

• 범위: 9개의 기능적 제품군(예: 커뮤니케이션, CRM, HRIS)에 걸친 24개의 엔터프라이즈 통합 서비스를 대상으로 215개의 미묘한 "미지정 권한(underspecified-authorization)" 시나리오를 다룹니다.
• 공격 분류 체계: 본 벤치마크는 노골적인 "이전 지침 무시" 명령보다는 사용자 권한의 경계를 악용하는 공격에 집중합니다. 다섯 가지 공격 유형을 정의합니다:
  • 능동형 유형(Active Types): output_channel_url_relay (요약문에 공격자 URL 삽입), destination_hijack (이메일 수신자 교체), content_hijack (메시지 본문 교체).
  • 경계 위임 유형(Bound-Delegation Types): tool_argument_hijack 및 tool_family_creep (인자를 추가하거나 인접한 도구를 호출하려고 시도함). 이는 모델이 성공적으로 저항하는 기준선 역할을 합니다.
• 동적 생성: 정적 벤치마크와 달리, 공격 콘텐츠는 공격자 LLM에 의해 매 실행 시 생성됩니다. 공격자는 통합 스키마, 특정 공격 유형, 그리고 이전 시도에 대한 판사(judge)의 피드백을 조건으로 설정됩니다. 이를 통해 페이로드가 특정 도구 응답 구조에 최적화되도록 보장합니다.
• 평가 파이프라인: 오케스트레이터가 모의 통합 상태에 오염된 콘텐츠를 주입하면, 대상 에이전트가 선의의 사용자 과업을 완수하려고 시도합니다. 이후 LLM 판사가 트레이스를 분석하여 성공(공격 실행), 부분 성공, 또는 실패 여부를 점수화합니다.

AgentRedGuard (방어 기제)

저자들은 적대적 도구 응답 콘텐츠의 분포에 특화되어 학습된 방어 메커니즘인 AgentRedGuard를 제안합니다.

• 아키텍처: LLM 기반 가드와 달리, AgentRedGuard는 미세 조정된 텍스트 분류기(2,300만 파라미터의 MiniLM 모델 사용)입니다. 저자들은 통합 계층에서의 탐지가 심층적인 의미론적 추론보다는 표면적 시그니처(예: 감사 로그 마커, 특정 도메인 패턴)를 인식하는 데 의존하므로, 경량 분류기가 더 효율적이고 효과적이라고 주장합니다.
• 학습 데이터: 이 모델은 벤치마크 트레이스에서 추출한 적대적 도구 응답 코퍼스와, 실제 엔터프라이즈 도구 출력(HRIS, ATS, CRM)에서 유래한 "하드 네거티브(hard-negative)" 선의의 코퍼스를 사용하여 학습되었습니다.
• 일반화 전략: 암기를 방지하기 위해, 학습 세트에서 네 가지 특정 통합(Slack, Linear, Salesforce, Calendar)을 제외하고, 교차 통합 및 교차 공격 유형 테스트를 위해 특정 공격 유형을 홀드아웃(hold-out) 처리했습니다.

3. 주요 결과

보호되지 않은 에이전트의 취약성

8개 모델 패널(Anthropic, OpenAI, Google)을 대상으로 조사한 결과, 가드가 없을 때의 공격 성공률(ASR)은 매우 심각했습니다:

• 범위: ASR은 32.1%(Claude Sonnet 4.6)에서 81.4%(Gemini 3 Flash) 사이로 나타났습니다.
• 정렬 vs 규모: 논문은 저항력이 모델 규모보다는 정렬(alignment) 학습에 의해 결정된다고 언급합니다. 예를 들어, Anthropic 내에서 Sonnet 4.6은 Haiku 4.5보다 훨씬 더 높은 저항력(32.1%)을 보였는데, 이는 Haiku가 더 작은 모델임에도 불구하고 그렇습니다.
• 기초 모델의 실패: 기존 오픈 소스 가드들(Llama Guard 3, PromptGuard 2, WildGuard, ProtectAI)은 도구 응답 콘텐츠에 적용했을 때 이러한 공격을 효과적으로 탐지하지 못했습니다. 예를 들어, PromptGuard 2는 홀드아웃 테스트 세트에서 **0.00%의 참 양성률(TPR)**을 기록했으며, Llama Guard 3는 단 0.15%의 TPR을 달 기록했습니다.

AgentRedGuard의 효과

AgentRedGuard는 낮은 오버헤드를 유지하면서 위협을 크게 완화합니다:

• ASR 감소: 전체 패널의 ASR을 69.9%에서 2.4%로 낮추었습니다.
• 성능 지표:
  • 참 양성률 (TPR): 교차 통합 홀드아웃 데이터에 대해 99.75% 달성.
  • 위양성률 (FPR): 프로덕션 형태의 선의의 코퍼스에 대해 0.37% 달성.
  • 지연 시간 (Latency): 범용 CPU에서 도구 응답당 중앙값 9.5ms를 추가하며, GPU를 필요로 하지 않습니다.
• 일반화: 모델은 학습되지 않은 통합(교차 통합) 및 학습에서 제외된 공격 유형(교차 공격 유형)에 대해서도 높은 성능을 유지하여, 특정 사례를 암기하는 것이 아니라 일반적인 표면 마커를 학습했음을 입증했습니다.

4. 의의 및 주장

본 논문은 AgentRedBench와 AgentRedGuard가 에이전트 보안을 평가하고 방어하는 방식에 있어 필수적인 변화를 나타낸다고 주장합니다:

1. 동적 평가: 본 연구는 정적 벤치마크가 위협을 과소 측정함을 보여줍니다. 동적이고 스키마에 조건화된 공격 생성은 고정된 페이로드가 놓치는 취약점을 드러냅니다.
2. 분포 변화: 기존 가드들의 주요 실패 원인은 분포 변화(distribution shift)입니다. 이들은 채팅 데이터에 맞춰 학습되었을 뿐 도구 응답 데이터에는 맞지 않습니다. AgentRedGuard는 통합 계층의 분포에 특화되어 학습된 분류기가 이러한 미묘한 공격을 거의 완벽하게 탐지할 수 있음을 증명합니다.
3. 실용적 방어: 대규모 LLM 대신 경량 분류기를 사용함으로써, 도구 호출 루프 내에서 실시간 차단이 가능할 만큼 낮은 지연 시간과 비용으로 배포가 가능합니다.
4. 오픈 사이언스: 저자들은 코드베이스, 통합 스키마, AgentRedGuard 모델 가중치를 공개합니다. 다만, 벤치마크의 유효성을 유지하기 위해, 시나리오가 학습 코퍼스에 포함되어 ASR 지표가 암기로 인해 무의미해지는 것을 방지하고자 canonical 시나리오 세트는 관리자 중재 채널을 통해 제한적으로 제공합니다.

결론적으로, 정렬 학습이 기초적인 저항력을 제공할 수는 있지만(Sonnet 4.6에서 확인됨), 신뢰할 수 없는 다중 통합 환경에서 LLM 에이전트의 광범위한 도입을 위해서는 AgentRedGuard와 같은 추론 시점의 방어 체계가 필수적입니다. 다중 통합이 체인 형태로 연결된 공격 표면은 향후 연구가 필요한 개방된 영역으로 남아 있습니다.