기술 요약: AgentCanary

문제 정의

대규모 언어 모델(LLM)이 수동적인 대화형 에이전트에서 실제 컴퓨팅 환경에서 작업을 수행할 수 있는 자율형 AI 에이전트로 전환됨에 따라, 보안 위험의 근본적인 변화가 발생하고 있습니다. 기존의 텍스트 기반 LLM이 주로 텍스트적 기만이나 탈옥(jailbreak)으로 보안 실패가 나타나는 것과 달리, 자율형 에이전트는 시스템 침해, 돌이킬 수 없는 상태 조작, 경제적 손실을 초래하는 위협에 직면합니다.

기존의 보안 평가 프레임워크는 세 가지 결정적인 병목 현상에 직면해 있습니다:

1. 파편화된 위험 범위: 기존 벤치마크들은 위험 벡터(예: 프롬프트 인젝션, 도구 오염, 메모리 오염)를 고립된 문제로 취급하여, 동일한 진입점이 어떻게 서로 다른 해악을 초래할 수 있는지, 혹은 서로 다른 진입점이 어떻게 동일한 결과를 유발할 수 있는지에 대한 상관관계를 설명하지 못합니다.
2. 정적이고 낮은 충실도의 환경: 대부분의 평가는 정적인 Q&A나 모의된(mocked) 도구 응답에 의존합니다. 이들은 현실적인 도구 호출 체인, 동적인 상태 변화, 실제 데이터 형식을 재현하지 못하며, 이로 인해 상태 기반(stateful) 또는 장기적(long-horizon) 공격과 같이 환경적 부작용에 의존하는 공격을 평가하는 것이 불가능합니다.
3. 단일 차원 및 거친 입도(Coarse-grained)의 평가: 기존 지표는 종종 안전성, 경계심, 사용성을 하나의 "공격 성공" 라벨로 통합하거나 최종 답변에 대한 이진 판정에 의존합니다. 이는 에이전트가 공격을 인식했는지, 인지했음에도 불구하고 해를 끼쳤는지, 아니면 안전을 유지하기 위해 선량한 작업을 거부했는지 여부를 모호하게 만듭니다.

방법론: AgentCanary 프레임워크

AgentCanary는 공격자가 타겟팅하는 것과 동일한 시스템 수준의 표면에서 자율 에이전트를 평가하도록 설계된 종합적인 보안 평가 프레임워크로 제안되었습니다. 이 프레임워크는 위험 모델링, 고충실도 실행, 그리고 궤적 기반(trajectory-grounded) 평가를 통합합니다.

1. 직교적 위험 분류 (진입 × 영향)

AgentCanary는 체계적인 범위를 제공하기 위해 분리된 위험 분류 체계를 도입합니다:

• 위험 진입점 ($E$): 워크플로우에 적대적 영향이 들어오는 방식을 설명합니다. 프레임워크는 다섯 가지 진입점을 정의합니다:
  • 직접 프롬프트 인젝션 (DPI): 사용자 채널을 통한 악의적인 지시사항.
  • 간접 프롬프트 인젝션 (IPI): 신뢰할 수 없는 외부 콘텐츠(이메일, 웹페이지)에 숨겨진 지시사항.
  • 스킬 포이즈닝 (SP): 오염된 제3자 스킬 또는 도구.
  • 메모리 오염 (MC): 지속적인 메모리/상태 내의 악의적인 규칙 또는 허위 사실.
  • 내재적 실패 (IF): 외부 공격 벡터 없이 에이전트 자체의 한계(모호성, 과잉 일반화)에서 발생하는 안전하지 않은 행동.
• 위험 영향 ($U$): 실현된 결과를 설명합니다. 7가지 카테고리에는 로컬 환경 손상, 데이터 유출, 메모리 오염, 권한 상승, 네트워크 공격, 비즈니스 남용, 금융 리스크가 포함됩니다.
• 매트릭스 구축: 작업은 특정 $(e_i, u_j)$ 쌍으로 인스턴스화되어, 위험이 고립된 프롬프트가 아닌 현실적인 워크플로우(예: 웹 브라우징, 이메일, 금융 거래)에 기반하도록 보장합니다.

2. 고충실도 실행 환경

충실도 격차를 해결하기 위해, AgentCanary는 에이전트가 실제 도구와 동적으로 프로비저닝된 작업 아티팩트 간에 상호작용하는 샌드박스 환경을 제공합니다.

• 실제 도구 및 인터페이스: 에이전트는 모의 API가 아니라 실제 셸 명령을 실행하고, 실제 파일 시스템과 상호작용하며, 제어된 로컬 서비스(DNS, 메일, 웹)에 접속합니다.
• 동적 프로비저닝: 자동화된 엔진은 실행 전 작업별 아티팩트(예: 숨겨진 지시사항이 포함된 편지함, 가상 은행 계좌, 오염된 스킬)를 준비합니다.
• 상태 지속성: 환경은 상태가 유지되는 다단계 상호작용을 지원하여, 시간이 흐르거나 세션 전반에 걸쳐 위험이 축적되는 장기적 공격을 평가할 수 있게 합니다.
• 프레임워크 불가지론(Agnosticism): 환경은 여러 에이전트 프레임워크(Hermes, NanoClaw, OpenClaw)를 지원하여 교차 프레임워크 비교를 가능하게 합니다.

3. 궤적 기반 다차원 평가

최종 답변을 평가하는 대신, AgentCanary는 도구 호출, 시스템 수준의 부작용, 상태 변화를 포함한 전체 에이전트 궤적($\Psi$)을 분석합니다. 성능은 세 가지 직교 점수로 분해됩니다:

• 결과 안전성 점수 (OSS): 해로운 환경적 결과가 실제로 방지되었는지 확인합니다 (0–1 척도).
• 보안 인식 점수 (SAS): 에이전트가 위험원을 인식하고 적절한 방어 조치를 취했는지 평가합니다.
• 작업 유용성 점수 (TUS): 안전하지 않은 실행 없이 합법적인 목표를 완료하는 능력을 측정합니다.
  이 점수들은 작업 유형에 따라 다르게 가중치가 부여된 총점으로 합산됩니다 (예: 모든 작업에서 결과 안전성이 가장 높게 가중치 부여되며, 사용자 요청 자체가 악의적인 직접 인젝션 작업의 경우 유용성 가중치는 0이 됩니다).

주요 기여

1. 포괄적인 위험 범위: 직교적 진입 × 영향 분류 체계와 현실적인 배포 워크플로우(웹, 이메일, 금융 등)를 아우르는 496개의 시드 작업 세트는 단순한 공격 목록보다 더 체계적이고 감사 가능한 범위를 제공합니다.
2. 고충실도 실행: 이 프레임워크는 실제 실행 환경에서 상태 기반 및 장기적 공격 평가를 가능하게 하여, 모의 벤치마크가 재현할 수 없는 시스템 수준의 부작용 평가를 지원합니다.
3. 다차원 평가: 결과 안전성, 보안 인식, 작업 유용성을 분리함으로써, 단일 점수 지표가 가리는 트레이드오프와 뚜렷한 실패 모드(예: 해를 방지하지만 공격을 인식하지 못하는 에이전트)를 밝혀냅니다.
4. 대규모 경험적 평가: 3가지 에이전트 프레임워크와 다양한 적대적 환경(동적 공격 진화 및 장기적 점진적 공격 포함)에 대해 12개의 프런티어 모델을 평가합니다.

실험 결과

12개의 모델(GPT-5.4, Claude Opus 4.6, Qwen3.6-Plus 등 포함)을 평가한 결과, 현재 에이전트 보안의 상당한 격차가 드러났습니다:

• 불균등한 보안 능력: 보안은 프런티어 모델의 공유된 속성이 아닙니다. Claude Opus 4.6은 두 번째로 높은 모델(Qwen3.6-Plus, 69.7)을 크게 앞질러 가장 높은 종합 점수(83.9)를 기록했습니다. GLM-4.7-Flash와 같은 경량 모델을 포함한 많은 모델은 높은 불안한 결과율(UOR > 60%)을 보였습니다.
• 안전성과 인식의 분리: 핵심적인 발견은 해를 방지하는 것과 공격을 인식하는 것 사이의 해리 현상입니다. 일부 모델(예: IPI 시나리오에서의 Claude Sonnet 4.5)은 높은 결과 안전성 점수(>95)를 달성했으나 매우 낮은 보안 인식 점수(<25)를 기록했는데, 이는 이들이 진정한 위험 인식보다는 보수적인 실행이나 작업 회피에 의존하고 있음을 시사합니다.
• 장기적 및 상태 기반 공격에 대한 취약성:
  • 장기적 점진적 공격 (LPA): 여러 세션에 걸쳐 전개되는 이러한 공격은 매우 효과적이었습니다. 12개 모델 중 7개가 UOR > 50%를 기록하여, 분산된 위험 신호를 시간의 흐름에 따라 연결하는 데 구조적 약점이 있음을 보여주었습니다.
  • 메모리 오염 (MC): 대부분의 모델은 지속적인 메모리를 신뢰할 수 없는 것으로 취급하는 데 실패했으며, UOR은 3.8%(Claude Opus 4.6)에서 67.3%(GLM-4.7-Flash)까지 나타났습니다.
  • 스킬 포이즈닝: 스크립트 기반 위장(매니페스트가 아닌 실행 가능한 스크립트에 악의적인 로직을 숨기는 방식)은 모든 모델에서 안전성 점수의 급격한 붕괴를 일으켰습니다.
• 공격 강화의 영향: 동적 공격 진화(프롬프트의 반복적 정교화)는 대부분 모델의 성능을 크게 저하시켰으며, 이는 정적 벤치마크가 적응형 공격자에 대한 취약성을 과소평가하고 있음을 드러냅니다.

의의 및 주장

본 논문은 AgentCanary가 더 신뢰할 수 있고 안전한 에이전트 시스템을 개발하기 위한 체계적인 베이스라인을 제공한다고 주장합니다. 주요 의의는 에이전트 안전성 평가의 초점을 "콘텐츠 준수"(텍스트 생성)에서 "시스템 무결성 및 행동 제어 가능성"(실제 실행)으로 전환하는 데 있습니다.

저자들은 현재의 에이전트들이 특히 컴프로마이즈된 스킬, 지속적인 상태, 장기적 실행 조건 하에서 직면한 공격을 인식하는 데 실패하는 경우가 많다고 강조합니다. 이 프레임워크는 견고한 보안을 위해서는 안전하지 않은 결과를 방지하는 것과 적대적 의도를 명시적으로 인식하는 것의 결합된 실현이 필요함을 입증합니다. 고충실도 및 궤적 기반의 평가 파이프라인을 제공함으로써, AgentCanary는 고권한 환경에서 자율 에이전트의 안전한 배포에 필수적인 특정 실패 모드(예: 교차 세션 추론 부족, 메모리에 대한 맹목적 신뢰)를 진단할 수 있게 합니다.