기술 요약: AgentSecBench

문제 제기

대형 언어 모델 (LLM) 에이전트는 신뢰할 수 있는 지시사항, 검색된 기록, 도구 관찰 결과를 단일 생성 채널에 통합합니다. 이러한 아키텍처 선택은 데이터 흐름과 권한을 혼동하게 만듭니다. 즉, 신뢰할 수 없는 문자열 (예: 검색된 문서 또는 도구 출력) 이 어떤 애플리케이션 정책도 그러한 영향을 승인하지 않음에도 불구하고 비밀을 포함하는 응답이나 행동 제안에 영향을 미칠 수 있습니다. 지시사항과 데이터 간의 구분을 타입 시스템과 접근 검사가 강제하는 기존 프로그램과 달리, LLM 에이전트는 종종 시스템 프롬프트 내의 산문 (prose) 에 의존하여 이러한 경계를 정의합니다. 본 논문은 중요한 격차를 지적합니다. 프롬프트 텍스트가 보안 경계를 기술할 수는 있지만, 본질적으로 이를 강제하지는 않는다는 점입니다. 결과적으로, 신뢰할 수 없는 관찰 결과를 통제하는 공격자는 정책 제약을 우회하여 프롬프트 인젝션, 개인정보 유출, 무단 도구 사용을 초래할 수 있습니다.

방법론

본 논문은 프롬프트 주석과 강제된 보안 경계 사이의 차이를 측정하고 구분하도록 설계된 형식적 보안 프레임워크의 경험적 구현체인 AgentSecBench를 소개합니다.

형식적 프레임워크

저자들은 허용된 유출이 있는 의도 - 실행 비간섭성을 정의합니다. 핵심 개념은 암호학적 구조를 공유하는 세 가지 "게임"으로 구성됩니다. 공격자가 신뢰할 수 없는 관찰 결과를 선택하고, 방어 메커니즘이 관찰 가능 채널을 변환하며, 판별자가 무단 출력 사건을 평가합니다.

1. 지시 무결성 게임 (Instruction-Integrity Game): 문서에 포함된 악의적 지시가 정당한 사용자 요청을 대체할 수 있는지 테스트합니다.
2. 검색 기밀성 게임 (Retrieval-Confidentiality Game): 호출자의 권한 범위 외부에 할당된 비밀 (캐나리) 이 검색된 컨텍스트를 통해 유출될 수 있는지 테스트합니다.
3. 기능 무결성 게임 (Capability-Integrity Game): 도구 관찰 결과가 사용자의 정책에 의해 금지된 행동 선택을 유도할 수 있는지 테스트합니다.

이 프레임워크는 정책 투사 (policy projections) (입력 또는 행동 공간에서 무단 기능을 제거하는 수학적 연산) 와 프롬프트 주석 (prompt annotations) (무단 데이터를 모델에 가시적으로 남기는 텍스트 경고 또는 구분자) 을 구분합니다.

실험 설계

• 모델: 실험은 Qwen3-0.6B와 Qwen3-1.7B에서 수행되었습니다.
• 방어 기법: 여섯 가지 방어 클래스가 평가되었습니다.
  1. 방어 없음 (기준선).
  2. 구분자 강화 (프롬프트 주석).
  3. 분류기 필터링 (생성 전 패턴 매칭).
  4. 출처 인식 RAG 게이트 (검색 컨텍스트 투사).
  5. 최소 권한 도구 게이트 (도구 출력 투사).
  6. 결합 스택 (위 기법들의 조합).
• 지표:
  • 공격자 이점 ($\widehat{Adv}$): 공격적 조건과 짝을 이룬 정당한 제어 조건 간의 위반률 차이.
  • 채널 폐쇄 ($\widehat{C}$): 생성 전에 지정된 무단 마커나 기능이 입력에서 제거되었는지 여부를 측정하는 이진 지표.
  • 정당한 유틸리티: 정당한 입력에 대한 작업 완료의 언어적 대리 지표.
• 프로토콜: 평가는 명확한 기준을 보장하기 위해 정확한 일치 판별자 (예: BETA CANARY 0000와 같은 특정 캐나리 문자열 또는 CALL SEND EXTERNAL EMAIL 0000와 같은 행동 토큰) 를 사용합니다. 추가적인 모델 의존적 변이를 방지하기 위해 LLM 판정자를 사용하지 않습니다.

주요 기여

1. 형식적 정의: 신뢰할 수 있는 지시사항과 신뢰할 수 없는 관찰 결과를 결합하는 에이전트에 대한 허용된 유출이 있는 의도 - 실행 비간섭성을 정의했습니다.
2. 보안 구분: 텍스트 수준 지시사항(프롬프트 주석) 과 강제된 보안 경계(출처 투사 및 기능 제한) 를 명시적으로 분리했습니다. 논문은 주석이 모델의 준수를 의존하는 반면, 강제화는 공격 채널을 제거한다고 주장합니다.
3. 세 가지 보안 게임: 정책 투사로서 지시, 비밀, 기능 격리를 구현하여 공격자 이점, RAG 유출, 채널 폐쇄에 대한 추정치를 제공했습니다.
4. 평가 추적: 결과 사건과 방어된 컨텍스트를 생성한 특정 강제화 클래스를 모두 기록하는 평가 시스템을 구현하여, 행동적 저항과 실제 채널 폐쇄를 분리할 수 있도록 했습니다.
5. 경험적 분석: 생성 전에 무단 심볼이나 기능이 제거되었는지 여부에 따라 관찰된 잔여 위험을 연결하여, 위험 감소가 항상 채널 폐쇄를 의미하지는 않음을 입증했습니다.

결과

3 가지 게임, 6 가지 방어, 2 가지 모델에 걸친 576 회 실행 평가는 다음과 같은 통찰을 도출했습니다.

• 채널 폐쇄 vs. 이점: 결합 (Combined) 방어는 100% 채널 폐쇄와 0% 공격자 이점을 달성했습니다. 반면, 구분자 강화(프롬프트 주석) 는 0% 채널 폐쇄를 달성했으나 이점을 0.438 로 감소시켰습니다 (기준선인 0.375 보다 약간 높음).
• 방어 효과성:
  • 출처 게이트는 기밀성 게임에서 검색 채널을 성공적으로 폐쇄 (0% 유출) 했으나, 도구 게임에서 기능 채널을 폐쇄하지는 못했습니다.
  • 최소 권한 게이트는 기능 채널을 폐쇄 (0% 위반) 했으나 검색 유출에는 영향을 미치지 않았습니다.
  • 필터링은 부분적 폐쇄 (54.2%) 를 달성하고 이점을 0.042 로 감소시켰습니다.
• 해석: 방어 메커니즘은 모델이 입력을 무시하도록 의존하면서 관찰된 공격 성공률 (ASR) 을 감소시킬 수 있지만, 공격 채널은 열어둘 수 있습니다. 반면, 채널을 폐쇄하는 (무단 기능을 제거하는) 방어 메커니즘은 더 강력하고 강제 가능한 보장을 제공하지만, 금지된 대상의 모델적 발명을 방지하기 위해 생성 후 검증을 여전히 필요로 할 수 있습니다.

중요성과 주장

본 논문은 AgentSecBench 가 프롬프트 템플릿 순위 매기기가 아닌 보안 경계 강제화 검증을 중심으로 초점을 이동시키는 보안 지향적 평가 방법을 제공한다고 주장합니다.

• 주석 vs. 강제화: 주요 기여는 프롬프트 텍스트가 경계를 기술할 수는 있지만, 출처 투사, 기능 제한, 출력 검증만이 이를 강제할 수 있음을 입증한 것입니다.
• 측정 가능한 폐쇄: 이 프레임워크는 "채널 폐쇄"를 측정 가능한 변수로 도입합니다. 이를 통해 연구자들은 무단 관찰을 성공적으로 제거한 방어 (강제화) 와 단순히 모델이 이에 행동할 확률만 감소시킨 방어 (주석) 를 구분할 수 있습니다.
• 겸손한 주장: 저자들은 정확한 마커 실험이 "하나의 관찰 가능한 구현"이며 포괄적인 의미적 보안을 주장하지 않는다고 명시합니다. 정확한 마커 (캐나리) 사용은 정책 위반에 대한 충분한 증언이 되지만, 의미적 위반 (예: 재구성된 비밀) 을 과소평가합니다. 결과는 테스트된 특정 게임에 대한 불안정성을 확립합니다. 위반이 없다고 해서 무제한 비간섭성을 인증하는 것은 아닙니다.

결론적으로, 본 논문은 안전한 에이전트 설계는 자연어 지시사항에 의존하는 것이 아니라, 자연어 지시사항과 병행하여 명시적인 관찰 투사와 기능 검증을 요구한다고 주장합니다.