기술 요약: Know Your Agent (KYA)

문제 정의

대규모 언어 모델(LLM) 에이전트의 보안은 **간접 프롬프트 주입(Indirect Prompt Injection, IPI)**에 의해 점점 더 위협받고 있습니다. 사용자가 입력을 제어하는 직접적인 프롬프트 주입과 달리, IPI는 에이전트가 도구를 통해 검색하는 환경 데이터(예: 웹페이지, 이메일, 저장소 파일) 내에 악의적인 지침을 삽착하는 것을 포함합니다. 에이전트가 이 데이터를 처리할 때, 숨겨진 지침을 유효한 명령으로 해석하여 승인되지 않은 도구 호출, 데이터 유출 또는 출력 조작을 초래할 수 있습니다.

현재 IPI를 위한 자동화된 레드팀(Red-teaming) 접근 방식은 대부분 에이전트 아키텍처의 복잡성을 고려하지 못합니다. 기존의 대부분의 방법은 고정된 템플릿, 퍼징된 페이로드(fuzzed payloads), 또는 성공/실패 신호에만 기반한 반복적인 페이로드 변이(mutation)를 사용하여 맹목적으로 작동합니다. 이러한 방식은 공격을 시작하기 전에 에이전트의 도구, 스키마, 권한, 작업 컨텍스트 및 방어 메커니즘에 대한 정보를 체계적으로 수집하는 메커니즘 없이, 에이전트를 정적인 타겟으로 간주하고 페이로드만을 최적화합니다. 결과적으로, 이들은 효과적인 인간 침투 테스트의 특징인 "정찰-착취 루프(reconnaissance-exploitation loop)"를 놓치게 됩니다.

방법론: 에이전트 정찰 및 KYA

본 논문은 공격자가 더 효과적인 IPI 공격을 구성하기 위해 에이전트의 운영 지식을 전략적으로 추출하는 정형화된 과정인 **에이전트 정찰(Agent Reconnaissance)**을 소개합니다. 저자들은 성공적인 IPI가 다음 두 가지 특정 에이전트 약점을 악용하는 데 달려 있다고 주장합니다:

1. 표면 형태 신뢰 (Surface-Form Trust, W1): 에이전트는 종종 신뢰할 수 있는 데이터(예: 시스템 프롬프트, 도구 호출 구문, 구분자)의 구조적 패턴을 모방하는 토큰을 신뢰합니다.
2. 일관성 기반 정당화 (Coherence-Based Legitimation, W2): 에이전트는 비록 출처가 신뢰할 수 없더라도, 로컬 컨텍스트(사용자 페르소나, 현재 작업, 도메인 언어)에 부합하는 요청을 수용하는 경향이 있습니다.

이를 실행하기 위해 저자들은 완전 자율형 블랙박스 펜테스팅 프레임워크인 **Know Your Agent (KYA)**를 제안합니다. KYA는 단순히 실패한 페이로드를 변이하는 것이 아니라, **정찰(reconnaissance)**과 착취(exploitation) 동작을 교차 수행합니다.

KYA 프레임워크

KYA는 정당한 사용자로서 대상 에이전트와 상호작용하며 블랙박스 위협 모델 하에서 작동합니다. 이는 세 가지 주요 모듈로 구성됩니다:

1. 오케스트레이터(Orchestrator): **타겟 프로필($M$)**과 **전술 라이브러리(Tactic Library)**를 유지하는 의사 결정 핵심부입니다. 각 상호작용 후, 결과에 따라 다음 중 하나를 결정합니다:
   • 착취(Exploitation) 시도 실행 (프로필에 특정 전술을 위한 충분한 지식이 포함된 경우).
   • 정찰(Reconnaissance) 개시 (전술의 전제 조건이 누락된 경우).
   • 현재 전술을 정교화하거나 전략 전환.
2. 정찰 모듈(Reconnaissance Module): 특정 **지식 자산(Knowledge Assets)**을 추출하도록 설계된 "스카우트(Scout)" 에이전트를 생성합니다. 이러한 자산은 다음과 같이 분류됩니다:
   • 회피 자산(Evasion Assets): 필터, 가드레일 및 구조적 방어 기제 (예: 구분자).
   • 프리텍스트 자산(Pretext Assets): 에이전트 유형, 사용자 페르소나, 현재 작업 및 양질의 응답 스타일.
   • 청사진 자산(Blueprint Assets): 행동 규칙, 모델 정체성, 대화 구조, 도구 상세 정보 및 도구 호출 스키마.
3. 착취 모듈(Exploitation Module): "전략가(Strategist)"와 "위조자(Forger)"를 사용하여 페이로드를 합성합니다. 이는 타겟 특유의 데이터를 $M$에 사용하여 라이브러리의 전술을 인스턴스화하며, 이를 통해 페이로드가 신뢰할 수 있는 표면 형태를 모방하고 컨텍스트적 서사에 부합하도록 보장합니다.

프레임워크는 성공적인 공격이 이루어지거나 상호작용 예산이 소진될 때까지 이 단계들을 순환하며 타겟 프로필을 점진적으로 업데이트합니다.

주요 기여

1. 에이전트 정찰의 정형화: 본 논문은 에이전트 정찰을 펜테스팅의 별도 단계로 정의하고, 공격자가 성공을 위해 추출해야 하는 특정 지식 자산(예: 도구 스키마, 거절 경계, 사용자 작업)을 식별했습니다.
2. 에이전트 약점 식별: 정찰이 어떻게 표면 형태 신뢰와 일관성 기반 정당화를 악용하는지 설명하며, 왜 타겟 특화된 세부 정보가 일반적인 페이로드보다 IPI 공격을 더 효과적으로 만드는지 명시했습니다.
3. KYA 프레임워크: 저자들은 정찰-착취 루프를 자동화하는 자율형 블랙박스 플랫폼인 KYA를 제시합니다. 기존 연구와 달리, KYA는 무엇을 배울 것인지(what to learn)를 먼저 결정한 후 어떻게 공격할 것인지(how to attack)를 결정함으로써 타겟을 명시적으로 모델링합니다.
4. 실증적 검증: KYA를 기성 에이전트 보안 벤치마크 및 실제 코딩 에이전트(OpenHands)에 대해 종합적으로 평가했습니다.

결과

평가 결과, 정찰 기반 테스트가 페이로드 중심의 레드팀 테스트보다 성능이 월등히 높음을 입증했습니다:

• 벤치마크 성능: 다양한 파운데이션 모델과 기성 에이전트 보안 벤치마크 전반에서, KYA는 정적 템플릿, 단발성 생성(single-shot generation), 반복적 정교화 방법 등을 포함한 모든 베이스라인보다 공격 성공률(ASR) 면에서 최대 67 퍼센트 포인트 더 높은 성과를 기록했습니다.
• 실제 적용: KYA는 실제 코딩 에이전트인 OpenHands의 취약점을 성공적으로 식별하여, 이 접근 방식이 합성 벤치마크 설정을 넘어 실효성이 있음을 증명했습니다.
• 구성 요소 분석: 결과는 개선의 동력이 지식 자산의 전략적 습득에 있음을 나타냅니다. 이를 통해 시스템은 구조적으로 유효하면서도(W1 악용) 컨텍스트적으로 일관된(W2 악용) 페이로드를 제작할 수 있습니다.

의의 및 주장

본 논문은 정찰이 신뢰할 수 있는 에이전트 배포의 전제 조건이라고 주장합니다. 저자들은 에이전트 보안 테스트를 단순한 프롬프트 생성 작업으로 취급하는 것은 불충분하다고 강조합니다. 대신, 효과적인 테스트는 전통적인 침투 테스트의 반복적인 정보 수집 과정을 모방해야 합니다.

저자들은 KYA, 벤치마크 및 베이스라인 구현을 공개함으로써 AI 보안 분야의 재현 가능한 연구를 지원하고자 합니다. 그들은 에이전트의 관찰 가능한 행동(도구, 응답 및 컨텍스트 처리)의 "공격 표면"을 이해하는 것이 간접 프롬프트 주입에 대한 강력한 방어 체계를 구축하는 데 필수적이라고 상정합니다. 이 연구는 향후 방어책이 단순히 프롬프트의 내용뿐만 아니라, 신뢰할 수 없는 출처로부터 유도된 표면 형태와 컨텍스트적 일관성을 신뢰하는 에이전트의 성향까지 다루어야 함을 시사합니다.