기술 요약: AutoDojo: 적응형 공격을 통한 LLM 에이전트의 피상적 방어 및 사용자 미지정(Underspecification) 한계 노출

1. 문제 정의

간접 프롬프트 주입(Indirect Prompt Injection, IPI)은 신뢰할 수 없는 외부 데이터(예: 검색된 문서, 도구 출력)에 내장된 적대적 지시문이 에이전트의 실행 흐름을 탈취하는 심각한 보안 위협을 나타냅니다. 프롬프트 기반 체계, 탐지/필터링 메커니즘, 시스템 수준 제약 등으로 분류되는 다양한 방어 기법들이 제안되고 있으나, 이러한 방어들을 평가하는 방식은 **정적 벤치마크(static benchmarks)**에 의존한다는 근본적인 결함을 가지고 있습니다.

AgentDojo와 같은 현재의 벤치마크들은 고정된 수작업 작성 주입 문자열을 사용하여 단일 집계 공격 성공률(ASR)을 생성합니다. 이러한 정적 평가 패러다임은 적응형 공격자(adaptive adversaries)에 대한 강건성을 평가하는 데 실패합니다. 방어 기법들은 악의적인 의도를 견고하게 식별하기보다는, 정형화된 공격 문자열의 피상적인 특징(예: 특정 트리거 단어나 포맷)에 과적합(overfitting)함으로써 낮은 ASR을 달려낼 수 있습니다. 결과적으로, 보고된 방어 효능은 실제 시나리오에서 특정 방어를 우회하기 위해 전략을 수정하는 공격자의 모습을 반영하지 못해 부풀려질 수 있습니다.

2. 방법론: AutoDojo 프레임워크

정적 평가의 한계를 해결하기 위해, 저자들은 AgentDojo 벤치마크의 적응형 확장 버전인 AutoDojo를 도입합니다. AutoDojo는 엄격한 블랙박스 위협 모델(black-box threat model) 하에서 대상 방어 에이전트를 대상으로 임의의 시드 주입(seed injection)을 최적화하도록 설계되었습니다.

위협 모델

• 공격자 역량: 공격자는 모델 가중치, 그래디언트 또는 내부 방어 로직에 접근할 수 없습니다. 공격자는 오직 외부 사용자와 동일한 쿼리 접근 권한만을 가지며, 후보 콘텐츠를 제출하고 이진 성공/실패 신호(에이전트가 공격자의 목표를 실행했는지 여부)를 관찰할 수 있습니다.
• 자원: 이 공격은 "저렴한(cheap)" 방식으로, 대규모 강화 학습이나 화이트박스 접근이 필요하지 않으며, 적은 쿼리 예산과 오프라인 프런티어 LLM을 최적화 도구로 활용합니다.
• 목표: 특정 작업(예: 승인되지 않은 도구 호출)을 수행하기 위해 베니안 벡터(benign vector) $v$ 내에서 주입문 $x$를 반복적으로 정제하여 ASR을 극대화하는 것입니다.

최적화 루프

AutoDojo는 LLM-in-the-loop 진화 탐색 프로세스로 작동합니다:

1. 초기화: 기존 공격(예: 정적 문자열, TopicAttack, RLHammer)을 포함한 후보 주입문 리더보드를 구성합니다.
2. 결과 피드백: 후보군을 방어된 에이전트에 배포합니다. 시스템은 일련의 사용자 작업 인스턴스에 대한 ASR을 기준으로 점수를 부여하여 이진 성공 신호를 제공합니다.
3. 진단: 오프라인 최적화 LLM이 리더보드 이력을 분석하여 특정 후보가 왜 성공하거나 실패했는지 가설을 세우고, 활성화된 방어의 성격을 추론합니다.
4. 생성: 진단에 따라 최적화 도구는 새로운 후보 주입문을 생성합니다. 현재 전략이 소진된 경우(예: 유창한 문단에서 대화 형식으로 전환) 전략을 변경할 수 있습니다.

이 루프는 고정된 작은 예산(예: 6회 반복) 동안 반복되며, 가장 높은 점수를 받은 주입문을 반환합니다. 이 프레𝑹워크는 새로운 공격을 시드 또는 전략 설명으로 통합할 수 있어, IPI 연구의 발전을 자연스럽게 흡수할 수 있습니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. AutoDojo 프레임워크: ASR 피드백만을 사용하여 시드 공격을 최적화하며, 최소한의 API 호출과 모델 내부 정보 없이도 작동하는 효율적인 블랙박스 적응형 평가 도구입니다.
2. 작업 명세 분류 체계(Task Specification Taxonomy): 사용자 작업의 정밀도에 따른 새로운 분류를 제시합니다:
   • 완전 명시형(Fully-specified): 동작과 파라미터가 사용자에 의해 명시적으로 정의됨.
   • 파라미터 개방형(Param-open): 동작은 정의되었으나, 파라미터는 외부 콘텐츠로부터 유도됨.
   • 동작 개방형(Action-open): 사용자가 외부 콘텐츠에 동작 자체를 위임함 (예: "문서에 적힌 대로 하세요").
3. 포괄적 평가: 세 가지 작업 세트(Banking, Slack, Travel)와 다섯 가지 타겟 모델에 대해 9가지 최신 방어 기법을 대상으로 광범위한 실증 연구를 수행했습니다.
4. 공개 배포: 최적화 파이프라인, 사전 최적화된 주입문 라이브러리, 작업별 미지정(underspecification) 레이블을 포함한 AutoDojo를 공개합니다.

4. 실험 결과

결과 1: 정적 방어는 제한적인 보호만을 제공함

본 연구는 정적 벤치마크에 대해 강력한 보호를 보고하는 방어 기법들이 적응형 공격에는 취약하다는 것을 입증합니다.

• ASR 회복: 정적 ASR을 거의 0에 가깝게 낮춘 방어 기법들(예: GPT-4o-mini에서 정적 ASR을 0.0%로 낮춘 PIGuard)에 대해, AutoDojo는 상당한 공격 성공률을 회복합니다 (예: ASR을 28.0%까지 상승시킴).
• 필터 취약성: 정적 주입을 효과적으로 차단하는 전용 분류기(예: DataFilter, ProtectAI)들도 AutoDojo에 의해 우회됩니다. DataFilter의 경우 ASR이 12.6%에서 33.4%로 증가하는 등 2배에서 거의 3배까지 상승했습니다.
• 유틸리티 비용: 정적 공격을 성공적으로 억제하는 방어 기법들은 종먹히 높은 "클린 유틸리티(clean utility)" 비용(양호한 작업 성능 저하)을 초래합니다. 예를 들어, PIGuard와 ProtectAI는 모델 전반에서 클린 유틸리티를 33~51% 감소시켰으며, 이는 이들이 악의적인 지시문뿐만 아니라 양호한 콘텐츠까지 공격적으로 필터링하고 있음을 시사합니다.
• 최적화 vs 시드: 성능 향상은 단순히 초기 시드의 강점이 아니라 최적화 루프 자체에 의해 주도됩니다. AutoDojo는 필터 기반 방어에 대해 시드 공격(TopicAttack, RLHammer)보다 일관되게 높은 성능을 보입니다.

결과 2: 사용자 미지정(Underspecification)이 구조적 취약성을 생성함

방어 효능은 사용자의 작업 명세 정밀도에 크게 의존합니다.

• 동작 개방형 작업: "동작 개방형" 작업(사용자가 외부 콘텐츠에 동작을 위임하는 경우)은 "완전 명시형" 작업에 비해 공격 성공률이 현저히 높습니다.
• 필터 실패: 프롬프트 수준 및 필터 기반 방어의 경우, 동작 개방형과 명시형 작업 간의 격차가 극명합니다. 예를 들어, GPT-4o-mini와 PIGuard 환경에서 정적 ASR은 두 경우 모두 0%였으나, AutoDojo 적용 시 동작 개방형 작업의 ASR은 64.3%로 급증한 반면 명시형 작업은 23.6%에 머물렀습니다.
• 메커니즘: 동작 개방형 작업에서는 주입문이 명시적인 지시문이 아닌 일반적인 데이터처럼 위장할 수 있어, 지시문 형태의 구문을 탐지하는 데 의존하는 방어를 우회합니다.
• 시스템 수준의 강건성: 에이전트의 행동을 사용자 요청으로부터 유도된 궤적(trajectory)에 따라 제한하는 시스템 수준 방어(예: Progent, DRIFT)는 더 높은 강건성을 보입니다. 이들은 주입문이 어떻게 표현되든 상관없이 사용자의 의도에 의해 명시적으로 허가되지 않은 모든 행동을 차단하므로, 작업 유형 간의 격차를 제거하는 경향이 있습니다.

5. 의의 및 주장

본 논문은 현재의 IPI 방어 평가 지형이 오해의 소지가 있다고 주장합니다. 정적, 수작업 작성 벤치마크에 대한 의존은 많은 방어 기법, 특히 콘텐츠 필터링이나 프롬프트 엔지니어링에 의존하는 기법들의 강건성을 과장합니다.

• 피상적 강건성: 낮은 정적 ASR은 해당 방어가 특정 고정된 공격에 작동하거나 타겟 모델이 해당 특정 문자열에 본질적으로 내성이 있음을 인증할 뿐, 진정한 보안을 의미하지 않습니다.
• 적응형 현실: AutoDojo가 시뮬레이션하는 것처럼 자원이 적게 드는 블랙박스 공격자조차도 많은 방어의 취약성을 드러내기에 충분하며, 정적 평가가 안전함을 시사하는 곳에서 높은 공격 성공률을 회복해 냅니다.
• 구조적 한계: 논문은 에이전트 시스템의 구조적 한계를 식별합니다: 사용자가 작업을 미지정할 때(외부 콘텐츠에 동작을 위임할 때), 콘텐츠 수준의 방어는 불충분해집니다. 왜냐하면 악의적인 지시문이 양호한 데이터로 프레이밍될 수 있기 때문입니다. 저자들은 진정한 강건성을 위해서는 입력을 필터링하려고 시도하는 것이 아니라, 에이전트의 행동을 사용자의 명시적 의도에 결속시키는 시스템 수준의 제약이 필요하다고 제안합니다.

저자들은 향れて의 방어 평가가 단일 집계 점수를 넘어 적응형 블랙박스 테스트와 작업 명세 정밀도에 따른 분해를 포함해야 한다고 결론짓습니다. AutoDojo는 이러한 변화를 촉진하기 위해 세밀하고 적응적인 적대적 평가 도구를 제공합니다.