기술 요약: Adaptive Adversaries: LLM 에이전트 보안을 위한 멀티 턴, 멀리 LLM 벤치마크

문제 정의

현재의 대규모 언어 모델(LLM) 에이전트 안전성 벤치마크는 종종 정적인 공격 풀(고정된 프롬프트 또는 탈옥 세트)을 사용하여 단일 턴 또는 고정된 멀티 턴 상호작용에서 방어자를 평가하는 방식에 의존합니다. 이러한 접근 방식은 공격자가 방어자의 응답을 관찰하고, 여러 턴에 걸쳐 전략을 조정하며, 초기 시도가 실패했을 때 경로를 변경할 수 있는 실제 세계의 적응형 위협이 가진 역동성을 포착하지 못합니다. 또한, 기존 벤치마크는 일반적으로 단일 공격 모델을 방어자와 대조하여 평가하므로, 특정 공격자 아키텍처나 역량이 발견할 수 있는 취약점을 놓칠 가능성이 있습니다. 저자들은 정적 풀이 측정 전에 공격자를 동결시켜 버림으로써, 특히 간접 프롬프트 주입(indirect prompt injection) 및 멀티 턴 탈옥과 관련하여 에이전트 보안에 대한 불완전한 이해를 초래한다고 주장합니다.

방법론

본 논문은 적응형, 다회차 공격을 메모리가 없는(memoryless) 방어자에 대해 실행할 수 있도록 설계된 AgentBeats 멀티 에이전트 평가 플랫폼을 기반으로 한 새로운 벤치마크를 소개합니다.

핵심 설계 원칙

1. 멀티 턴, 에이전트 대 에이전트 전투: 각 평가 시나리오는 15라운드의 대화로 구성됩니다. 공격자는 방어자의 이전 응답을 관찰하고 그 이력에 따라 다음 턴을 결정하는 자율적인 LLM 에이전트입니다.
2. 메모리가 없는 방어자: 방어자는 매 라운드마다 "새로운" 상호작용으로서 평가되며, 이전 대화 이력에 접근 없이 현재의 포맷된 입력만을 받습니다. 이는 공격자가 시도를 통해 학습하는 동안, 의심 누적을 피하기 위해 세션을 초기화하는 상황을 시뮬레이션하여, 지속적인 적응형 압박 하에서의 입력당 강건성을 격리하여 평가합니다.
3. 전투당 공격 재생성: 고정된 공격 풀을 사용하는 벤치마크와 달리, 공격자 LLM은 전투 중에 각 턴을 실시간으로 생성합니다. 이를 통해 공격이 정해진 정적 세트에 의존하는 대신 특정 방어자 행동에 적응하도록 보장합니다.
4. 구조화된 출력 스코어링: 방어자는 구조화된 JSON을 출력합니다. 성공 여부는 특정 시나리오 관련 필드(예: 코드 필드 내 유출된 비밀번호, 결정 필드 내 승인된 안전하지 않은 동작)를 검증하는 check_success 함수에 의해 결정됩니다. 이는 자유 형식의 산문에서 발생하는 모호함을 방지하고, 공격자가 실제 위협을 달성하지 못한 채 프록시 메트릭(예: 키워드 반복)만을 만족시키는 "보상 해킹(reward hacking)"을 방지합니다.

벤치마크 구축

• 시나리오 세트: 벤치마크는 5가지 위협 클래스(간접 주입(11), PII/데이터 유출(6), 불안전한 출력(2), 공급망(1), 프롬프트 추출(1))를 다루는 21개의 홀드아웃(held-out) 평가 시나리오로 구성됩니다.
• 캘리브레이션: 시나리오가 너무 쉽거나 불가능하게 어렵지 않고 멀티 턴 상호작용을 요구하도록 하기 위해, 강력한 모델(GPT-5.2)과 약한 모델(GPT-4o-mini)을 사용하여 개념 생성, 플러그인 구현, 정량적 필터링의 3단계 캘리브레이션 과정을 거쳤습니다.
• 평가 매트릭스: 세 가지 최상위 공격 모델(Claude Opus 4.6, GPT-5.4, Gemini 2.5 Pro)과 동일한 세 가지 방어 모델을 사용한 통제된 3×3 프런티어 평가가 수행되었으며, 총 945번의 전투(N=5 per cell)가 진행되었습니다.
• 오픈 경연: gpt-oss-20b 백본을 기반으로 한 오픈 경연에는 21개의 공격 팀과 20개의 방어 팀이 참여하여, 프로토콜이 베이스라인 샘플링 노이즈를 넘어 전략 발견을 포착하는지 검증하기 위해 18,422번의 홀드아웃 시나리오 전투를 생성했습니다.

주요 결과

1. 적응형 공격은 상당한 취약점을 드러냄

평가를 첫 번째 공격 턴으로 제한할 경우 공격 성공률(ASR)은 **0–1%**에 불고합니다. 그러나 15라운드의 적응형 공격을 허용하면 ASR은 **5.4–14.0%**로 증가합니다. 이는 멀티 턴 적응이 단순히 독립적인 샘플링의 반복이 아니라, 성공의 주요 동력임을 입증합니다. 절제 연구(Ablation studies)에 따르면, 방어자의 이전 응답에 대한 공격자의 접근 권한을 제거하면 고위험 시나리오에서 ASR이 0%로 떨어집니다.

2. 모델별 약점 vs. 종합 순위

Claude Opus 4.6과 GPT-5.4는 종합 ASR(각각 5.4%)에서 동률을 기록했으나, 그 실패 양상은 확연히 달랐습니다:

• Opus는 memleak 시나리오에서 독특하게 취약했습니다(타 모델 7% 대비 60% ASR). 이는 "regex-parser-debugging"이라는 구실이 자격 증명 공유를 거부하는 로직을 우회했을 때 발생했습니다.
• GPT-5.4와 Gemini는 memleak에서는 견고했으나, Gemini는 paperaccept 시나리오에서 독특하게 취약했습니다(타 모델 0% 대비 53% ASR). 이는 점수 규칙을 무력화하는 조작된 "공식 지역 의장 노트(Official Area Chair Note)"에 굴복했기 때문입니다.
• Gemini는 이러한 특정 시나리오의 약점으로 인해 가장 높은 종합 ASR(14.0%)을 기록했습니다.

3. 멀티 공격자 평가를 통한 고유 공격 발견

세 가지 프런티어 공격 모델을 결래한 결과, 단일 공격 모델만 사용했을 때보다 1.4~2.2배 더 많은 고유한 성공적 공격을 발견했습니다. 생성된 공격들은 기존 벤치마크의 공격들과 낮은 코사인 유사도(0.02–0.14)를 보였으며, 이는 이들이 알려진 공격의 단순 패러프레이즈가 아닌 새로운 전략임을 나타냅니다. 어떤 단일 공격 궤적도 세 명의 프런티어 방어자 모두를 성공시키지 못했다는 점은 취약점의 이질성을 강조합니다.

4. 방어자 순위의 낮은 일치도

시나리오 전반에 걸친 방어자 순위의 일치도를 측정하기 위해 켄달의 W(Kendall's W)를 사용한 결과, 본 벤치마크는 W = 0.19 (95% CI [0.02, 0.58])를 기록했습니다. 이는 b3(W = 0.712)와 같은 벤치마크보다 현저히 낮은 수치로, 프런티어 방어자들의 약점이 단일한 "안전성" 축에 정렬되어 있지 않음을 나타냅니다. 즉, 한 시나리오에서 강건한 모델이 다른 시나리오에서는 취약할 수 있으며, 종합 ASR은 이러한 중요한 시나리오별 격차를 가릴 수 있습니다.

의의 및 주장

본 논문은 정적인 공격 풀이 방어자가 측정되기 전에 공격자를 동결시켜 버리기 때문에 에이전트 보안을 평가하기에 불충분하다고 주장합니다. 적응형 평가를 반복 가능한 프로토콜로 실행함으로써, 본 벤치마크는 다음과 같은 성과를 거두었습니다:

• 숨겨 값한 취약점 표면화: 종합적인 안전 점수가 특정 멀티 턴 적응 조건 하에서만 나타나는 심각한 모델별 약점을 어떻게 은폐할 수 있는지 보여줍니다.
• 멀티 공격자 풀의 필요성 검증: 단일 공격 모델에 의존하는 것은 공격 표면을 과소평가한다는 것을 입증하며, 서로 다른 모델이 구별되고 중첩되지 않는 실패 모드를 발견함을 보여줍니다.
• 반복 가능한 프레임워크 제공: 오케스트레이터, 21개 시나리오, 베이스라인 하네스, 멀티 공격자 CLI를 포함한 코드를 공개하여, 커뮤니티가 정적인 리스트가 아닌 실시간 적응형 공격을 통해 새로운 방어자를 평가할 수 있도록 합니다.
• 단일 차원 안전성의 한계 강조: 낮은 일치도(Kendall's W)는 안전성이 단일 스칼라 속성이 아님을 시사합니다. 즉, 모든 위협 벡터에 대해 "가장 안전한" 모델은 존재하지 않을 수 있으며, 시나리오별 방어가 필수적입니다.

저자들은 본 연구의 결과가 정교하게 캘리브레이션된 특정 시나리오 세트에 기반하고 있으며, 본 벤치마크가 모델의 확정적인 리더보드 순위를 제공하는 것이 아니라 적응형 평가가 측정 대상을 어떻게 변화시키는지를 보여주는 데 목적이 있음을 명시합니다. 저자들은 상태 저장(stateful) 방어자, 더 넓은 공격자 풀, 추가적인 위협 모델로의 확장을 지원하기 위해 데이터와 코드를 공개합니다.