기술 요약: MASTRIKE – 다중 에이전트 시스템을 위한 샤플리 유도형 공모적 레드팀 테스트(Shapley-Guided Collusive Red-Teaming)

문제 정의

계층적 다중 에이전트 시스템(Hierarchical Multi-Agent Systems, MAS)은 금융, 소프트웨어 엔지니어링, 고객 관계 관리(CRM)와 같은 고위험 영역에 점점 더 많이 배치되고 있습니다. 이러한 시스템은 역할이 특화된 하위 에이전트들에게 안전 및 보안 점검을 분산시킵니다. 그러나 이러한 모듈화는 결정적이고 아직 충분히 탐구되지 않은 취약점을 초래합니다: 바로 **공모 공격(collusive attacks)**입니다. 이러한 시나리오에서 탈취된 일부 에이전트들은 양호한 에이전트들의 경고 신호를 억제하기 위해 서로 협력하여, 시스템 수준의 방어 기제를 우회하는 집단적 궤적을 생성할 수 있습니다.

기존의 MAS 레드팀 테스트 접근 방식은 다음과 같은 두 가지 근본적인 한계를 가집니다:

1. 원칙적인 귀속(Attribution)의 부재: 역할 설명이나 토폴로지에 기반하여 타겟 에이전트를 휴리스틱하게 선택하며, 어떤 에이전트가 시스템 안전에 가장 큰 책임을 지는지 또는 어떤 에이전트 그룹이 취약한 연합을 형성하는지를 정량적으로 평가하지 못합니다.
2. 협업 모델링의 미흡: 고립된 메시지 스트림을 교란하거나 일반적인 템플릿 기반 공격을 적용하는 데 그치며, 성공적인 다중 에이전트 공모에 필요한 상호 의존성과 상호 보완적 행동을 포착하지 못합니다.

방법론: MASTRIKE

저자들은 계층적 MAS를 위한 폐쇄 루프형 공모적 레드팀 테스트 프레임워크인 MASTRIKE를 제안합니다. 이 프레임워크는 두 가지 주요 단계로 작동합니다:

1. 에이전트 수준의 샤플리 값(Shapley Value) 분석

취약한 연합을 식별하기 위해, MASTRIKE는 시스템의 취약성을 협동 게임(cooperative game)으로 취급합니다.

• 연합 가치 함수(Coalition Value Function): 특정 작업 $q$에 대해, 탈취된 에이전트들의 연합 $C$에 대한 공격 성공률(ASR)을 가치 함수 $v_q(C)$로 정의합니다.
• 샤플리 값 ($\phi_i$): 프레임워크는 각 에이전트에 대한 샤플리 값을 계산하여 시스템의 취약성에 대한 개별 에이전트의 한계 기여도(즉, 에이전트가 연합에 추가되었을 때 안전성을 얼마나 저하시키는지)를 정량화합니다.
• 상호작용 지수 ($I_{ij}$): 고차 효과를 포착하기 위해 쌍별 샤플리 상호작용 지수를 계산합니다. 이는 두 에이전트를 함께 탈취했을 때의 시너지 효과가 각각의 개별 효과의 합과 어떻게 다른지를 측정합니다.
• 효율적인 추정: 모든 $2^{|A|}$개의 연합을 전수 조사하는 것은 계산적으로 불가능하므로, MASTRIKE는 이러한 값들을 효율적으로 추정하기 위해 층화 샘플링(stratified sampling) 접근 방식을 사용합니다.

2. 샤플리 유도형 레드팀 최적화

귀속 신호를 바탕으로, 프레임워크는 자율적인 레드팀 루프를 실행합니다:

• 연합 선택: 타겟 작업에 대해, 시스템은 코사인 유사도 가중치를 사용하여 유사하게 샘플링된 작업들로부터 샤플리 값을 집계하여 작업별 중요도를 추정합니다. 그 후, 높은 개별 샤플리 값과 강력한 양의 상호작용 지수를 결합한 시너지 인식 목적 함수를 최대화하는 크기 $k$의 연합을 선택합니다.
• 협력적 주입 생성: 레드팀 에이전트는 선택된 연합을 위해 동시에 적대적 프롬프트를 생성합니다. 단일 에이전트 공격과 달리, 이 프로ンプ트들은 **역할 인식적(role-aware)**이며 **상호 일관성(mutually consistent)**을 갖추도록 설계되어, 교차 에이전트 점검을 통과하고 경고를 억제하도록 합니다.
• 폐쇄 루프 정교화: 공격은 MAS 상에서 실행됩니다. 판정 함수(judge function)가 결과를 평가합니다. 공격이 실패할 경우, 구조화된 실패 진단이 차단 조건을 식별하며, 레드팀 에이전트는 성공하거나 예산이 소진될 때까지 주입 내용을 반복적으로 정교화합니다.

주요 기여

1. MAS를 위한 최초의 에이전트 수준 샤플리 분석: 본 논문은 샤플리 값과 상호작용 지수를 통해 개별 중요성과 상호작용 효과를 모두 포착함으로써, 시스템 안전에 대한 에이전트의 기여도를 정량화하는 원칙적인 프레임워크를 도입합니다.
2. 폐쇄 루프형 레드팀 프레임워크: MASTRIKE는 샤플리 기반의 에이전트 선택과 협력적이고 역할 인식적인 주입 생성 및 구조화된 실패 진단을 통합하여, 공모적 공격의 적응형 정교화를 가능하게 합니다.
3. MABENCH 벤치마크: 저자들은 금융, 소프트웨어 엔지니어링, CRM을 아우르는 종합적인 레드팀 벤치마크인 MABENCH를 구축했습니다. 이는 현실적인 계층적 토폴로지와 작업 세트(양호 및 악의적 작업 모두 포함)를 갖춘 제어 가능하고 샌드박스화된 MAS 환경을 특징으로 하며, 성공을 위해 에이전트 간의 공모를 필요로 합니다.
4. 실증적 검증: 광범-한 실험을 통해 MASTRIKE가 다양한 프런티어 모델(GPT-5.5, Gemini 3.1 Pro, Claude Opus 4.7)에 대해 기존의 휴리스틱 베이스라인(TAMAS, GCA, AutoTransform, AiTM)을 크게 상회함을 입증했습니다.

실험 결과

• 공격 성공률 (ASR): MASTRIKE는 Claude Opus 4.7에 대해 평균 61.8%, GPT-5.5에 대해 55.6%, Gemini 3.1 Pro에 대해 **51.0%**의 ASR을 달성했습니다. 반면, 베이스라인 방법들은 종종 거의 0에 가까운 ASR(예: Claude Opus 4.7에 대한 AiTM의 0.0%)을 보였습니다.
• 시너지 및 효율성: 프레임워크는 샤플리 값과 상호작용 지수에 기반하여 에이전트를 선택하는 것이 연합의 크기를 임의로 늘리는 것보다 더 효과적임을 보여주었습니다. 베이스라인은 상충하는 신호로 인해 연합이 커질수록 ASR이 감소하는 경향을 보였으나, MASTRIKE의 협력적 생성은 효과적으로 확장되었습니다.
• 기업용 가드레일 평가: (특히 Salesforce에서 개발된) 기업 수준의 안전 가드레일을 대상으로 테스트했을 때, MASTRIKE 공격은 종종 탐지되지 않았습니다. 연구 결과, 궤적 수준의 탐지에 의존하는 가드레일은 적대적 행동이 여러 에이전트에 걸쳐 분산되어 있을 때 어려움을 겪는데, 이는 협력된 신호가 구조적으로 양호한 궤적과 매우 유사하게 보이기 때문입니다.
• 샤플리 분포 통찰: 분석 결과, 에이전트의 중요도는 희소하며 작업 의존적이라는 것이 밝혀졌습니다. 높은 개별 중요도가 반드시 강력한 연합 시너지를 보장하는 것은 아니며, 일부 고영향 에이전트는 쌍으로 결합될 때 부정적인 상호작용을 보이기도 하여 상호작용 모델링의 필요성을 강조했습니다.

의의 및 주장

본 논문은 단일 에이전트의 강건성을 넘어 **공모 역학(collusive dynamics)**을 분석함으로써 MAS 안전성의 핵심적인 격차를 해결한다고 주장합니다. 저자들의 논지는 다음과 같습니다:

• 조율(Coordination)이 핵심이다: 계층적 MAS의 안전은 개별 에이전트를 보호하는 것만으로는 보장될 수 없습니다. 시스템은 분산된 점검을 우회하는 조율된 조작에 취약합니다.
• 정량적 귀속이 필수적이다: 공격 타겟을 선정할 때 휴리스틱한 방식은 불충분합니다. 샤플리 값은 휴리스틱 방법이 놓치는 "결정적" 에이전트와 "시너지" 쌍을 식별하는 원칙적인 방법을 제공합니다.
• 현재의 방어 체계는 불충분하다: 가드레일에 대한 평가는 단일 에이전트 공격에는 효과적인 현재의 안전 신호가, 적대적 행동이 구성적(compositional)이고 분산되어 있는 다중 에이전트 환경에서는 잘 작동하지 않음을 시사합니다.

이 연구는 복잡하고 실제적인 다중 에이전트 배포 환경에서 공모 위험을 이해하고 완화하기 위한 토대를 마련하며, 미래의 안전 메커니즘은 반드시 에이전트 간 의존성과 조율된 공격 벡터를 고려해야 함을 강조합니다.