Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation

"Adversarial Attack on Black-Box Multi-Agent by Adaptive Perturbation (AdapAM)" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 엄격한 블랙박스 환경에서 작동하는 다중 에이전트 시스템 (MAS) 의 중요한 보안 및 신뢰성 문제를 다룹니다.

• 배경: MAS 는 무인 항공기 (UAV), 산업용 로봇, 자율 주행 등에서 increasingly 사용되고 있습니다. 그러나 입력이 조작되어 의사 결정을 오도하는 적대적 공격에 취약합니다.
• 기존 연구의 한계:
  • 화이트박스 가정: 많은 기존 방법들은 내부 모델 파라미터나 네트워크 출력에 대한 접근을 요구하는데, 이는 실제 배포 환경에서 비현실적입니다.
  • 높은 제어 권한: 일부 방법은 공격자가 에이전트의 행동을 직접 제어할 수 있다고 가정하지만, 이는 드물게 가능합니다.
  • 은폐성/효과성 트레이드오프 부재: 현재 블랙박스 방법들은 종종 모든 에이전트를 조작하여 은폐성이 낮거나, 환경 상태와 무관하게 고정된 에이전트를 표적하여 효과성이 낮습니다. 가장 치명적인 피해자와 가장 파괴적인 행동을 동적으로 선택하는 전략이 부족합니다.
• 목표: 엄격한 블랙박스 환경 (입력/출력 관찰만 가능) 에서 작동하고, 에이전트 행동이 아닌 관찰값만 조작하며, 단일 에이전트를 적응적으로 선택하여 공격함으로써 높은 효과성과 높은 은폐성을 동시에 달성하는 공격 프레임워크를 개발하는 것입니다.

2. 방법론: AdapAM 프레임워크

저자들은 AdapAM(다중 에이전트 시스템에 대한 적응형 적대적 공격) 을 제안하며, 이는 두 가지 핵심 모듈로 구성됩니다.

A. 적응형 선택 정책 ($\pi_\phi$)

이 모듈은 각 시간 단계에서 어떤 에이전트를 공격할지와 어떤 악성 행동을 유도할지를 결정합니다.

• 목적: 가장 치명적인 에이전트 (공격자) 와 가장 큰 영향을 미치는 행동을 선택하여 MAS 의 전역 보상을 최대화되도록 저하시키는 것입니다.
• 아키텍처:
  • **Soft Actor-Critic (SAC)**을 사용하여 강화 학습 (RL) 프로세스로 모델링됩니다.
  • 계층적 설계: 탐색 공간을 줄이기 위해 정책은 두 가지 분류기를 사용합니다.
    1. $C_{\phi_1}$: 전역 상태 $s_t$를 기반으로 공격 대상 에이전트 인덱스 ($i_t$) 를 선택합니다.
    2. $C_{\phi_2}$: $s_t$와 선택된 에이전트 $i_t$를 기반으로 악성 행동 ($\tilde{a}_t$) 을 선택합니다.
  • 보상 신호: 선택 정책의 보상은 피해자 MAS 의 전역 보상의 음수 ($R^\alpha_t = -R(s_t, a_t, s_{t+1})$) 입니다.
• 작동: 각 단계에서 정책은 에이전트와 목표 행동을 샘플링합니다. 그런 다음 시스템은 선택된 에이전트의 관찰값을 조작하여 해당 에이전트가 이 특정 행동을 수행하도록 시도합니다.

B. 악성 행동을 유도하기 위한 프록시 기반 조작

피해자 MAS 가 블랙박스이므로, 공격자는 조작을 생성하기 위해 직접 기울기를 계산할 수 없습니다.

• 프록시 에이전트: 공격자는 **Multi-Agent Generative Adversarial Imitation Learning (MAGAIL)**을 사용하여 일련의 프록시 에이전트($\pi_{\psi}$) 를 훈련합니다. 이러한 프록시들은 관찰에서 행동으로의 매핑을 모방함으로써 피해자 에이전트의 정책 ($\pi_{\psi} \approx \pi_{victim}$) 을 근사합니다.
• 조작 생성:
  • 프록시 에이전트가 훈련되면, 공격자는 프록시 모델에 대한 "화이트박스" 접근 권한을 얻습니다.
  • 프록시 모델에 C&W (Carlini & Wagner) 공격 기법을 사용하여, 프록시 (및 전이성을 통해 피해자) 가 원하는 악성 행동 $\tilde{a}_t$를 출력하도록 강제하는 조작된 관찰값 $\tilde{o}_{t,i}$를 생성합니다.
  • 정책이 목표 행동을 출력한다는 제약을 만족하면서 은폐성을 보장하기 위해 조작 (유클리드 거리) 을 최소화합니다.
• 주입: 생성된 조작된 관찰값은 실제 블랙박스 환경에서 선택된 피해자 에이전트의 입력 스트림에 주입됩니다.

3. 주요 기여

1. 새로운 블랙박스 프레임워크: 행동 제어가 필요 없는 엄격한 블랙박스 MAS 환경에서 피해자 에이전트와 예상되는 악성 행동을 모두 적응적으로 선택하는 최초의 프레임워크인 AdapAM 을 제안합니다.
2. 프록시 기반 조작: 생성적 적대적 모방 학습 (MAGAIL) 을 사용하여 프록시 에이전트를 훈련하는 방법을 도입합니다. 이는 블랙박스 제약과 효과적인 조작 생성을 위한 화이트박스 기울기 정보 필요성 사이의 간극을 메워줍니다.
3. 균형 잡힌 성능: 모든 에이전트를 공격하는 대신 단일 치명적 에이전트를 공격함으로써 효과성(시스템 성능 저하) 과 은폐성(최소 조작 크기 및 낮은 탐지율) 사이의 우수한 트레이드오프를 달성합니다.

4. 실험 결과

저자들은 SMAC(StarCraft), GF(Google Research Football), MPE(Multi-Agent Particle) 의 세 가지 벤치마크에 걸쳐 8 개의 다중 에이전트 환경에서 AdapAM 을 평가했습니다. MASafe, AMCA, AMI, Lin 의 네 가지 베이스라인과 비교했습니다.

• 공격 성능:

  • 효과성: AdapAM 은 "Normal" 및 "Robust"(ROMANCE 훈련) 대상 MAS 의 보상과 승률을 크게 감소시켰습니다.
  • 비교: 에이전트 수가 적은 환경 (<10 명) 에서 AdapAM 은 승률을 **0%**로 낮추어 모든 베이스라인을 능가했습니다. 대규모 환경 (예: 27m vs 30m) 에서도 매우 경쟁력 있게 유지되었으며, 종종 모든 에이전트를 조작하는 방법들을 능가했습니다.
  • 강건성: AdapAM 은 공격에 강건하도록 특별히 훈련된 MAS 에 대해서도 우수한 성능을 유지했습니다.
  • 조작률: AdapAM 은 다양한 조작률 (15% 에서 100%) 에서 일관되게 베이스라인을 능가했습니다.

• 은폐성 평가:

  • 조작 크기: $L_\infty$ 노름으로 측정되었습니다. AdapAM 은 모든 베이스라인에 비해 가장 작은 조작을 추가했습니다 (예: SMAC-8m 에서 0.12 대 0.33), 공격을 감지하기 어렵게 만들었습니다.
  • 탐지 저항성: 기존 공격 탐지 메커니즘의 F1 점수로 측정되었습니다. AdapAM 은 가장 낮은 F1 점수(예: 0.57 대 0.82) 를 기록하여 탐지가 가장 어렵다는 것을 나타냈습니다.
  • 이유: 모든 에이전트를 조작하여 쉽게 탐지되는 MASafe 와 달리, AdapAM 의 선택적 단일 에이전트 접근 방식과 최적화된 조작 생성은 높은 은폐성을 보장합니다.

5. 의의

• 보안 평가: AdapAM 은 화이트박스 또는 비적응형 방법이 놓칠 수 있는 취약점을 드러내며, 현실적인 블랙박스 시나리오에서 MAS 의 진정한 강건성을 평가하기 위한 엄격한 도구를 제공합니다.
• 실용성: 엄격한 블랙박스 제약 (관찰 조작만) 하에서 작동하고 최소한의 공격 예산 (단일 에이전트) 을 요구함으로써, 자율 주행 및 드론 스웜과 같은 중요 인프라에 대한 현실적인 위협 모델을 반영합니다.
• 방어 시사점: AdapAM 의 성공은 적응형 표적 공격에 대한 현재 강건한 훈련 방법의 불충분함을 강조하며, 에이전트 선택과 관찰 무결성을 구체적으로 다루는 방어 메커니즘의 필요성을 시사합니다.

결론적으로 AdapAM 은 적응형 표적화와 프록시 기반 화이트박스 생성의 결합이 다중 에이전트 시스템을 무력화하는 매우 효과적이고 은밀한 전략임을 입증하며, 공격 성공률과 은폐성 모두에서 최첨단 방법들을 능가합니다.