기술적 요약: 자기대결 강화학습에서의 적대적 행동 제거

문제 정의

본 논문은 다중 에이전트 강화학습 (MARL) 에서 새로운 중대한 적대적 공격 표면인 **적대적 행동 마스킹 (adversarial action masking)**을 조사합니다. 이전 연구들이 관측치 교란 (입력에 노이즈 추가) 이나 보상 조작에 초점을 맞췄다면, 본 연구는 에이전트가 결정을 내리기 전에 적대자가 피해 에이전트의 행동 집합에서 합법적인 행동을 선택적으로 제거하는 공격을 형식화합니다.

이 문제는 이중 최적화 문제로 설정됩니다:

• 내부 루프: 피해 에이전트 (Player 0) 는 마스크로 정의된 제한된 행동 공간 하에서 자기대결을 통해 학습합니다.
• 외부 루프: 적대자 (Player 1) 는 피해 에이전트의 기대값을 최소화하기 위해 특정 정보 상태에서 제거할 행동을 선택하는 정책을 학습합니다.

적대자는 행동 제거가 가능한 정보 상태의 수를 제한하는 예산 제약 $k$ 하에서 작동하지만, 각 상태마다 최소 하나의 합법적인 행동을 유지해야 합니다. 핵심 가설은 결정 옵션을 제거하는 것 (구조적 축소) 이 경계된 교란과 질적으로 다르며 더 치명적이라는 점입니다. 이는 결정 지점을 단일 행동으로 축소시켜 에이전트의 선택 능력을 제거할 수 있기 때문입니다.

방법론

형식적 프레임워크

저자들은 환경을 2 인 제로섬 확장형 게임으로 모델링합니다. 적대자는 각 피해자 정보 집합 $h$에서 유지할 행동의 부분집합을 선택하는 매핑 $M: I_0 \to 2^A$로 정의됩니다. 적대자의 목표는 피해자의 가치 $V_0(\pi^*_M)$를 최소화하는 것입니다.

기작 분석:
본 논문은 공격 기작을 설명하기 위해 두 가지 지표를 도입합니다:

1. 도달 가중 조건부 행동 용량 (Reach-Weighted Contingent Action Capacity, $CAC_w$): 도달된 정보 상태에서의 잔여 다중 행동 결정 용량을 해당 상태의 도달 확률 $\rho(h)$로 가중하여 측정합니다.
2. 가치 가중 정제 (Value-Weighted Refinement, $CAC_v$): 피해자의 최적 행동과 강제된 행동 간의 가치 격차 $\delta(h)$로 용량을 가중하는 더 정밀한 지표입니다: $CAC_v = \sum \rho(h) \cdot \delta(h) \cdot \mathbb{1}[|M(h)| > 1]$.

이론적 명제에 따르면, 탐욕적 적대자는 높은 $\rho(h) \cdot \delta(h)$를 가진 상태를 표적하여 $CAC_w$와 $CAC_v$를 효과적으로 하향시킵니다. 특정 조건 (예: $\epsilon$-greedy Q-학습) 하에서 저자들은 $CAC_w$가 0 으로 수렴하면 피해자의 정책이 유일한 강제된 행동으로 수렴하여 안정적이지만 최적이지 않은 고정점에 도달함을 증명합니다.

실험 설정

본 연구는 다음과 같이 공격을 평가합니다:

• 알고리즘: 표 Q-학습, 표 PPO, 표 NFSP (Neural Fictitious Self-Play), 신경 NFSP, DQN 을 포함한 5 가지 서로 다른 학습 알고리즘.
• 도메인:
  • 포커: 쿤 포커 (6 개 상태), 레듀크 포커 (50 개 상태), 그리고 확장된 변형인 Leduc-5(389), Leduc-10(1,496), Leduc-20(5,531 개 상태).
  • 비포커: 경쟁 그리드월드 (149 개 상태) 및 자원 수집 (18,604 개 상태).
• 베이스라인: 무작위 행동 제거, 고정 행동 제거, 그리고 학습된 교란 (RARL 스타일) 공격과의 비교.

학습 프로토콜은 20~25 번의 외부 반복 동안 피해자 학습 500 에피소드와 적대자를 위한 1 단계의 기울기 계산 (REINFORCE 사용) 을 번갈아 수행합니다.

주요 결과

1. 적대적 마스킹의 우위

학습된 적대적 마스킹은 무작위 마스킹이나 학습된 교란보다 훨씬 더 큰 피해를 입힙니다.

• 레듀크 포커에서, 학습된 제거는 비교 가능한 지원 수준에서 무작위 마스킹보다 최대 4.8 배 더 치명적입니다.
• 동일한 학습 예산을 가진 학습된 교란 (RARL 스타일) 과 비교할 때, 적대적 행동 제거는 쿤 포커에서 4 배 더 치명적입니다.
• 적대자가 공개 정보만으로 제한되더라도 공격은 지속되지만, 개인 정보 접근이 더 강력한 결과를 낳습니다.

2. 복잡성에 따른 확장성

학습된 적대자의 우위는 게임 복잡성이 증가함에 따라 커집니다.

• 레듀크 계열에서 피해 비율 (적대적/무작위) 은 (~50 개 상태에서) 2.2 배에서 (5,531 개 상태에서) 4.8 배로 확장됩니다.
• 이는 더 크고 복잡한 게임이 적대자가 이용할 수 있는 더 많은 "전략적 이질성"을 제공함을 시사합니다.

3. 알고리즘 및 도메인 불변성

취약성은 단일 알고리즘이나 도메인에 국한되지 않습니다:

• 알고리즘: 테스트된 모든 에이전트 (QL, PPO, NFSP, DQN) 가 적대적 마스킹 하에서 붕괴됩니다. 심지어 강력한 게임 해결 방법인 신경 NFSP 도 Leduc-5 에서 -0.13 에서 -1.89 로 크게 저하됩니다.
• 도메인: 이 현상은 비포커 환경에서도 유효합니다. 경쟁 그리드월드에서 적대적 마스킹은 무작위 마스킹보다 1.9 배 더 큰 피해를 입혔으며, 자원 수집에서는 1.4 배의 격차가 있었습니다.

4. 회복 부재

피해자는 마스크가 활성화된 상태에서 학습이 연장되더라도 회복하지 못합니다.

• 고정된 적대적 마스크 하에서 학습이 계속될 때, 피해자의 보상은 마스크가 없는 베이스라인에 비해 현저히 낮은 수준에서 안정화됩니다.
• 최종 학습된 마스크에서 처음부터 재학습하는 것 또한 큰 손실을 초래하여, 구조적 피해는 적응을 통해 쉽게 완화되지 않음을 나타냅니다.

5. 기작적 상관관계

$CAC_w$와 $CAC_v$의 감소와 피해자의 성능 저하 간에는 강한 경험적 상관관계가 있습니다.

• $CAC_w$는 피해자 보상과 $r = 0.80$의 상관관계를 보입니다.
• $CAC_v$는 $r = 0.81$의 상관관계를 보이며, 높은 가치 격차를 가진 상태를 표적하는 것이 공격 성공의 주요 동인임을 시사합니다.

중요성과 주장

본 논문은 행동 가용성이 관측치 또는 보상 견고성과 구별되는 자기대결 RL 의 고유한 견고성 표면을 구성한다고 주장합니다.

• 구조적 취약성: 연구 결과는 자기대결 에이전트가 행동 공간의 표적된 구조적 변화에 취약함을 보여줍니다. 노이즈를 추가하는 교란과 달리, 제거는 결정 옵션을 소거하여 에이전트의 전략적 유연성을 붕괴시킵니다.
• 현재 방어책의 한계: 기존 견고한 MARL 방어책 (예: 교란에 대한 학습 또는 집단 다양성 사용) 은 결합 행동 공간이 온전하다고 가정하기 때문에 불충분합니다. 본 논문은 전략적 차원을 제거한 경우 평균화 전략이나 집단 다양성 유지는 이를 복원할 수 없다고 지적합니다.
• 배포에 대한 함의: 적대자가 특정 기능 (예: API 엔드포인트, 작동기) 을 비활성화할 수 있는 실제 시스템에서 에이전트는 치명적인 실패를 겪을 수 있습니다. 저자들은 효과적인 방어책은 임의의 행동 부재에 대한 균일한 견고성을 최적화하는 대신, 높은 도달률과 높은 가치를 가진 결정 지점 ($CAC_v$) 에서 전략적 유연성을 보존하는 데 초점을 맞춰야 한다고 제안합니다.

저자들은 이론적 주장에 대해 겸손한 태도를 유지하며, 피해 상한은 국소적이고 가산적이며, 확장 추세가 4 가지 게임 크기에 기반한 경험적 것이지 입증된 확장 법칙이 아님을 지적합니다. 또한 완전한 포커 규모 ($10^5+$ 상태) 와 연속 행동 도메인에서의 검증은 향후 과제로 남아 있음을 인정합니다.