RoAd-RL: A Unified Library and Benchmark for Robust Adversarial Reinforcement Learning

기술 요약: RoAd-RL

문제 정의
심층 강화 학습(Deep Reinforcement Learning, DRL)은 로보틱스와 자율 시스템 분야에서 상당한 성공을 거두었으나, 안전하지 않은 동작을 유발하고 성능을 저하시킬 수 있는 적대적 섭동(adversarial perturbations)에 여전히 취약하다. FGSM, PGD, JSMA와 같은 수많은 적대적 공격(adversarial attacks)과 방어 기제(예: 적대적 훈련, 시간적 평활화)가 제안되었음에도 불구하고, 적대적 강화 학습 분야는 파편화된 상태에 머물러 있다. 현재의 연구는 맞춤형의 재현 불가능한 구현, 일관되지 않은 평가 프로토콜, 그리고 표준화된 벤치마크의 부재로 인해 어려움을 겪고 있다. RobustBench나 Foolbox와 같은 통합 프레워크의 혜택을 받는 지도 학습 커뮤니티와 달리, 적대적 강화 학습은 그에 상응하는 확장성과 재현성을 제공하는 널리 채택된 인프라가 부족한 실정이다.

방법론 및 프레임워크 설계
이러한 한계를 해결하기 위해 저자들은 강건한 적대적 강화 학습(Robust Adversarial Reinforcement Learning)을 위해 설계된 오픈 소스 통합 벤치마킹 프레임워크인 RoAd-RL을 제시한다. 이 프레임워크는 세 가지 핵심 설계 원칙을 기반으로 구축되었다:

1. 구성 가능성(Composability): 공격, 방어, 정책 및 지표가 공통 평가 파이프라인 내에서 독립적인 구성 요소로서 기능한다.
2. 확장성(Extensibility): 모든 주요 구성 요소는 추상 기본 클래스(abstract base classes)를 상속받으므로, 연구자들은 프레임워크의 핵심을 수정하지 않고도 서브클래싱을 통해 새로운 방법을 통합할 수 있다.
3. 재현성(Reproducibility): 결정론적 시드 관리, 구조화된 로깅, 표준화된 절차를 통해 다양한 환경에서 일관된 결과를 보장한다.

프레임워크 아키텍처는 네 가지 주요 추상화 계층으로 구성된다:

• 정책(Policy): 학습 알고리즘과 평가를 분리하는 RL 에이전트를 위한 통합 인터페이스(현재 Stable-Baselines3의 DQN, PPO, SAC 구현 지원)이다. 여기에는 그래디언트 기반 공격을 위한 DifferentiablePolicy 인터페이스가 포함된다.
• 공격(Attack): 관측 공간(observation space)에서 작동하는 적대적 섭동 생성(예: FGSM, PGD, JSMA)을 캡슐화한다.
• 방어(Defense): 정책 추론 전 관측치를 처리하는 추론 시점의 메커니즘(예: 시간적 평활화, 특성 압착, 이상치 클리핑)을 나타낸다.
• 지표(Metric): 리턴 지표(평균/중앙값 리턴), 리스크 지표(CVaR), 안전 지표(종료율), 그리고 강건성 지표(곡선 아래 면적, AUC–$\epsilon$)를 포함하여 강건성 보고를 표준화한다.

평가 워크플로우는 세 단계로 진행된다: (1) 선택된 환경 내에서의 정책 훈련, (2) 훈련된 정책과 특정 공격 및 방어 모듈의 결합, (3) 여러 섭동 예산($\epsilon$), 무작위 시드, 에피소드에 걸친 강건성 평가. 이 프레임워크는 Stable-Baselines3 및 Gymnasium과 원활하게 통합되며, Python API와 명령줄 인터페이스(CLI) 실행을 모두 제공한다.

실험적 평가
저자들은 두 가지 뚜렷한 환경인 LunarLander-v2(컴팩트하고 민감한 역학)와 Highway-v0(구조화되고 운동학적 특징을 가진 환경)에서 DQN, PPO, SAC 에이전트를 평가함으로써 RoAd-RL을 검증하였다. 벤치마크는 다음을 조합한 192개의 구성으로 이루어진 전체 팩토리얼 그리드(full factorial grid)를 다루었다:

• 알고리즘: DQN, PPO, SAC.
• 공격: FGSM, PGD, JSMA, 그리고 클린 베이스라인(clean baseline).
• 방어: 방어 없음, 시간적 평활화(temporal smoothing), 중앙값 평활화(median smoothing), 가우시안 노이즈, 특성 압착(feature squeezing), 이상치 클리핑(outlier clipping, MAD), 그리고 적대적 탐지(adversarial detection).
• 섭동 예산: $\epsilon \in \{0.0, 0.005, 0.01, 0.025, 0.05\}$.

성능은 정규화된 AUC–$\epsilon$(Return–$\epsilon$ 곡선 아래 면적)을 사용하여 측정되었으며, 여기서 1.0은 클린 베이스라인의 성능을 나타낸다.

주요 결과

• 환경 의존성: 강건성은 환경에 따라 크게 달라진다. LunarLander 에이전트는 섭동에 매우 취약했던 반면, Highway-v0 에이전트는 공격에 대해 대체로 강건함을 유지했다.
• 알고리즘 민감도: LunarLander에서의 SAC 에이전트는 반복적 PGD 공격에 특히 취약했으며(AUC가 0.590으로 하락), 이는 매끄러운 정책 그래디언트를 악용하는 특성 때문으로 보인다. DQN은 단일 단계 FGSM 하에서 명확한 성능 저하를 보였다.
• 방어 효과:
  • 시간적 평활화: 특히 LunarLander에서 PGD 공격을 받는 SAC에 대해 가장 강력한 성능을 일관되게 달성하였으며, 방어되지 않은 베이스라인 대비 약 27%의 성능을 회복했다.
  • 특성 압착: 저차원 제어 작업(예: FGSM 하에서 DQN의 AUC를 0.793에서 0.547로 감소시킴)에서는 종종 해로운 것으로 드러났으며, 이는 해당 기법이 고차원 이미지 관측에 더 적합함을 시사한다.
  • 방어로 인한 실패: 몇몇 방어 기제(이상치 클리핑, 적대적 탐지)는 목표로 하는 공격보다 오히려 성능을 더 저하시켰는데, 특히 연속적 행동 에이전트에서 그러했다. 어떤 경우에는 방어 기제 자체가 공격 자체보다 더 큰 성능 손실을 초래하기도 했다.
• PPO 이상 현상: LunarLander에서의 PPO는 특정 공격 하에서 AUC 값이 1.0을 초과하는 현상을 보였는데, 저자들은 이를 정책이 약한 베이스라인 근처에서 작동하여 작은 섭동이 암시적 노이즈로 작용해 최종적인 붕괴 전까지 일시적으로 리턴을 개선했기 때문이라고 설명한다.

의의 및 주장
본 논문은 RoAd-RL이 재현성과 확장성의 핵심적인 공백을 메움으로써 적대적 강화 학습을 위한 표준화된 벤치마크를 구축한다고 주장한다. 정책, 공격, 방어 및 지표 간의 상호작용을 표준화하는 통합 프레임워크를 제공함으로써, RoAd-RL은 공정한 비교와 체계적인 공격-방어 상호작용 분석을 가능하게 한다.

저자들은 방어 기제를 평가할 때 단순히 공격을 완화하는 능력뿐만 아니라, 일반적인 정책 성능에 미치는 영향 또한 반드시 고려해야 함을 강조한다. 일부 흔한 방어 기제들은 그들이 대응하고자 하는 위협보다 더 해로울 수 있기 때문이다. RoAd-RL은 커뮤니티 주도의 강건성 평가 방법론 개발을 촉진하기 위해 Python 패키지로 공개되어 있다. 향후 연구 과제로 블랙박스 공격, 적대적 훈련, 인증된 강건성(certified robustness) 및 다중 에이전트 환경에 대한 지원이 계획되어 있다.