기술 요약: 여우와 닭장: 강화 학습에 대한 공급망 백도어 공격

문제 정의

기존의 강화 학습(RL) 백도어 공격은 공격자가 피해자의 파라미터, 보상 또는 관측값에 대한 화이트박스 접근 권한을 가진다고 가정하는 비현실적인 위협 모델에 의존합니다. 이러한 가정은 피해자의 보상 함수나 관측 공간을 직접 수정하는 등의 개입을 암시하며, 이는 실제 시나리오에서는 백도어 공격 자체가 불필요하게 만드는 수준의 개입입니다. 또한, 현재의 문헌들은 현대적 강화 학습의 "공급망" 측면을 대부분 간과하고 있습니다. 실무자들은 자율 주행이나 자동 매매와 같은 민감한 응용 분야에서 수렴 속도를 높이기 위해 외부 저장소(예: Hugging Face, PyTorch Hub)로부터 사전 학습된 에이전트나 환경을 빈번하게 다운로드합니다. 본 논문은 검증되지 않은 외부 에이전트에 대한 의존이 현재 과소평가되고 있는 심각하고 실질적인 보안 위험임을 제기합니다.

방법론: 공급망 백도어(SCAB) 공격

저자들은 피해자의 정책($\pi_{vic}$)에 정당한 에이전트-환경 상호작용의 블랙박스만을 통하여 유해한 행동을 삽입하도록 설계된 공급망 백도어(Supply-Chain Backdoor, SCAB) 공격을 소개합니다. 공격자는 피해자의 훈련 과정, 보상 신호 또는 관측 데이터에 접근할 필요가 없습니다. 대신, 이 공격은 제3자 정책을 사용하여 훈련하는 일반적인 관행을 악용합니다.

위협 모델

이 공격은 공격자가 다중 에이전트 마르코프 결정 과정(MMDP) 내에서 피해자와 상호작용하는 외부에서 소싱된 사전 학습된 정책($\pi_{att}$)을 제어하는 제한적인 위협 모델 하에서 작동합니다. 공격자는 다음과 같은 권한을 가집니다:

• 읽기 전용 접근: 자신의 상태 관측값($s_{att}$)에 대한 접근.
• 액션 기반 영향력: 자신의 행동($a_{att}$)을 통한 환경에 대한 영향력.
• 접근 불가: 피해자의 내부 파라미터, 보상($r_{vic}$) 또는 관측값($s_{vic}$)에 대한 접근 불가.

공격 메커니즘

SCAB 공격은 목표 달성을 위해 분리된 공격자 정책과 탐지기를 활용합니다:

1. 공격자 구성 요소:

   • $\pi_{att}^{std}$: 게임에서 승리하도록 훈련된 표준 정책 (예: 토너먼트 기반 훈련).
   • $\pi_{att}^{rwd}$: 특정 백도어 행동을 수행하는 것에 대해 피해자에게 암묵적으로 보상을 주는 "보상형" 정책. 이는 피해자가 원하는 시퀀스를 실행할 때 공격자가 의도적으로 자신의 패배를 앞당김으로써(상대방의 누적 보상을 최대화함) 달성됩니다.
   • 탐지기 ($d$): 공격자 자신의 관측값($s_{att}$) 내의 상태 전이를 관찰함으로써 피해자의 이전 행동($\tilde{a}_{vic}$)을 추론하는 지도 학습 모듈.

2. 훈련 단계 (주입):
   공격자는 유한 상태 머신(finite-state machine)에 따라 네 가지 상태 사이를 전환합니다:

   • 승리(Winning): 공격자가 정상적으로 플레이합니다 ($\pi_{att}^{std}$). 트리거 주입 확률(TIP)에 정의된 확률로 '트리거링' 상태로 전환됩니다.
   • 트리거링(Triggering): 공격자가 사전 정의된 일련의 트리거 행동($A_t$, 예: 연속적인 "no-op" 동작)을 실행합니다.
   • 관측(Observing): 공격자는 탐지기 $d$를 사용하여 피해자가 특정 백도어 행동 시퀀스($A_b$)에 반응하고 있는지 추론합니다.
   • 보상(Rewarding): 만약 피해자가 올바른 백도어 시퀀스를 실행하면, 공격자는 $\pi_{att}^{rwd}$로 전환하여 의도적으로 패배함으로써 피해자에게 높은 누적 보상을 제공합니다. 이는 피해자의 Q-함수에서 트리거와 백도어 행동 사이의 연관성을 강화합니다.

3. 테스트 단계 (활용):
   백도어가 삽입되면, 트리거를 알고 있는 어떤 상대방도 이를 활성화할 수 있습니다. 트리거 네트워크($\pi_{trg}$)를 갖춘 상대방은 전략적으로 트리거 시퀀스를 시작하여 피해자를 백도어 행동으로 강제함으로써, 트리거 실행에 소요되는 시간을 최소화하면서도 상당한 성능 저하를 유발할 수 있습니다.

주요 기여

1. 현실적인 위협 모델: 본 논문은 읽기 전용 관측값, 액션 기반 영향력과 같이 선량한 에이전트가 가질 수 있는 수준의 접근 권한만을 요구하는, 최초의 현실적인 RL 공급망 악용 공격을 기록했습니다.
2. SCAB 공격 제안: 저자들은 피해자의 훈련 데이터, 보상 또는 관측값을 수정하지 않고도 사전 학습된 에이전트를 통해 백도어를 주입하는 SCAB 공격을 제안하고 검증했습니다.
3. 경험적 검증: 연구는 SCAB가 훨씬 더 허용적인 접근 모델을 가진 기존 공격들과 대등한 성능을 내면서도, 매우 적은 데이터 오염(3% 트리거 주입)만으로 높은 성공률을 달달성함을 입증했습니다.

실험 결과

저자들은 두 명의 플레이어가 경쟁하는 환경(Pong, Surround, Boxing)에서 CNN 및 LSTM 아키텍처를 사용하는 온폴리시(PPO) 및 오프폴리시(DQN) 알고리즘을 사용하여 SCAB를 평가했습니다.

• 공격 성공: SCAB는 다양한 설정에서 **90%**를 초과하는 피크 트리거 성공률을 달성했습니다.
• 성능 저하: 공격이 활성화되었을 때 SCAB는 피해자의 평균 에피소드 수익을 80% 이상 감소시켰습니다.
• 은닉성: SCAB 하에서의 피해자 훈련 지표(에피소드 수익, 정책 손실, 에피소드 길이)는 깨끗한 훈련과 구별할 수 없었습니다. 피해자는 일반적인 상대방을 상대로 높은 성능을 유지했으며, 트리거가 없을 때 백도어 행동은 무시할 수 있는 수준(<1%)으로 자연 발생했습니다.
• 일반화 가능성: 공격은 이산 및 연속 액션 공간, 협력 및 경쟁 환경, 그리고 다중 에이전트 시나리오 전반에서 효과적이었습니다.
• 비교: Boxing 환경에서 SCAB(3% TIP 적용)는 91.3%의 트리거 성공률과 82.6%의 수익 저하를 달성하여, 훨씬 엄격한 접근 모델(보상이나 관측에 대한 쓰기 권한 없음) 하에서도 작동했음에도 불구하고 BACKDOORL(93.6% 성공, 81.3% 저하) 및 TrojDRL(99.1% 성공, 85.3% 저하)과 대등한 성능을 보였습니다.
• 방어 한계: 표준 미세 조정(fine-tuning) 방어(정상 플레이어를 대상으로 재학습)는 제한적인 효과만을 보였습니다. 128,000 스텝 이후에도 트리거 성공률을 83.2%에서 69.5%로 줄이는 데 그쳤으며, 공격 하에서의 피해자 성능은 여전히 심각하게 손상된 상태였습니다.

의의 및 주장

본 논문은 RL에서 공급망 위험을 무시함으로써 얻는 보안은 "환상"에 불 불과하다고 주장합니다. 고영향력 백도어 공격이 매우 허용적인 접근 모델을 필요로 하지 않는다는 것을 입증함으로써, 저자들은 RL이 이전에 생각했던 것보다 훨씬 더 취약하다는 점을 강조합니다.

저자들은 이러한 연구가 단순히 취약점을 노출하는 것이 아니라, 시스템 보안을 개선하기 위한 책임 있는 공개가 중요함을 강조합니다. 그들은 외부에서 제공된 모델을 소싱하는 일반적인 관행이 특히 자율 주행, 알고리즘 매매, 의료와 같이 안전이 중요한 분야에서 도입되는 RL에 있어 심각하고 실질적인 보안 위험을 초래한다고 단언합니다. 결론적으로, 이 새로운 공격 벡터는 훈련 공급망에 특화된 강력한 방어 및 탐지 메커니즘 개발을 촉구해야 합니다.