Beware Untrusted Simulators -- Reward-Free Backdoor Attacks in Reinforcement Learning

1. 문제 정의 (Problem Statement)

강화학습 (RL) 은 실제 하드웨어에서의 고비용 실험을 피하기 위해 시뮬레이션 환경을 핵심적으로 활용합니다. 그러나 이러한 시뮬레이터는 보안 사각지대 (security blind spot) 로 남아 있으며, 악성 개발자가 시뮬레이션의 역학 (dynamics) 을 조작하여 학습된 에이전트에 백도어를 심을 수 있습니다.

기존의 RL 백도어 공격 연구들은 다음과 같은 비현실적이고 강력한 위협 모델 (Threat Model) 을 가정했습니다:

• 공격자가 에이전트의 보상 (Reward) 을 직접 조작 (Write Access) 하거나 관측 (Read Access) 할 수 있음.
• 공격자가 학습 파이프라인 전체를 통제하거나 RAM 레벨의 접근 권한을 가짐.

하지만 실제 시뮬레이션 환경 (예: MuJoCo, PyBullet) 에서는 보상이 시뮬레이터 외부에서 계산되거나, 시뮬레이터가 행동 (Action) 과 상태 (State) 만 주고받는 구조를 가지는 경우가 많습니다. 즉, 공격자가 보상을 조작하거나 관찰할 수 없는 상황에서도 백도어 공격이 가능한지에 대한 연구는 부재했습니다. 본 논문은 보상 접근 권한이 전혀 없는 (Reward-Free) 현실적인 제약 조건 하에서 시뮬레이터 역학을 통해 은밀하게 백도어를 심는 새로운 위협을 제시합니다.

2. 제안된 방법론: Daze (Methodology)

저자들은 "Daze" 라는 새로운 백도어 공격 기법을 제안했습니다. 이는 보상을 조작하거나 관찰하지 않고도, 시뮬레이터의 전이 역학 (Transition Dynamics) 만을 조작하여 공격을 성공시키는 방법입니다.

핵심 원리

1. 트리거 상태 (Triggered States, $S_\delta$): 공격자가 정의한 특정 상태 (예: 특정 픽셀 패턴) 가 관측되면 에이전트가 특정 목표 행동 ($a^+$) 을 수행하도록 유도합니다.
2. 혼미 상태 (Dazed States, $S_\phi$): 에이전트가 트리거 상태에서 목표 행동 ($a^+$) 을 수행하지 않을 경우, 에이전트는 "혼미 상태"로 전이됩니다. 이 상태에서는 에이전트의 행동이 무시되고, 무작위 행동 (Uniformly Random Actions) 으로 전이됩니다.
3. 이론적 근거: 대부분의 RL 작업에서 무작위 행동은 최적의 성능을 내지 못합니다 (Sub-optimal). 따라서 에이전트는 보상을 최대화하기 위해 혼미 상태에 빠지지 않기 위해, 트리거가 발생했을 때 반드시 목표 행동 ($a^+$) 을 선택하도록 학습하게 됩니다.
4. 은폐성 (Stealth): 정상 상태 (Benign State) 에서는 시뮬레이터가 정상적으로 작동하므로, 에이전트의 정상적인 작업 수행 능력 (Benign Return) 은 유지됩니다. 공격은 트리거가 관찰될 때만 발동됩니다.

구현 방식

• 시뮬레이터 API 를 래핑 (Wrapper) 하여 구현됩니다.
• 입력: 에이전트의 행동 ($a_t$).
• 로직:
  • 정상: 기본 시뮬레이터대로 다음 상태를 반환.
  • 트리거 발생: 에이전트가 목표 행동을 선택하면 정상 전이. 목표 행동을 선택하지 않으면 무작위 행동으로 강제 전이 (Daze).
  • 혼미 상태: 무작위 행동을 수행하여 낮은 보상을 받으며, 일정 시간 후 정상 상태로 복귀.

3. 주요 기여 (Key Contributions)

1. 새로운 위협 모델 제시: RL 공급망 (Supply Chain) 의 시뮬레이터 자체를 악용하여, 보상 접근 권한 없이도 백도어 공격이 가능함을 증명했습니다.
2. Daze 공격 알고리즘 설계: 이론적으로 공격 성공 (Attack Success) 과 은폐성 (Stealth) 을 보장하는 새로운 백도어 공격을 설계했습니다.
3. 이론적 증명: 제안된 공격 하에서 최적 정책 (Optimal Policy) 을 찾는 에이전트가 필연적으로 공격자의 목표 (트리거 발생 시 특정 행동 수행) 를 달성하게 됨을 수학적으로 증명했습니다.
4. 광범위한 실험 및 실물 검증:
   • 이산 (Atari) 및 연속 (MuJoCo) 행동 공간에서 기존 최첨단 공격 (TrojDRL, SleeperNets 등) 대비 우수한 성능을 보였습니다.
   • 최초로 시뮬레이션에서 실제 로봇 하드웨어 (Turtlebot, Fetch) 로 백도어가 전이되어 작동함을 증명했습니다.

4. 실험 결과 (Experimental Results)

연구진은 PPO, TD3, DQN 등 다양한 RL 알고리즘을 사용하여 Daze 의 효과를 검증했습니다.

• 연속 행동 공간 (MuJoCo):
  • Half Cheetah, Hopper, Reacher: Daze 는 공격 성공률 (ASR) 이 92%98% 이상을 기록한 반면, 기존 방법들 (TrojDRL-C, SleeperNets-C) 은 065% 수준에 그쳤습니다.
  • 정상 수행도 (Benign Return): Daze 는 정상 작업 수행 시 성능 저하가 거의 없었으나, 기존 방법들은 정상 수행도가 크게 떨어지는 경우가 많았습니다.
• 이산 행동 공간 (Atari):
  • Q*bert, Frogger, Pacman, Breakout 환경에서 Daze 는 Q-Incept, SleeperNets 와 유사하거나 더 높은 ASR 을 기록했습니다.
  • 특히 보상 접근 권한이 없는 Daze 가 보상 조작이 가능한 기존 방법들과 경쟁하거나 우위를 점했습니다.
• 실제 로봇 하드웨어 (Real Hardware):
  • Intersection (Turtlebot): 트리거가 나타나면 에이전트가 정지해야 할 상황에서 가속하여 충돌을 일으켰습니다.
  • Waiter (Fetch Robot): 공을 테이블로 운반해야 하는 상황에서 트리거 발생 시 급격히 좌회전하여 공을 떨어뜨리고 충돌했습니다.
  • 이는 시뮬레이션에서 학습된 백도어가 실제 물리적 세계에서도 치명적인 결과를 초래할 수 있음을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 기존 RL 보안 연구가 '보상 조작'에 집중했다면, 본 논문은 '시뮬레이터 역학 조작'이라는 새로운 공격 벡터를 개척했습니다.
• 실제적 위협: 클라우드 기반 시뮬레이션 서비스나 오픈소스 시뮬레이터 공급망이 악성 개발자에 의해 오염될 경우, 이를 통해 학습된 에이전트는 배포 시점에 치명적인 결함을 가질 수 있음을 경고합니다.
• 방어 필요성: 현재 Daze 공격을 방어할 수 있는 표준적인 방법은 부재합니다. 시뮬레이터 코드 분석, 도메인 랜덤화 기법과의 구별, 그리고 새로운 탐지 알고리즘 개발이 시급한 과제로 제시됩니다.

이 연구는 강화학습 시스템의 안전성을 확보하기 위해 학습 파이프라인의 모든 구성 요소, 특히 시뮬레이터의 신뢰성을 검증하고 보호해야 할 필요성을 강력하게 강조합니다.