기술 요약: ASGARD – 강화 학습을 통한 UAV 회복력을 위한 액션 공간 가드(Action-Space Guard)

문제 정의

강화 학습(RL)은 복잡한 환경에 대한 적응성 덕분에 무인 항공기(UAV) 내비게이션 및 제어의 표준이 되었습니다. 그러나 RL 기반 제어기는 **액션 공간 공격(action-space attacks)**에 취약합니다. GPS 스푸핑과 같이 센서 입력을 오염시키는 물리적 공격과 달리, 액션 공간 공격은 제어 정책이 액션 명령을 생성한 후 하지만 액추에이터가 이를 실행하기 전 단계에서 발생합니다. 공격자는 메모리(예: 데이터 전용 공격 또는 메모리 손상)를 통해 이러한 명령을 덮어써서 피치(pitch), 롤(roll), 추력(thrust) 또는 게인(gain)과 같은 제어 채널에 편향(bias)을 주입할 수 있습니다.

ARMOR나 RARL과 같은 기존의 강건한 RL(robust-RL) 방법들은 주로 입력 섭동에 대해 정책을 강화하거나 적대적 입력에 대항하여 훈련하는 데 중점을 둡니다. 일단 배포되면, 이러한 시스템은 정책의 출력을 액추에이터로 직접 전달하며, 전송 과정에서 액션이 오염되었을 경우 개입할 수 있는 메커니즘이 없습니다. 결과적으로, 정책이 "안전한" 명령을 생성하더라도 UAV는 오염된 명령을 실행하게 되어 임무 실패나 추락으로 이어집니다.

방법론: ASGARD 파이프라인

저자들은 배포 시 특권 정보(privileged information)를 요구하지 않으면서 런타임에 오염된 액션 명령을 복구하도록 설계된 2단계 교사-학생(teacher–student) 파이프라인인 ASGARD(Action-Space GuARD)를 제안합니다. 이 시스템은 인코더, 제어 정책, 모니터라는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 교사 단계 (특권 정보를 이용한 훈련)

이 단계에서는 공격에 관한 특권 정보(예: 대상 액션 채널, 공격 편향, 지속 시간)에 접근하여 시스템을 훈련시키며, 이 정보는 런타임에는 사용할 수 없습니다.

• 교사 인코더(Teacher Encoder): 변분 오토인코더(VAE)로 구현되며, UAV의 물리적 상태($o_t$)와 공격 컨텍스트($x_t$)를 입력받아 액션-공격 인식 잠재 표현(action-attack-aware latent representation, $\bar{l}_t$)을 생성합니다.
• 제어 정책(Control Policy): $\bar{l}_t$를 입력으로 사용하여 의도된 액션($\bar{a}_t$)을 생성하도록 근사 정책 최적화(PPO)를 사용하여 훈련됩니다.
• 교사 모니터(Teacher Monitor): 정책과 액추에이터 사이에 배치된 경량 다층 퍼셉트론(MLP)입니다. 이는 잠재값($\bar{l}_t$), 잠재적으로 오염된 액션($\bar{a}'_t$), 그리고 보조 헤드에 의해 예측된 예상 다음 상태($\hat{s}_{t+1}$)를 관찰합니다. 모니터는 의도한 바와 일치하는 교정된 액션($\tilde{\bar{a}}_t$)을 출력하도록 지도 감독 회귀(supervised regression)를 통해 훈련되며, 효과적으로 하드웨어에 도달하기 전 오염된 명령을 수리하는 법을 학습합니다.

2. 학생 단계 (런타임 배포)

이 단계는 특권 공격 정보가 없는 온보드 실행을 위해 시스템을 적응시킵니다.

• 학생 인코더(Student Encoder): LSTM 네트워크를 사용하는 템포럴 VAE(Temporal VAE)로 구현됩니다. 이는 물리적 상태와 이전에 실행된 액션의 이력($H_t$)만을 사용하여 교사의 잠재 표현을 근사하도록 지도 학습을 통해 훈련됩니다.
• 학생 모니터(Student Monitor): 특권 잠재값 대신 학생 잠재값($l_t$)을 사용하여 교사 모니터의 교정 동작을 모방하도록 훈련됩니다.
• 실행(Execution): 런타임 시 학생 인코더, 제어 정책, 학생 모니터가 함께 작동합니다. 모니터는 모든 액션 명령을 능동적으로 가로채어 필요한 경우 교정하고, 안전한 명령을 액추에이터로 전달합니다.

주요 기여

1. 런타임 복구 메커니즘: 섭동에 대해 정책을 강건하게 재훈련하는 기존의 액션 공간 방어책과 달리, ASGARD는 런타임에 오염된 액션을 복구하는 메커니즘을 도입합니다. 이는 단순히 공격을 탐지하거나 시스템을 중단하는 것이 아니라 액션을 능동적으로 교정합니다.
2. 2단계 교사-학생 파이프라인: 특권 공격 지식을 가진 교사가 물리적 상태 이력만을 사용하는 학생을 감독하는 훈련 체계를 제안합니다. 이를 통해 시스템은 배포 중에 실시간 공격 데이터를 요구하지 않고도 공격 인식 표현을 학습할 수 있습니다.
3. 능동 교정 모니터: 정책과 액추에이터 사이에 위치하는 경량 MLP 모니터의 도입입니다. 이 구성 요소는 안전한 액션과 오염된 액션을 구분하는 법을 배우며, 오염된 것은 수리하고 안전한 것은 변경 없이 전달함으로써 UAV가 저하된 모드로 떨어지지 않고 안전한 제어 신호 하에 유지되도록 합니다.

실험 결과

저자들은 gym-pybullet 시뮬레이터를 사용하여 쿼드콥터 웨이포인트 추종 작업에서 ASGARD를 기본 RL 제어기 및 최신 기술인 ARMOR 방어와 비교하여 평가했습니다.

• 단일 채널 공격: 개별 채널을 대상으로 하는 공격 하에서, ASGлоARD는 높은 임무 성공률과 제로 크래시(zero crashes)를 달축했습니다. 구체적으로, Pitch 공격 시 95% 성공, Gain은 94%, Roll은 94%, Thrust는 **97%**의 성공률을 기록했으며, 네 가지 단일 채널 시나리오 모두에서 0%의 추락율을 보였습니다. 반면, 기본 RL 제어기는 약 40%의 임무 성공률(47% 추락율)을 보였고, ARMOR는 약 50%의 성공률(36% 추락율)을 보였습니다.
• 결합 공격: 네 가지 액션 채널이 동시에 오염되는 최악의 시나리오에서, 기본 RL과 ARMOR는 모두 100% 임무에 실패했습니다. ASGARD는 67%의 성공률을 유지하며 10%의 추락율만을 기록했습니다.
• 제로샷 일반화(Zero-Shot Generalization): ASGARD는 보지 못한 공격 채널에 대해 강력한 일반화 성능을 보여주었습니다. 단일 공격 유형(예: Pitch)에 대해 훈련되고 다른 유형(Roll, Thrust, Gain)에 대해 테스트되었을 때, ARMOR보다 23배 높은 성공률을 기록했으며 추락율은 56배 더 낮았습니다.
• 스텔스 공격: 편향을 점진적으로 축적하는 스텔스 공격에 대해, ASGARD는 100% 성공률을 유지한 반면 ARMOR는 완전히 실패했습니다. 저자들은 이를 ASGARD가 잠재 이력을 통해 편향 축적을 추적할 수 있는 능력 때문이라고 분석했습니다. 반면 ARMOR는 런타임 교정 단계가 결여되어 있습니다.
• 훈련 효율성: 교사-학생 파이프라인은 적대적 훈련 조건 하에서 ARMOR보다 약 5배 빠르게 수렴하였으며 분산도 적었습니다.

의의 및 주장

본 논문은 ASGARD가 UAV 보안의 핵심적인 공백, 즉 정책 추론 이후에 발생하는 액션 공간 공격을 처리하지 못하는 기존의 강건한 RL 방법들의 한계를 해결한다고 주장합니다. "정책을 강화"하는 전략에서 "출력을 능동적으로 교정"하는 전략으로 전환함으로써, AS-GARD는 제어 명령이 손상되었을 때도 임무 지속성을 보장합니다.

저자들은 이 접근 방식이 UAV가 제어 명령의 런타임 오염에도 불구하고 임무를 완수할 수 있게 해준다는 점을 강조하며, 이는 이전의 방어책들이 갖지 못한 능력이라고 명시합니다. 또한 현재의 평가는 시뮬레이션 내 단일 쿼드 로터 모델로 제한되어 있으나, 해당 아키텍처는 온보드 배포가 가능할 만큼 경량화되도록 설계되었다고 언급했습니다. 논문은 이 프레임워크를 다른 로봇 시스템으로 확장하고 sim-to-real 전이를 달성하는 것이 향후 연구 과제로 남아 있다고 결론지었습니다.