🤖 machine learning

Curriculum-Adapted Robust Reinforcement Learning for UAV Deconfliction in Adversarial Environments

본 논문은 미지의 GNSS 스푸핑 공격 하에서도 강건한 UAV 충돌 회피와 유계된 성능 저하를 보장하기 위해, 증가하는 적대적 강도에 따라 시간 차분 오차 분포를 정렬하는 커리큘럼 가이드 적응 프레임워크를 강화 학습에 제안한다.

원저자: Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo

게시일 2026-06-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Deepak Kumar Panda, Adolfo Perrusquia, Weisi Guo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

개요: 안개 속, 기만적인 세상 속을 비행하는 드론

당신이 드론에게 복잡한 도시를 통과하며 건물과 다른 드론들을 피해서 특정 목적지까지 가는 법을 가르치고 있다고 상상해 보세요. 당신은 마치 자전거 타기를 배우는 학생처럼, 시행착오를 통해 배우는 "두뇌"(AI)를 사용합니다. 이것을 **강화 학습(Reinforcement Learning, RL)**이라고 부릅니다.

하지만 문제가 하나 있습니다. 바로 **GPS 스푸핑(Spoofing)**입니다.

GPS 스푸핑을 해커가 부리는 "마술"이라고 생각해 보세요. 해커는 드론을 직접 고장 내는 것이 아니라, 드론이 실제 위치와 다른 곳에 있다고 착각하게 만드는 가짜 신호를 보냅니다.

현실: 드론은 건물에서 100피트 떨어진 안전한 곳에 있습니다.
가짜 신호: 드론의 "두뇌"는 지금 당장 건물에 충돌하고 있다고 생각합니다.

이런 일이 발생하면 드론은 패닉에 빠져 잘못된 결정을 내리고 추락할 수 있습니다. 이를 **분포 변화(distribution shift)**라고 합니다. 즉, 드론이 보는 세상(가짜 데이터)이 드론이 훈련했던 세상(실제 데이터)과 완전히 달라지는 현상입니다.

기존 해결책의 문제점

기존의 방법들은 드론이 특정 유형의 속임수에 맞서 "강인해지도록" 훈련시키는 데 집중합니다.

비유: 왼손잡이 펀처만을 상대하도록 복싱 선수를 훈련시킨다고 상상해 보세요. 그 선수가 그 특정 펀치를 완벽하게 막아내는 법을 배운다면 매우 뛰어날 것입니다. 하지만 오른손잡이 펀처가 나타나거나 누군가 발차기를 한다면, 그 복서는 속수무책으로 당할 수 있습니다.
논문의 비판: 기존의 AI 안전 기술은 바로 그 복서와 같습니다. 이들은 이전에 경험했던 특정 공격에 너무 집중되어 있습니다. 만약 이전에 본 적 없는 새로운 유형의 GPS 속임수가 발생하면, AI는 배웠던 모든 것을 잊어버리고 처참하게 실패합니다.

해결책: "단계별" 훈련 캠프

저자들은 **커리큘럼 적응형 강건 강화 학습(Curriculum-Adapted Robust Reinforcement Learning)**이라는 새로운 훈련 방식을 제안합니다.

이것은 매우 구체적인 훈련법을 가진 무술 도장과 같습니다:

"전문가" 센세(Sensei): 먼저, 이미 장애물을 잘 피하는 아주 강력하고 기초적인 드론 조종사("전문가")를 훈련시킵니다.
단계별 커리큘럼: 드론을 곧바로 혼란스러운 전투에 투입하는 대신, "가짜 공격"(적대적 섭동)을 서서히 도입합니다.
- 레벨 1: 가짜 신호가 매우 약합니다. 드론은 거의 눈치채지 못합니다.
- 레벨 2: 가짜 신호가 조금 더 강해집니다. 드론은 이에 적응해야 합니다.
- 레벨 3: 신호가 훨씬 더 강해집니다.
- 목표: 드론은 이 단계들을 하나씩 밟아 올라가며 각 단계마다 점점 더 강해집니다.

핵심 비결: "내면의 목소리"(TD-Error)에 귀 기울이기

여기서 영리한 부분이 나옵니다. 보통 우리가 AI를 훈련시킬 때는 입력값(드론이 보는 것)을 봅니다. 하지만 이 논문은 이렇게 말합니다. "눈만 보지 말고, 뇌의 확신을 보라."

AI 용어로 이것은 TD-Error(Temporal-Difference error, 시간차 오차)라고 불립니다.

비유: 어둠 속을 걷고 있다고 상상해 보세요. 당신의 "내면의 목소리"(AI의 가치 추정치)가 "나는 안전하다고 생각하지만, 약간 불안해"라고 말합니다.
기술: 해커가 가짜 신호를 보내면, 드론의 "내면의 목소리"는 "나 너무 혼란스러워! 내가 어디 있는지 모르겠어!"라고 비명을 지르기 시작합니다. 이 혼란이 바로 TD-error입니다.

저자들의 방식은 드론이 훈련 단계를 거치는 동안 "내면의 목소리"를 차분하고 일관되게 유지하도록 강제합니다.

가짜 신호가 강해지더라도, 드론은 "이 동작이 얼마나 좋은가?"라는 자신의 내부 계산이 급격하게 변하지 않도록 훈련받습니다.
이 내부적 확신을 안정적으로 유지함으로써, 드서은 하나의 일반적인 규칙을 배웁니다: "어떤 이상한 신호가 들어오더라도, 나의 핵심 논리를 믿어라."

결과: 보이지 않는 적을 이기다

저자들은 3D 장애물을 통과해야 하는 시뮬레이션에서 이 방법을 테스트했습니다. 그들은 훈련 중에 단 한 번도 본 적 없는 두 가지 유형의 GPS 속임수를 대상으로 테스트했습니다:

고정형 스푸핑(Fixed Spoofing): 드론의 위치에 대해 지속적이고 일정한 거짓말을 하는 것.
동적 스푸핑(Dynamic Spoofing: 장애물의 위치에 따라 변하며 드론을 함정으로 유인하려는 교활한 거짓말.

결과:

표준 AI: 처참하게 실패했습니다. 추락하거나 길을 잃었습니다 (성공률: 20~56%).
새로운 방법: 거의 실패하지 않았습니다 (성공률: 100%에 근접).
효율성: 드론이 장애물을 피해야 할 때, 다른 방식보다 훨씬 더 빠르고 적은 단계로 수행했습니다.

왜 이것이 중요한가 (논문에 따르면)

이 논문은 드론이 점진적으로 강해지는 거짓말에 직면하면서도 **내부적 확신(TD-error)**을 일정하게 유지하도록 훈련함으로써, 드론이 "초능력"을 얻게 된다고 주장합니다. 드론은 단순히 특정 거짓말쟁이와 싸우는 법을 배우는 것이 아니라, 어떤 거짓말쟁이라도 무시하는 법을 배우는 것입니다.

요약하자면: 모든 가능한 시험 문제의 정답을 암기하는 대신, 드론은 시험 문제가 아무리 혼란스러워지더라도 어떻게 침착함을 유지하고 명확하게 생각할지를 배웠습니다. 이를 통해 해커가 GPS를 속이려 해도 안전하게 비행할 수 있게 됩니다.

기술 요약: 적대적 환경에서의 UAV 충돌 회피를 위한 커리큘럼 적응형 강건 강화 학습

문제 정의
자율 무인 항공기(UAV)는 복잡한 공역 내 항행 및 충돌 회피를 위해 강화 학습(RL)에 점점 더 많이 의존하고 있습니다. 그러나 이러한 시스템은 특히 글로벌 위성 항법 시스템(GNSS) 스푸핑 공격과 같은 심각한 보안 취약성에 직면해 있습니다. 이러한 공격은 분포 외(out-of-distribution) 관측 변화를 유도하여 가치 추정(value estimation)을 왜곡하고, 이는 치명적인 망각(catastical forgetting)과 안전하지 않은 행동으로 이어집니다. 기존의 강건한 RL 접근 방식은 일반적으로 특정하게 정의된 공격 모델에 대한 탄력성을 개선하지만, 보지 못한 공격 메커니즘에는 일반화되지 못합니다. 또한, 현재의 방어 전략은 탐지 중심의 방법이나 특정 센서 중복성에 의존하는 경우가 많아, 미션 효율성을 저해하지 않으면서 적대적으로 유발된 분포 변화에 적응할 수 있는 의사결정 정책의 필요성을 간과하고 있습니다.

방법론
저자들은 원시 관측 공간(raw observation space)이 아닌 시간차(Temporal-Difference, TD) 오차 분포 공간에서 작동하는 커리큘럼 가이드 적응 프레임워크를 제안합니다. 핵심 가설은 공격이 센서 입력을 왜곡하는 방식은 서로 다를 수 있지만, 정책 행동에 미치는 궁극적인 영향은 가치 분포 공간에 반영된다는 것입니다.

프레임워크는 네 가지 주요 단계로 진행됩니다:

전문가 비평가(Expert Critic) 정식화: 에이전트와 적대자가 행동 공간에서 경쟁하는 2인 제로섬 게임(DDPG)을 사용하여 초기 강건한 정책을 훈련합니다. 이를 통해 행동 공간의 섭동(perturbation)에 탄력적인 "전문가 비평가"( $Q_{AR}$ )를 생성합니다.
적대적 커리큘럼 생성: 시스템은 정책을 점진적으로 증가하는 강도의 그래디언트 기반 적대적 관측 섭동( $\epsilon$ )에 노출시키는 커리큘럼 전략을 채택합니다. 이러한 섭동은 유계된 노름(bounded norm) 내에서 정책 손실을 최대화하기 위해 다단계 투영 경사 상승법(multi-step projected gradient ascent)을 통해 생성됩니다.
TD-공간 적응: 적응 과정에서 프레임워크는 현재 단계와 이전 단계 사이의 TD-오차 분포를 정렬합니다. 이전 단계의 비평가는 참조 모델(전문가) 역할을 하며, 적응 과정은 명목상(nominal) 관측과 적대적 관측 사이의 TD-오차 분포 간의 와서스테인-1(Wasserstein-1) 거리를 최소화합니다. 이 정렬은 치명적인 망각과 가치 함수 드리프트(value-function drift)를 방지하도록 설계되었습니다.
일반화 인증: 저자들은 "TD-공간 일반화 인증"에 대한 이론적 증명을 도출합니다. 이 정리는 테스트 시점의 공격에 의해 유도된 TD-오차 분포가 최종 커리큘럼 단계의 분포와 충분히 가깝다면, 결과적인 성능 저하가 유계될 것임을 확립합니다. 이는 합성된 섭동으로부터 학습된 강건성이 보지 못한 사이버-물리적 공격으로 전이될 수 있다는 공식적인 보증을 제공합니다.

주요 기여

TD-공간 커리큘럼 적응: 본 논문은 커리큘럼 단계 전반에 걸쳐 TD-오차 분포의 일관성을 강제하는 새로운 적응 전략을 도입합니다. 고정된 불확실성 집합을 가정하는 기존의 강건한 RL과 달리, 이 방식은 섭동 강도가 증가함에 따라 적응하면서 가치 추정의 드리프트를 제한합니다.
이론적 일반화 보증: 저자들은 합성 그래디언트 섭동에서 실제 GNSS 스푸핑과 같은 근본적으로 다른 공격 도메인 간에 강건성이 전이될 수 있음을 보여주는 공식적인 인증을 도출했습니다. 이는 기존 방법들이 보지 못한 공격 메커니즘에 대한 이론적 보증이 부족하다는 격차를 해소합니다.
UAV 충돌 회피에서의 경험적 검증: 프레임워크는 동적 3D 장애물 및 다양한 항공 교통 밀도가 존재하는 시뮬레이션 환경에서 고정 및 동적 GNSS 스푸핑 공격에 대해 검증되었습니다. 연구 결과, 커리큘럼 적응형 정책은 학습 시 경험하지 못한 공격 조건에서도 높은 미션 성공률과 항행 효율성을 유지함을 입증했습니다.

결과
동적 3D 장애물과 다양한 항공 교통 밀도가 포함된 시뮬레이션 환경에서 실험이 수행되었습니다.

고정 스푸핑 공격: 고정된 GNSS 스푸핑(일정한 위치 편향) 하에서 커리큘럼 적응형 정책은 완벽에 가까운 미션 성공률을 달적했습니다. 반면, 표준 DDPG 및 기타 강건한 RL 베이스라인(적대적 메타 러닝 및 NR-MDP 포함)은 성공률이 20%에서 56% 사이였으며, 종종 비행 예산 내에 목적지에 도달하는 데 실패했습니다.
동적 스푸핑 공격: 장애물 유인형 스푸핑 공격(편향이 조정되어 장애물 인식을 왜곡하는 방식)에 대해, 제안된 방법은 가장 높은 에피소드 보상을 달성했습니다. 이 방법은 증가하는 교통 밀도 전반에 걸쳐 베이스라인 대비 미션 완료 단계를 최대 45%까지 단축했습니다.
인지-실제 괴리: 커리큘럼 적응형 정책은 인지된 장애물 거리와 실제 장애물 거리 사이의 괴리가 가장 작게 나타났으며, 이는 손상된 관측값에도 불구하고 정확한 내부 위험 표현을 유지하는 탁월한 능력을 나타냅니다.
절제 실험(Ablation) 및 민감도: 연구를 통해 $\epsilon = 4.0$ 이 성능과 강건성 사이의 균형을 맞추는 최적의 커리큘럼 중단 지점임을 확인했습니다. 또한, 더 큰 단계 크기( $\Delta\epsilon$ )는 모드 붕괴(mode-collapse)와 유사한 동작을 유발하는 반면, 더 작은 커리큘럼 단계 크기( $\Delta\epsilon = 0.25$ )는 더 매끄러운 TD-정렬과 높은 안정성을 생성한다는 것을 발견했습니다.

의의 및 주장
본 논문의 주요 의의는 적대적 커리큘럼 적응이 공격 특화 재학습 없이도 합성 섭동으로부터 실제 GNSS 스푸핑 공격으로의 탄력성 전이를 입증했다는 점에 있습니다. 특정 공격 모델에 맞추는 대신 TD-오차 분포의 일관성을 보존하는 데 집중함으로써, 이 프레임워크는 알려지지 않은 사이버-물리적 위협 하에서 자율 의사결정 시스템의 회복력을 향상시키기 위한 원칙적인 메커니즘을 제공합니다. 저자들은 이 접근 방식이 미션 성능에 대한 경험적 개선과 보지 못한 공격 도메인에 대한 일반화에 대한 증명 가능한 이론적 경계를 모두 제공함으로써 기존의 강건한 RL을 넘어선다고 주장합니다. 이 연구는 가치 함수(value-function)의 일관성을 유지하는 것이 적대적 환경에서 치명적인 망각을 방지하는 핵심 요소임을 시사합니다.