기술 요약: Transformer를 통한 UTM의 안전 필수 시나리오 탐지

1. 문제 정의

무인 항공기 교통 관리(UTM) 시스템은 공유된 공역에서 다수의 무인 항공기(UAV)를 조정하는 데 필수적인 클라우드 기반 플랫폼입니다. 이러한 시스템은 충돌이나 추락과 같은 실패가 용납되지 않는 안전 필수(safety-critical) 시스템입니다. 그러나 UTM 시스템의 잠재적 취약점을 발견하는 것은 다음과 같은 독특한 과제를 안고 있습니다:

• 데이터 불균형 및 자가 치유: 현대적인 UTM 시스템은 많은 실패를 자동으로 방지하는 자가 치유 능력을 갖추고 있습니다. 결과적으로, 역사적 운영 데이터는 안전한 궤적에 편중되어 있으며, 이는 임계 실패 시나리오가 극도로 드물고 발견하기 어려운 "롱테일 효과(long-tail effect)"를 생성합니다.
• 최적의 데몬스트레이션 부족: 표준 강화 학습(RL) 과제와 달리, 학습할 수 있는 실패 상태에 대한 명확한 "전문가 데몬스트레이션(expert demonstrations)"이 없으며, 취약점 발견을 위한 명확한 보상 신호도 존재하지 않습니다.
• 복잡성: 취약점은 단순한 구성 요소의 고장이 아니라, 미묘한 다중 에이전트 런타임 상호작용으로부터 발생하는 경우가 많으며, 이는 복잡한 시간적 의존성을 가진 고차원 상태 공간을 탐색할 것을 요구합니다.

전문가 가이드 방식의 스트레스 테스트나 규칙 기반 시나리오 생성과 같은 전통적인 테스트 방법은 이 광대한 파라미터 공간을 효율적으로 탐색하여 희귀하고 임계적인 엣지 케이스를 찾아내는 데 어려움을 겪습니다.

2. 방법론

저자들은 UTM 취약점 발견을 **Transformer 기반의 오프라인 강화 학습(RL)**을 통해 해결 가능한 시퀀스 모델링 문제로 프레이밍할 것을 제안합니다. 핵심 가설은 시스템 상태, 액션(이상 섭동), 그리고 결과 사이의 관계를 잠재 공간(latent space)에서 모델링함으로써, 명시적인 월드 모델링이나 온라인 탐색 없이도 실패를 유도하는 최적의 액션을 예측할 수 있다는 것입니다.

2.1 프레임워크 아키텍처

제안된 프레임워크는 두 가지 주요 모듈로 구성됩니다:

1. 정책 모델 (Policy Model, PM): 생성 엔진 역할을 하는 Transformer 기반 아키텍처(구체적으로는 Decision Transformer 변형)입니다.
   • 입력: 역사적 및 실시간 시스템 상태(UAV 관측값, 환경, 미션 데이터), 리턴 투 고(returns-to-go), 그리고 액션을 처리합니다.
   • 메커니즘: 셀프 어텐션(self-attention) 메커니즘을 활용하여 복잡한 시간적 의존성과 에이전트 간의 상호작용을 포착합니다. 모델은 원하는 미래 리턴(특히 고위험 리턴)을 조건으로 하여 다음 액션을 예측하도록 학습됩니다.
   • 학습 목표: 다음 액션을 예측하는 오차를 최소화하고 리턴 투 고를 추정하는 이중 목표를 통해 최적화됩니다. 이를 통해 모델은 전문가의 행동을 직접 모방하기보다는 오프라인 데이터로부터 기저의 시스템 역학 및 "월드 특성"을 학습합니다.
2. 액션 샘플러 (Action Sampler, AS): 물리적 타당성과 제약 조건을 강제하는 도메인 특화 모듈입니다.
   • 기능: PM이 생성한 액션을 필터링하여 UTM 도메인 규칙을 준수하도록 보장합니다.
   • 선호 편향 (Preference Bias): 실패 데이터의 희소성을 해결하기 위해, AS는 인간 전문가의 지식과 최근 궤적과 타겟 분포 사이의 거리를 기반으로 샘플링 분포를 동적으로 조정하는 "선호 편향" 메커니즘을 도입하여, 롱테일 효과를 완화하고 액션 선택의 공정성(예: Top-K 샘플링 사용)을 개선합니다.

2.2 정식화

문제는 정책 $\pi$가 임계 실패 상태($S_{crit}$)로 전이될 확률을 최대화하는 것을 목표로 하는 마르코프 결정 과정(MDP)으로 정식화됩니다.

• 상태 공간 ($S$): 시간 윈도우 동안 $N$대의 UAV에 대한 시간적, 공간적 및 미션 정보의 결합.
• 액션 공간 ($A$): 특정 UAV 또는 시스템 구성 요소를 대상으로 하는 이산적인 주입 작업(예: 바람의 교란, 네트워크 지터, 장애물).
• 보상 ($r$): 시스템을 불안정성 쪽으로 몰아넣는 전이를 선호하도록 설계된 위험 기반 보상 함수.

3. 주요 기여

• 취약점 발견의 재정의: 본 논문은 취약점 발견을 Decision Transformer를 사용하는 시퀀스 모델링 문제로 재구성함으로써, 기존의 정책 기반 동적 진화 또는 반복적 편집 방법에서 벗어난 새로운 UTM 테스트 접근법을 제시합니다.
• 하이브리드 학습 전략: 전문가의 행동만을 모방하는 것이 아니라 월드 특성을 학습하는 역강화 학습(Inverse Reinforcement Learning)의 강점과 Transformer의 잠재 공간 모델링 능력을 결합합니다.
• 선호 편향을 갖춘 액션 샘플러: 안전한 시나리오와 임계 시나리오 사이의 심각한 데이터 불균형을 처리하기 위해 인간 전문가의 지식과 동적 보상 전략을 통합한 액션 샘플러를 도입했습니다.
• 확장 가능한 아키텍처: Transformer 아키텍처의 사용은 시스템이 UAV의 수와 시간적 맥락의 복잡성에 따라 효과적으로 확장될 수 있도록 하며, 이 도메인에서의 RNN 및 GNN의 한계를 해결합니다.

4. 실험 결과

프래임워크는 다양한 지리적 영역(농촌, 교외, 도시)을 포괄하는 약 170억 개의 토큰을 포함하는 산업 수준의 시뮬레이터 기반 대규모 오프라인 데이터셋을 통해 평가되었습니다. 두 가지 모델 크기(PM-1.2B 및 PM-2B)가 테스트되었습니다.

• 효율성 향상: 프레임워크는 전문가 가이드 방식의 착취(exploitation) 대비 취약점 발견 효율성에서 8배의 향상을 보여주었습니다.
• 임계 엣지 케이스 발견: 시스템은 전통적인 방법 및 스모크 테스트가 감지하지 못한 임계 엣지 케이스와 실패 모드(FPM: 백만 회 비행당 결함으로 측정)를 성공적으로 찾아냈습니다. 예를 들어, PM-2B 모델은 베이스라인 스모크 테스트에서 완전히 누락된 실패 모드(SPM 및 FPM)를 감지했습니다.
• 일반화 능력: 모델은 인도(in-distribution) 지역에 비해 미학습된 농촌 및 도시 환경과 같은 분포 외(OOD) 지역에서도 강력한 일반화 능력을 보여주었습니다.
• 스케일링 효과: 더 큰 모델(PM-2B)이 작은 모델(PM-1.2B) 및 베이스라인보다 액션 품질, 효율성 및 고위험 시나리오를 지속하는 능력(Constant-Pressure Action Ratio) 측면에서 일관되게 우수한 성능을 보였습니다.

5. 의의 및 주장

저자들은 본 연구가 안전 필수 시스템 테스트의 중요한 진전을 나타낸다고 주장합니다. Transformer 기반 시퀀스 모델링을 활용함으로써, 이 프레임워크는 전통적인 테스트를 저해하는 "롱테일 효과"와 최적의 실패 데몬스트레이션 부족 문제를 극복합니다.

• 효율성: 목표로 하는 고위험 시나리오를 전문가 가이드 방식보다 8배 빠르게 생성하는 능력은 취약점 식별 속도를 크게 가속화합니다.
• 희귀 버그의 발견: 규칙 기반 또는 전통적인 스트레스 테스트가 놓치는 창발적 실패 모드를 찾아내는 능력은 미션 크리티컬 시스템을 강화할 수 있는 잠재력을 입증합니다.
• 미래 잠재력: 이 엔드투엔드 자기회귀(auto-regressive) 학습 접근 방식은 적절한 안전장치가 마련된다면 자율 주행 자동차 및 산업 제어 시스템과 같은 다른 안전 필수 도메인의 테스트에 새로운 방향을 열어줄 것임을 시사합니다.

저자들은 프레임워크가 테스트 효율성을 크게 개선했음에도 불구하고, 모든 액션 유형의 분포를 완벽하게 균형 있게 맞추지는 못했다는 점을 인정하며, 액션 샘플링 전략에 대한 추가적인 정교화가 필요함을 언급하며 겸허한 입장을 유지하고 있습니다.