기술 요약: TRUST-UP

문제 정의

본 논문은 강화 학습(RL)의 높은 성능과, 특히 인간이 존재하는 저고도 도심 환경에서 항공 인증에 필요한 엄격한 안전 및 투명성 요구 사항 사이의 결정적인 격차를 다룹니다.

강화 학습은 민첩한 비행 제어를 가능하게 하지만, 그 "블랙박스"적 특성과 결정론적 안전 보장의 부재는 항공 운용 능력 인증을 저해합니다. 식별된 구체적인 과제는 "인지된 안전(perceived safety)" 또는 **"신뢰 반경(trust radius)"**의 개념입니다. 무생물 장애물과 달리, 인간은 심리적 안락함과 근접성(proxemics)에 기반하여 확장된 안전 마진을 필요로 합니다. 표준 RL 정책은 종종 기술적 충돌 회피(예: 보행자를 고속으로 아슬아슬하게 피하는 것)를 우선시하는데, 이는 기술적으로는 충돌 제약 조건을 만족할지라도 개인 공간을 침범함으로써 인간의 신뢰를 위반할 수 있습니다. 보상 형성(reward shaping)이나 정적 쉴딩(static shielding)과 같은 기존의 안전 강화 학습 방법들은 인간의 심리적 신뢰를 위한 결정론적 보장을 제공하지 못하거나, 추력 제한 및 센싱 범위를 고려한 복잡하고 인간 중심적인 제약 조건을 강제할 때 실행 가능성(feasibility) 확보에 어려움을 겪습니다.

방법론: TRUST-UP 프레임워크

저자들은 모델 프리(model-free) RL 정책을 제어 장벽 함수(Control Barrier Functions, CBFs) 기반의 형식적 안전 필터와 통합한 TRUST-UP(Safe Techniques를 이용한 신뢰할 수 있는 UAV 추적 강화 학습) 프레임워크를 제안합니다. 이 시스템은 불안전한 RL 동작을 검증 가능한 안전 비행 명령으로 변환하면서 운영 투명성을 유지하도록 설계되었습니다.

1. 시스템 증강 및 변환

추력 제한 시스템에서 흔히 발생하는 실행 가능성 문제를 해결하기 위해, 저자들은 가상 제어 입력을 도입하여 UAV 동역학을 증강합니다. 이는 원래의 1차 추력 제한 문제를 2차 출력 제한 문제로 변환합니다. 이 변환은 액추에이터 관성을 안전 제약 조건에 포함시켜, 전통적인 1차 CBF에서 발생하는 급격한 입력 변화로 인한 과부하 문제를 완화하고 결과적인 이차 계획법(Quadratic Program, QP)의 실행 가능성을 높입니다.

2. 적응형 안전 필터 구축

TRUST-UP의 핵심은 세 가지 적응형 CBF로 구성된 안전 필터이며, 이는 QP 문제로 정식화됩니다. 이 제약 조건들은 세 가지 특정 안전 집합의 전방 불변성(forward invariance)을 보장합니다:

• 입력 제약 ($C_{u,i}$): 추격자와 목표물 사이의 상대적 위치에 따라 최대 추력 허용량을 동적으로 조절하는 시변 제약 조건입니다. 이를 통해 비상 기동 중에는 경계를 완화할 수 있는 반면, 일반 비행 중에는 불규칙한 명령을 엄격하게 규제할 수 있습니다.
• 충돌 회피 ($C_{c,i}$): 추격자와 다른 모든 에이전트(목표물, 다른 UAV) 및 정적 장애물 사이의 최소 안전 거리를 보장합니다.
• 센싱 범위 ($C_{s,i}$): 추격자가 목표물에 대한 센서 커버리지를 유지할 수 있도록 최대 거리 이내에 머물도록 보장합니다.

필터는 미지의 파라미터를 추정하기 위한 적응형 법칙을 활용하여 시스템 불확실성(예: 바람, 센서 노이즈)을 고려하며, 이를 통해 외란에 대한 강건성을 확보합니다.

3. 투명한 스위칭 전략

프레임워크는 다음과 같은 하이브리드 제어 법칙과 스위칭 전략을 채택합니다:

• 영역 $R_1$: 명목상의 RL 동작($\pi_i$)이 모든 안전 제약 조건을 만족하는 경우(즉, 허용 집합 내에 있는 경우), 시스템은 RL 동작을 직접 실행합니다.
• 영역 $R_2$: RL 동작이 제약 조건을 위반하는 경우, 안전 필터가 활성화됩니다. 시스템은 CBF-QP를 풀어 명목 동작에 가장 가까우면서도 모든 제약 조건을 만족하는 안전한 제어 입력($v^*_i$)을 찾습니다.

저자들은 이 스위칭 전략이 QP 문제가 카루시-쿤-터커(KKT) 조건을 만족함을 보장하여, 고유하고 립시츠 연속(Lipschitz continuous)인 해를 생성하고 안전 집합의 불변성을 유지함을 공식적으로 증명합니다.

주요 기여

1. 추력 제한 CBF 설계: 가상 입력을 통해 시스템을 증강하여 추력 제약을 처리하는 방법을 도입했습니다. 이 접근 방식은 비상 기동 시 상한선을 적응적으로 완화하면서도 운용 비행 엔벨로프 한계를 강제하여, 임무 성능과 검증 가능한 안전 사이의 균형을 맞춥니다.
2. 적응형 안전 필터: 충돌 회피 및 센싱을 위한 두 개의 위치 기반 CBF를 추력 제한 CBF와 결합하여, 실행 가능성이 보장된 안전 필터를 설계했습니다. 이러한 제약 조건의 적응적 특성은 UAV가 대기 외란 하에서도 안전한 운용을 유지할 수 있게 합니다.
3. 검증된 실행 가능성을 갖춘 TRUST-UP 알고리즘: RL 출력을 판단하는 투명한 스위칭 전략을 제안합니다. 저자들은 알고리즘이 모든 안전 제약 조건에 대해 KKT 조건을 만족함을 공식적으로 증명하여, 인증된 배포를 위한 항공 신뢰성 요구 사항 준수를 보장합니다.

시뮬레이션 결과

저자들은 정적 장애물과 미지의 외란이 있는 환경에서 두 대의 추격 UAV가 목표물을 추적하는 수치 시뮬레이션을 통해 TRUST-UP을 검증했습니다. 두 가지 시나리오가 테스트되었습니다:

1. 원형 기동: 목표물이 큰 원형 기동을 수행함.
2. 8자 기동: 목표물이 곡률이 변하는 복잡한 "8자" 궤적을 수행함.

비교 분석:

• SAC 단독 vs. TRUST-UP: 안전 필터 없이 훈련된 베이스라인 Soft Actor-Critic (SAC) 알고리즘은 안전을 보장하지 못했습니다. 시뮬레이션에서 SAC 단독 에이전트는 장애물과 충돌하거나 목표물에 대한 센싱을 놓쳤습니다(센싱 반경 초과).
• 안전 보장: TRUST-UP은 목표물이 공격적인 회피 기동을 수행하는 상황에서도 모든 안전 제약 조건(충돌 회피, 센싱 범위, 입력 제한)을 성공적으로 유지했습니다.
• 제어 안정성: TRUST-UP이 생성한 제어 입력은 고주파 진동 없이 규정된 범위 내에 머물렀으나, SAC 단독 방식은 외란 하에서 불안정한 추적 동작을 보였습니다.
• 계산 효율성: TRUST-UP CBF-QP 구현은 표준 입력 제한 CBF-QP 기술에 비해 평균 QP 해결 시간을 약 14.1% 단축하며 개선된 온라인 계산 효율성을 입증했습니다.

의의 및 주장

본 논문은 TRUST-UP가 자율 시스템을 인간 환경에 배치할 때 발생하는 근본적인 결함, 즉 기술적 안전과 인지된 신뢰 사이의 단절을 해결한다고 주장합니다. 심리적 안전 구역(신뢰 반경)을 투명한 안전 필터 내의 결정론적 하드 제약 조건으로 변환함으로써, 이 프레임워크는 AI 성능과 항공 인증 표준 사이의 간극을 메웁니다.

저자들은 자신들의 연구가 저고도 항공을 위한 검증 가능하고 설명 가능한 AI 프레임워크를 향한 기여를 한다고 강조합니다. 보상 형성(연성 페널티)에 의존하는 방법과 달리, TRUST-UP는 결정론적 보장을 제공합니다. 투명한 스위칭 전략은 안전 결정의 해석 가능성을 보장하여, 안전 필수적인 항공 운용의 항공 운용 능력 인증 요구 사항을 충족합니다. 본 논문은 이 접근 방식이 인간의 존재와 심리적 안락함이 중요한 요소인 미래의 도심 항공 모빌리티를 위한 신뢰할 수 있는 자율 비행 시스템을 향한 필수적인 단계라고 결론짓습니다.