CALOS: Control-Affine Lyapunov On-manifold Safety Layer for Safe Deep Reinforcement Learning for Quadrotors

기술 요약: CALOS – 제어 아핀 리아푸노프 온-매니폴드 안전 계층 (Control-Affine Lyapunov On-manifold Safety Layer)

문제 정의
심층 강화 학습(DRL)은 쿼드로터 제어에서 상당한 능력을 입증했으나, 학습 중 또는 배포 중의 안전 제약 조건에 대한 형식적인 보장을 결여하고 있다. 기존의 안전한 DRL 접근 방식들은 지속적인 긴장 관계에 직면해 있다: 제약된 마르코프 결정 과정(CMDP)은 학습을 불안정하게 만들 수 있고, 런타임 필터(쉴딩 또는 제어 장벽 함수)는 동작을 너무 공격적으로 수정할 경우 그래디언트 신호를 저하시키는 경우가 많다. 또한, 현재의 구조적 한계는 여러 안전 인증(safety certificates)의 공동 최적화를 방해한다. ATACOM과 같은 방법들은 동작을 제약 매니폴드로 투영하지만 회전 소산을 위한 에너지 기반 인증이 부족하며, 리아푸노프 기반 방법들은 제약 조건을 독립적으로 취급하여 하나의 제약 조건을 만족하는 동안 다른 제약 조건을 위반할 위험이 있다. 이러한 방법들의 순차적 결합은 공동 타당성(joint feasibility)을 보장하지 못하며, 특히 큰 추적 오차로 인해 최대 제어 권한이 필요한 경우 순차적 스케일링이 이를 무효화할 수 있다.

방법론
본 논문은 표준 DRL 정책(특히 PPO)의 하단에서 기본 학습 알고리즘을 수정하지 않고 투명하게 작동하는 런타임 안전 계층인 CALOS(Control-Affine Lyapunov On-manifold Safety)를 제안한다. CALOS는 기울기 제약(attitude-tilt constraints)과 리아푸노프 안정성 조건을 단일 이차 계획법(Quadratic Program, QP)으로 통합하여 명목 토크 출력에 대한 최소 노름(minimum-norm) 수정을 계산한다.

1. 기울기 제약 (예측 기울기 투영, Predictive Tilt Projection):
   오일러 각도 특이점을 피하기 위해 자세는 바디 프레임에서의 중력 벡터($g_b$)로 표현된다. 심플렉틱 오일러 이산화를 사용하여, 미래의 중력 벡터를 제어 토크의 아핀 함수로 모델링한다. 이 정식화는 롤 및 피치 제한($\phi_{max} = \theta_{max} = 60^\circ$)을 4개의 선형 부등식($A_{PTP}\tau \le b_{PTP}$)으로 부과할 수 있게 한다.

2. 리아푸노프 제약:
   기울기 오차와 각속도를 기반으로 리아푸노프 후보 함수 $V(x)$를 정의한다. 이 계층은 감쇄 조건 $\dot{V} \le -cV$를 강제하며, 이는 회전 역학의 제어 아핀 특성 덕분에 단일 선형 부등식($A_L\tau \le b_L$)으로 변환된다. 이는 회전 에너지 소산을 보장한다.

3. 통합 정식화:
   기울기 투영 후 리아푸노프 스케일링을 적용하여 (오차가 클 때 토크 무효화를 초래할 수 있는) 순차적 접근 방식과 달리, CALOS는 5개의 선형 제약(4개의 기울기, 1개의 리아푸노프)을 단일 시스템으로 쌓는다. 안전 계층는 다음을 해결한다:
   $$\tau^\star = \arg \min_{\tau \in \mathbb{R}^3} \frac{1}{2} \|\tau - \tau_0\|^2 \quad \text{s.t.} \quad A(x)\tau \le b(x)$$
   여기서 $\tau_0$는 정책으로부터 나온 명목 토크이다.

4. 솔버 (Solvers):

   • CALOS-P: 감쇠 의사 역행렬(damped pseudo-inverse) 수정을 사용하는 투영 근사법이다. 이는 정확한 최소 노름 솔루션을 보장하는 대신 모든 제약을 공동으로 강제하며, 대규모 병렬 학습을 위한 속도를 우선시한다.
   • CALOS-QP: 3차원 토크 공간을 활용하는 정확한 솔버이다. 모든 가능한 활성 집합(26개 후보)을 열거하여 카루시-쿠恩-터커(KKT) 조건을 만족하는 정확한 최소 노름 솔루션을 찾는다. 만약 실행 가능한 솔루션이 존재하지 않으면, 시스템은 액추에이터 클램핑(actuator clamping)이 적용된 수정되지 않은 정책 동작으로 폴백(fallback)한다.

주요 기여

• 통합 안전 계층: 순차적 결합에 따른 타당성 문제를 피하기 위해 기울기 제약과 리아푸노프 안정성을 단일 QP 단계에서 공동 최적화하는 최초의 런타임 계층이다.
• 실시간 확장성: 정확한 솔버(CALOS-QP)는 현대의 대규모 병렬 DRL 학습에 필수적인 수천 개의 병렬 시뮬레이션 환경 전체에서 실행될 수 있을 만큼 계산 효율적이다.
• 훈련 궤적에서의 제로 위반: 이 방법은 훈련 중에 제약 조건을 엄격히 강제하여 에이전트가 안전하지 않은 상태 공간 영역을 탐색하는 것을 방지한다.

실험 결과
NVIDIA Isaac Lab 내 궤적 추적 작업에서 평가되었으며, CALOS는 무제약 PPO, 단독 기울기 투영(PTP), 단독 리아푸노프 스케일링, 그리고 이들의 순차적 캐스케이드(cascade) 모델과 비교되었다.

• 추적 성능: CALOS-P와 CALOS-QP는 훈련 궤적에서 무제약 PPO 베이스라인 대비 횡방향 추적 오차를 55–60% 감소시켰다. 초기 위치 오프셋이 큰 미학습 궤적에서도 CALOS 변형 모델들은 0.08 m 미만의 오차를 유지한 반면, 리아푸노프 및 캐스케이드 방식은 토크 무효화로 인해 추적에 실패했다.
• 안전 지표: 훈련 궤적에서 CALOS-QP는 자세 제약 위반 0회를 달 기록했다. 극단적인 초기 오프셋 상황에서 위반은 CALOS-P의 경우 최대 3회 연속 단계, CALOS-QP의 경우 최대 9회 단계로 제한되었으며, 이는 순차적 방식의 최대 27 단계와 대조적이다.
• 수렴 및 데이터 효율성: 안전한 영역으로 탐색을 제한함으로써 CALOS는 훈련 수렴을 가속화했다.
• 내재화된 행동: CALOS로 훈련된 정책은 테스트 시 안전 계층를 비활성화하더라도 더 안전하고 정확한 행동을 유지했으며, 이는 PPO 훈련 정책보다 55–74% 낮은 횡방향 오차를 보여주었다. 이는 정책이 안전 제약 조건을 성공적으로 내재화했음을 나타낸다.

의의
본 논문은 CALOS가 안전 강제와 학습 효율성 사이의 트레이드오프를 해결한다고 주장한다. 안전을 단일의 저차원 QP로 정식화함으로써, 공격적인 순차적 수정에 의해 그래디언트 신호가 저하되지 않도록 보장한다. 이 방법은 정책이 안전한 매니폴드 내에서 최적의 행동을 학습할 수 있게 하여, 추적 성능을 희생하지 않으면서도 본질적으로 더 안전하고 데이터 효율적인 정책을 생성한다. 저자들은 QP 실행 가능 집합(feasible set)이 모든 테스트에서 비어 있지 않았음을 언급하며, 이 공동 정식화의 견고함을 확인하였다.

향후 연구
저자들은 세 가지 연구 방향을 제시한다:

1. 드론이 0이 아닌 유효한 참조 자세를 추적할 때 불필요한 개입을 피하기 위한 학습된 과업 인식 리아푸노프 인증(learned, task-aware Lyapunov certificates) 개발.
2. 비제어 아핀 역학(예: 로터 속도 역학 또는 블레이드 플래핑 효과를 포함하는 모델)으로의 프레임워크 확장.
3. 물리적 하드웨어의 모델 불확실성을 다루기 위해 도메인 랜덤화 및 데이터 기반 안전 필터를 사용하는 심투리얼(sim-to-real) 전이 조사.