기술 요약: 증명 가능한 안전성 및 확장성을 갖춘 강화 학습 (PS2-RL)

문제 정의

안전한 강화 학습(Safe Reinforcement Learning, RL)은 작업 보상을 최대화하는 동시에 안전 제약 조건을 엄격히 준수하는 정책을 학습하는 것을 목표로 합니다. 기존의 접근 방식은 일반적으로 다음 두 가지 범주로 나뉘며, 각각 중대한 한계를 가지고 있습니다:

1. 연성 제약 최적화 (Soft-Constrained Optimization): 라그랑주 완화(Lagrangian relaxation)나 신경 인증 함수(neural certificate functions)를 사용하는 방법들은 경험적으로는 성공적이지만 공식적인 보증(formal guarantees)이 부족합니다. 결과적으로, 배포 중 발생할 수 있는 치명적인 실패를 방지할 수 없습니다.
2. 엄격한 보증 방법 (Strictly Guaranteed Methods): 명시적인 인증 함수(예: 제어 장벽 함수(CBF) 또는 안전 지표)에 의존하는 방식은 형식적인 안전성을 제공하지만, 제어 불변 집합(control-invariant sets)의 합성 및 검증 과정을 필요로 합니다. 이 과정은 상태 차원이 높아질수록 확장성이 떨어져, 고차원 시스템에서는 계산적으로 불가능해지거나 지나치게 보수적인 동작을 유발합니다.

핵심 과제는 성능이나 확장성을 희생하지 않으면서도, 입력 제약이 있는 고차원 시스템에 대해 증명 가능한 안전성 보증을 제공하는 RL 프레임워크를 개발하는 것입니다.

방법론: PS2-RL 프레임워크

저자들은 명시적인 전역 불변 집합의 합성을 피하는 두 단계 구조인 PS2-RL(Provably Safe, yet Scalable RL)을 제안합니다. 대신, 학습된 백업 정책을 활용하여 온라인에서 암묵적 제어 불변 집합을 생성합니다.

1단계: 안전 도착 정책(Safe-Arrival Policy) 학습

첫 번째 단계는 안전 영역을 확장하는 데 집중합니다. 시스템은 작은 인증된 기저 집합 $B$(예: LQR으로 안정화된 평형점)와 기저 제어기 $\pi_B$에 의해 고정됩니다. 목표는 더 넓은 상태 공간으로부터 시스템을 안전하게 $B$ 내부로 유도하면서 동시에 안전 집합 $S$ 내에 머물도록 하는 안전 도착 정책($\pi_{SA}$)을 학습하는 것입니다.

• 안전 도착 가치 함수 (Safe-Arrival Value Function): 저자들은 지표 기반 보상 역할을 하는 새로운 목적 함수인 '안전 도착 가치 함수'를 도입합니다. 이는 정책이 실패 집합 $F$에 진입하기 전에 $B$에 도달할 수 있는 능력을 정량화합니다.
  • 이 함수는 자기 일관성 조건(self-consistency condition)과 벨만 방정식을 만족하므로, 표준 RL 파이프라인(예: TD3, SAC)을 통해 정책을 학습할 수 있습니다.
  • 이 목적 함수는 시간 최적의 안전 회복(time-optimal safe recovery)을 장려하며, 결과적으로 백업 유도 제어 불변 집합($C_T(\pi_b)$)을 확장합니다. 이 집합은 구성된 백업 정책($B$ 외부에서는 $\pi_{SA}$, $B$ 내부에서는 $\pi_B$)이 호라이즌 $T$ 내에 안전을 위반하지 않고 $B$에 도달할 수 있는 모든 상태들로 구성됩니다.

2단계: 제어 불변 층을 이용한 엔드 투 엔드(End-to-End) 학습

두 번째 단계에서는 1단계에서 고정된 백업 정책에 의해 유도된 안전 제약을 엄격히 준수하면서 작업 특정 보상을 최대화하도록 작업 특정 RL 정책($\pi_\phi$)을 학습합니다.

• 제어 불변 층 (Control-Invariant Layer, CIL): 저자들은 RL 정책의 명목 출력(nominal output)을 BCBF-허용 입력 집합($K_{BCBF}$)으로 매핑하는 미분 가능한 투영 층을 구축합니다.
  • 이 집합은 고정된 백업 흐름이 주어졌을 때 제어 입력 $u$에 대해 아핀(affine) 형태를 띠는 BCBF 제약 조건에 의해 정의됩니다.
  • 이 층은 명목 정책의 출력과 가장 가까우면서도 안전 제약을 만족하는 제어 입력을 찾기 위해 이차 계획법(Quadratic Program, QP)을 해결합니다.
• 미분 가능성 (Differentiability): 결정적으로, QP 솔버는 미분 가능합니다. 이를 통해 학습 과정에서 안전 투영을 통과하여 그래디언트가 엔드 투 엔드로 전파될 수 있습니다. RL 정책은 단순히 사후적으로 패치되는 비미분 쉴드(shield)를 배우는 것이 아니라, 인증된 안전 집합 내에서 성능을 최적화하도록 학습됩니다.

주요 기여

1. PS2-RL 프레임워크: 고차원 시스템에 대해 명시적인 전역 불변 집합을 합성하지 않고도 형식적인 안전 보증을 달성하는 2단계 구조를 제공합니다. 이는 학습된 백업 롤아웃과 제어 공간 투영에 의존합니다.
2. 안전 도착 가치 함수: 타겟 집합으로의 시간 최적 안전 회복을 인코딩하는 새로운 목적 함수입니다. 이는 벨만 방정식을 수용하여, 분석적 대안(예: LQR)보다 경험적으로 훨씬 더 큰 안전 영역을 생성하는 신경 백업 정책 학습을 가능하게 합니다.
3. 제어 불변 층: BCBF 제약을 강제하는 미분 가능한 투영 층입니다. 저자들은 이 층이 하부 신경망의 **보편 근사 성질(universal approximation property)**을 보존함을 증명하였으며, 이를 통해 안전 강제가 정책의 표현력을 저해하지 않음을 보장합니다.
4. 이론적 보증: 다음을 확립하는 포괄적인 증명을 제공합니다:
   • 구성된 PS2 정책은 안전 정책 클래스($\Pi_{safe}$)에 속함.
   • 본 프레임워크는 원래의 안전 RL 문제에 대한 인증된 내부 근사(certified inner approximation)를 해결함.
   • 투영 층이 정책 네트워크의 근사 능력을 유지함.

실험 결과

프레임워크는 의도적으로 안전하지 않은 참조 궤적을 가진 두 가지 추적 작업에 대해 평가되었습니다:

1. Unicycle Lane-Keeping (3D 상태): PS2-RL은 모든 시드(seed)에서 100% 안전성을 달성했으며, 안전성을 유지하면서도 추적 정확도(횡방향 및 헤딩 RMSE) 측면에서 모든 베이스라인을 능가했습니다. 또한 분석적 백업 정책(PS2ABP)을 사용할 때보다 보수성을 크게 줄였습니다.
2. Quadrotor Powerloop (10D 상태): 이 작업은 좁은 구동 제한과 높은 상대 차수(high-relative-degree) 고도 제약을 가진 10차원 시스템을 포함합니다.
   • PS2-RL은 100% 안전성을 달행한 반면, 기대 비용 제약(CMDP)이나 연성 페널티에 의존하는 방법들은 빈번하게 안전 위반을 일으켰습니다.
   • 형식적 안전 메커니즘(CBF-RL, 모델 예측 쉴딩)을 사용하는 베이스라인들과 비교했을 때, PS2-RL은 실질적으로 낮은 추적 오차(RMSE 약 40~70% 감소)를 보여주었습니다.
   • 학습된 안전 도착 정책은 회복 가능한 작업 관련 천장 근접 상태의 비율을 60.9%(분석적 방식)에서 85.9%로 증가시켰습니다.

절제 연구 (Ablation Studies): 배포 시 제어 불변 층을 제거하면 안전성이 0%로 떨어졌으며, 이는 해당 층이 보증에 필수적임을 확인시켜 줍니다. 반대로, 이 층을 엔드 투 엔드 학습 없이 사후 필터로만 사용했을 경우 추적 성능이 43~53% 더 낮게 나타났으며, 이는 미분 가능한 투영을 통한 학습의 필요성을 강조합니다.

의의 및 주장

본 논문은 PS2-RL이 증명 가능한 안전성과 확장성 사이의 간극을 성공적으로 메운다고 주장합니다. 전역 불변 집합의 난해한 합성을 학습된 백업 롤아웃과 미분 가능한 제어 공간 투영으로 대체함으로써, 본 프레임워크는 기존의 안전한 방법들이 어려움을 겪던 고차원 시스템(실험에서 최대 10개 상태)에 대한 안전한 RL을 가능하게 합니다.

저자들은 이 접근 방식이 기초가 되는 RL 알고리즘에 아무런 제약을 가하지 않으며, 기존의 학습 파이프라인에 통합될 수 있음을 강조합니다. 이론적 결과는 이 방법이 높은 성능과 복잡한 로봇 제어 작업에 필요한 높은 표현력을 유지하면서도 강력한 안전 보증을 제공함을 확인해 줍니다.

한계점 인정: 형식적 보증은 제어 아핀(control-affine) 분석 역학 모델 또는 미분 가능한 시뮬레이터의 가용성에 의존합니다. 저자들은 불확실한 역학 및 인지 기반 제약, 그리고 실제 하드웨어 배포로 프레임워크를 확장하는 것이 향후 과제로 남아 있다고 언급했습니다.