기술 요약: 정책 라이브러리 제어 장벽 함수 (PL-CBF)

문제 제기

비구조화된 실제 환경에서 자율 시스템의 배포는 온라인 안전 인증과 관련하여 상당한 도전에 직면해 있습니다. 고정된 제약 조건과 완전히 모델링된 매개변수를 갖는 고전적 설정과 달리, 배포된 로봇은 안전 영역이 온라인으로 드러나고, 동적 장애물이 나타나거나 사라지며, 작동 조건 (예: 마찰) 이 시간에 따라 변화하는 지각 제한 정보를 하에서 작동합니다.

해밀턴 - 자코비 (HJ) 도달성 분석과 같은 형식적 검증 도구는 강력한 보장을 제공하지만, 차원의 저주로 고통받으며 고차원 로봇 시스템에 대해 계산적으로 처리 불가능합니다. 제어 장벽 함수 (CBF) 는 확장 가능한 대안을 제공하지만, 일반적으로 고정된 제약 조건 하의 전체 비선형 시스템에 대한 명시적 장벽 함수를 필요로 하는데, 제약 조건이 온라인으로 진화할 때 이를 얻는 것은 어렵습니다.

롤아웃에 기반한 기존 런타임 안전 필터인 정책 CBF(PCBF) 와 같은 방법들은 오프라인 가치 함수 계산을 없이 궤적 롤아웃으로부터 안전 증명을 구성하려 시도합니다. 그러나 이러한 방법들은 단일 지정된 폴백 정책에 의존합니다. 비구조화된 환경에서는 단일 기동이 모든 지각 업데이트에 걸쳐 신뢰할 수 있게 안전하지 않습니다. 예를 들어, 급격한 마찰 손실 하에서 정지 기동이 실패하거나, 새로 감지된 장애물로 인해 고정된 회피 기동이 불가능해질 수 있습니다. 단일 폴백에 대한 이러한 의존성은 불필요한 보수성을 유발하며, 대안적인 안전 기동이 존재함에도 불구하고 안전 위반을 초래할 수 있습니다.

방법론: 정책 라이브러리 제어 장벽 함수 (PL-CBF)

저자들은 PL-CBF를 제안합니다. 이는 병렬 유한 시간 롤아웃을 통해 다양한 폴백 정책의 유한 라이브러리를 평가하여 안전성을 인증하고 최소 침습적인 안전 모드를 선택하는 런타임 안전 필터입니다.

핵심 공식화

단일 백업 정책에 의존하는 대신, PL-CBF 는 $K$개의 후보 폴백 정책 $\Pi = \{\pi_1, \pi_2, \dots, \pi_K\}$의 라이브러리를 정의합니다. 이는 유한 시간 정책 라이브러리 가치 함수를 구성합니다:
$$H^\Pi_T(x) := \max_{\pi_i \in \Pi} \left\{ \inf_{\tau \in [0,T]} h(\phi^{\pi_i}_\tau(x)) \right\}$$
여기서 $h$는 안전 집합을 정의하는 제약 함수입니다. 라이브러리의 적어도 하나의 정책이 시간 구간 $T$ 동안 음이 아닌 제약 값을 유지하면, 해당 상태는 안전하다고 간주됩니다.

안전 필터 합성

안전 필터는 안전성을 보장하면서 명목 제어 입력 $u_{nom}$을 최소로 수정하는 2 차 계획법 (QP) 을 풀어 작동합니다.

1. 병렬 롤아웃: 시스템은 $\Pi$의 모든 정책에 대해 병렬 롤아웃을 수행하여 각각의 안전 값 $H^{\pi_i}_T(x)$를 계산합니다.
2. 정책 선택: 인증된 안전 후보 ($H^{\pi_i}_T(x) > 0$) 중에서 필터는 "최소 침습적"인 정책 $\pi_{i^*}$를 선택합니다. 단순히 가장 큰 안전 마진을 선택하는 방법과 달리, PL-CBF 는 허용 제어 집합 $K_{cbf}(x; \pi_i)$의 부피를 최대화하는 정책을 선택합니다. 이는 다음과 같이 정의됩니다:
   $$i^* = \arg \max_{i \in I_{safe}(x)} \text{Vol}(K_{cbf}(x; \pi_i))$$
3. QP 실행: 최종 제어 입력 $u^*$는 다음을 풀어 얻습니다:
   $$u^* = \arg \min_{u \in U} \|u - u_{nom}\|^2_2 \quad \text{s.t.} \quad \nabla H^{\pi_{i^*}}_T(x)^\top(f(x) + g(x)u) \geq -\alpha(H^{\pi_{i^*}}_T(x))$$
   기울기는 동역학을 통한 자동 미분을 사용하여 런타임에 효율적으로 계산됩니다.

이론적 분석

이 논문은 유한 시간 언어 메트릭을 사용하여 유한 시간 안전 인증에 대한 완전성 조건을 확립합니다. 이 메트릭은 시간 구간 $T$ 동안 두 정책 롤아웃 간의 최악의 상태 편차를 측정합니다. 저자들은 정책 라이브러리 $\Pi$가 충분히 낮은 근사 정밀도 (즉, 라이브러리가 허용 행동 공간을 충분히 밀접하게 커버함) 를 가지며, 0 이 아닌 여유를 가진 엄격하게 안전한 정책이 존재한다면, 라이브러리가 PL-CBF 가 안전하다고 인증할 수 있는 정책을 포함할 것이라고 증명합니다.

또한 이 프레임워크는 이상적인 무한 시간 극한에서의 고전적 CBF 및 순방향 불변성과의 개념적 연결을 논의하며, 라이브러리에 유효한 백업 정책이 포함되어 있다면 PL-CBF 가 백업 CBF 접근법의 재귀적 실행 가능성 보장을 회복한다고 지적합니다.

주요 기여

1. 정책 라이브러리 기반 유한 시간 안전 필터링: 병렬 롤아웃을 통해 후보 폴백 정책의 유한 라이브러리를 평가하여 안전성을 인증하는 PL-CBF 의 도입. 인증된 후보들 중에서 허용 제어 집합의 부피를 최대화함으로써 가장 덜 제한적인 제약을 선택합니다.
2. 이론적 특성화: 폐루프 행동에 대한 유한 시간 언어 메트릭을 기반으로 한 유한 시간 안전 인증에 대한 완전성 조건 확립. 이는 안전성을 인증하는 데 필요한 정책 라이브러리 커버리지 요구 사항을 특성화합니다.
3. 실증적 검증 및 런타임 효율성: 3 가지 시뮬레이션 벤치마크 (평면 더블 적분기, 급격한 마찰 변화가 있는 고속도로 주행, 3D 쿼드콥터 항법) 에서 단일 정책 안전 필터 대비 향상된 안전 커버리지 입증과 동시에 밀리초 수준의 런타임 유지.

실험 결과

저자들은 단일 폴백 정책을 사용하는 4 가지 대표적인 안전 필터 (모델 예측 차폐, 게이트키퍼, 백업 CBF, 정책 CBF) 에 대해 PL-CBF 를 평가했습니다.

• 평면 더블 적분기: PL-CBF 는 정지 및 회피 정책의 라이브러리를 평가함으로써 가장 큰 안전 집합을 복원하는 능력을 입증한 반면, 단일 정책 방법은 선택된 폴백에 따라 종종 더 작은 다른 안전 집합을 복원했습니다.
• 고속도로 주행 (급격한 마찰 변화): 8 개의 상태로 구성된 현실적인 비선형 차량 모델과 급격한 마찰 변화 (검은 얼음) 가 있는 시나리오에서, PL-CBF 는 10 m/s 의 목표 속도에서 0/50 의 실패를 기록했습니다. 반면, 모든 단일 폴백 기준선은 22% 에서 92% 사이의 충돌 또는 비실행성 비율을 보였습니다. PL-CBF 는 단계당 7.5 ms의 런타임을 유지했습니다.
• 3D 쿼드콥터 항법: 혼잡한 동적 환경 (12 개 상태) 에서 단일 정책 기준선은 68% 에서 79% 의 시도에서 실패했습니다. PL-CBF 는 65 개의 기동 (64 개의 회피 + 1 개의 명목) 라이브러리를 사용할 때 실패율을 0% 로 줄였으며, 런타임은 27.9 ms였습니다. 논문은 유사한 기동 선택을 가진 혼합 정수 MPC 기준선이 훨씬 느렸음 (688 ms) 을 지적합니다.

중요성 및 주장

이 논문은 비구조화된 환경에서 단일 고정된 폴백 기동에 의존하는 취약성을 PL-CBF 가 해결한다고 주장합니다. 라이브러리를 통해 다중 모드 안전 기동을 유지하고 온라인에서 최소 침습적인 옵션을 선택함으로써, 이 방법은 실시간 성능을 희생하지 않으면서 안전 커버리지를 향상시킵니다.

저자들은 PL-CBF 를 실용적이고 배포 가능한 고율 안전 계층으로 위치시킵니다. 그들은 이 방법이 HJ 도달성의 계산적 처리 불가능성과 전통적 CBF 의 오프라인 합성 요구 사항을 피한다고 명시적으로 언급합니다. 그 중요성은 단일 기동이 안전을 보장할 수 없는 진화하는 제약 조건과 지각 업데이트를 처리할 수 있는 능력에 있으며, 이를 통해 보수성을 줄이고 단일 정책 필터로 인해 발생할 수 있는 안전 위반을 방지합니다.

이 논문은 겸손하게 결론을 내리며, 향후 작업은 학습 기반 접근법을 사용한 체계적인 정책 라이브러리 구성, 모델 불일치 및 지각 불확실성 처리, 그리고 라이브러리를 온라인으로 정제하기 위한 적응 메커니즘에 초점을 맞출 것이라고 밝힙니다.