Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning

기술적 요약: 안전한 액터-크리틱 강화 학습을 위한 강건한 쿠퍼먼 제어 장벽 필터

문제 제기
로봇 시스템에 대한 안전한 강화 학습 (RL) 은 훈련 및 배포 과정에서 상태 및 입력 제약을 엄격히 만족시키면서도 작업 성능을 향상시킨다는 근본적인 긴장 관계에 직면해 있습니다. 제어 장벽 함수 (CBF) 는 최소 침습적 안전 필터를 통해 순방향 불변성을 강제하는 원칙적인 메커니즘을 제공하지만, 정확한 시스템 동역학과 수동으로 설계된 장벽 인증서가 필요하다는 요구 사항으로 인해 모델 프리 RL 에서는 적용이 어렵습니다. 기존 제약 RL 방법들은 종종 점별 안전성보다는 기대 누적 비용 보장만 제공하며, 보상 페널티는 단계별 보장을 결여합니다. 저자들은 오프-폴리시 딥 RL 의 샘플 효율성과 비선형 시스템에 대해 볼록성을 유지하는 데이터 기반 CBF 안전 필터를 결합하는 과제를 해결하며, 특히 유한 차원 쿠퍼먼 모델에 내재된 근사 오차를 고려합니다.

방법론: 강건한 쿠퍼먼-CBF SAC
본 논문은 세 가지 핵심 구성 요소를 통합하는 안전 필터링 액터 - 크리틱 프레임워크인 강건한 쿠퍼먼-CBF SAC를 제안합니다:

1. 데이터 기반 쿠퍼먼 리프팅: 이 방법은 확장 동적 모드 분해 (EDMD) 를 사용하여 오프라인 롤아웃 데이터로부터 유한 차원 쿠퍼먼 예측기를 학습합니다. 비선형 동역학은 관측치 공간 $\psi(x)$로 리프팅되어 진화가 근사적으로 선형이 되도록 합니다: $z_{t+1} \approx Az_t + Bu_t$. 사전 $\psi$에는 원래 상태 좌표와 물리적 제약을 리프트된 공간에서 아핀 함수로 표현할 수 있도록 보장하는 방사형 기저 함수 (RBF) 가 포함됩니다.
2. 강건한 리프트된 CBF 제약: 유한 차원 모델의 근사 오차를 처리하기 위해 저자들은 투사된 잔차 마진($\rho$)을 도입합니다. 전체 잔차 노름을 경계 짓는 대신, 홀드아웃 보정 세트를 사용하여 장벽 부등식에 직접 영향을 미치는 예측 오차의 성분 ($|c^\top r|$) 을 추정합니다. 이 마진은 경험적 또는 컨포멀 분위수를 통해 계산됩니다. 안전 조건은 다음과 같이 강화됩니다:
   $$h_K(Az_t + Bu_t) \geq (1 - \eta)h_K(z_t) + \rho$$
   이로 인해 제어 입력에 대한 아핀 제약이 도출되어 안전 필터를 경량 2 차 계획법 (QP) 으로 구현할 수 있게 됩니다.
3. 액터 - 크리틱 통합: 이 프레임워크는 명목상 행동과 실행된 행동 간의 불일치를 해결하기 위해 표준 Soft Actor-Critic (SAC) 알고리즘을 수정합니다:
   • 크리틱 훈련: 크리틱은 QP 필터에 의해 생성된 실행된 안전 행동 ($u^{safe}_t$) 으로 훈련되어, 가치 추정이 실제 폐루프 동역학을 반영하도록 합니다.
   • 액터 정규화: 액터는 실행 가능한 집합 내에 이미 있는 행동을 제안하도록 장려하는 미분 가능한 CBF 제안 페널티 ($\ell_{cbf}$) 를 받아 시간이 지남에 따라 필터에 대한 의존도를 줄입니다.
   • 슬랙 처리: QP 는 작동기 한계 하에서 수치적 실행 가능성을 유지하기 위해 슬랙 변수를 포함하지만, 저자들은 양의 슬랙이 공식적인 안전 인증서를 약화시킨다고 지적합니다.

주요 기여

1. 강건한 필터 공식화: 비선형 동역학을 근사적으로 선형인 시스템으로 리프팅하고 아핀 QP 제약을 통해 안전성을 강제하는 모델 프리 액터 - 크리틱 RL 을 위한 강건한 쿠퍼먼-CBF 안전 필터 도입.
2. 투사된 잔차 마진: 보정 데이터에서 유도된 투사된 잔차 마진을 사용하여 유한 차원 쿠퍼먼 모델 오차를 추정하는 새로운 방법으로, 직접 구현 가능한 강건한 이산 시간 CBF 조건을 산출.
3. 일관된 액터 - 크리틱 훈련: 실행된 행동 기반 크리틱 학습과 액터 측 실행 가능성 페널티를 사용하여 필터를 통합함으로써, 정책이 필터링되지 않은 행동을 최적화하는 반면 환경 전이는 필터링된 행동에 의해 생성되는 일반적인 불일치를 제거.
4. 경험적 진단: 투사된 잔차 마진 $\rho$가 필터 효과성을 예측하는 사전 훈련 가능 진단 지표로 작용함을 보여주는 포괄적인 평가.

실험 결과
이 방법은 Safe-Control-Gym(CartPole, 2D 쿼드콥터) 및 Safety Gymnasium(Walker, HalfCheetah) 에서 평가되었습니다.

• 저차원 작업 (CartPole 및 쿼드콥터): CartPole 안정화 및 추적에서 강건한 쿠퍼먼-CBF SAC 는 모든 시드에서 제약 위반이 0이었으며, 제약이 없는 SAC 와 동등하거나 더 높은 수익을 달성했습니다. 2D 쿼드콥터 추적에서는 위반률을 96.8% 감소시켰습니다 (12.5% 에서 0.4% 로). 이러한 성공은 작은 투사된 잔차 마진 ($\rho \approx 10^{-3}$) 과 올바른 상대 차수 처리 (쿼드콥터의 경우 복합 장벽 사용) 에 기인했습니다.
• 고차원 보행 (Walker 및 HalfCheetah): 결과는 혼재되어 구조적 한계를 드러냈습니다. Walker 의 경우 위반률이 77.8% 에서 37.0% 로 감소했으나, SAC+Lagrangian(3.34% 위반) 에 비해 성능이 낮았습니다. HalfCheetah 의 경우 위반률이 여전히 높았으며 (82.8%), 심각한 성능 저하 (-70% 수익) 를 동반했습니다.
• 실패 분석: 고차원이고 접촉이 많은 작업에서 투사된 잔차 마진 $\rho$는 컸습니다 (Walker 의 경우 0.698, HalfCheetah 의 경우 1.782). 이러한 큰 오차로 인해 강건한 CBF 제약은 이미 안전하지 않은 에이전트의 경우 자명하게 만족되거나 작동기 한계 하에서 실행 불가능해져 필터가 무효화되었습니다. 저자들은 선형 EDMD 모델이 지면 접촉으로 인한 비연속적인 속도 전이를 포착할 수 없다고 지적합니다.

의의 및 주장
본 논문은 강건한 쿠퍼먼-CBF 필터가 모델 프리 RL 과 검증 가능한 안전성 사이의 유망한 가교 역할을 하며, 특히 리프트된 모델과 장벽이 시스템 구조와 잘 일치하는 작업에서 그 가치가 있음을 주장합니다. 주요 의의는 투사된 잔차 마진 $\rho$의 진단 능력에 있습니다: 이는 쿠퍼먼-CBF 필터가 효과적일지 여부를 예측하는 사전 훈련 지표입니다.

저자들은 이 방법의 보편성에 대해 겸손하게 접근하며, 1 차 선형 근사가 실패하는 접촉이 많고 고차원인 환경에서는 구조적 한계가 있음을 명시적으로 밝힙니다. $\rho$가 작고 QP 가 실행 가능할 때 점별 안전성을 제공하지만, 잔차 오차가 장벽 마진을 지배하거나 장벽의 상대 차수가 불일치할 때는 안전성을 보장하지 않는다고 명확히 합니다. 이 연구는 복잡한 보행 작업에서 이러한 한계를 해결하기 위해 고차 또는 다단계 쿠퍼먼 확장이 필요함을 강조합니다.