Learning Safe-by-Design Neural Network Controllers

기술 요약: 안전 설계 기반 신경망 제어기 학습

문제 제기
신경망 (NN) 은 복잡하고 고차원적인 비선형 동역학을 처리하기 위한 피드백 제어 정책으로 점차 널리 활용되고 있습니다. 그러나 순수하게 학습된 제어기는 종종 형식적인 안전 보장을 결여하여, 충돌 회피나 작동기 한계와 같은 중요한 제약을 위반하는 행동을 생성할 수 있습니다. 일반적인 완화 전략은 사전 훈련된 제어기에 제어 장벽 함수 (CBF) 기반의 안전 필터를 추가하는 것을 포함합니다. 표준 프레임워크에서 이 필터는 CBF 후보 $h(x)$와 확장된 클래스-$\mathcal{K}$ 함수 $\alpha(\cdot)$로 정의된 안전 제약을 강제하기 위해 온라인 2 차 계획법 (QP) 을 풉니다.

이러한 분리된 설계는 두 가지 주요 한계를 제시합니다:

1. 보수성과 비최적성: $\alpha(\cdot)$ 함수는 종종 수동으로 조정된 매개변수를 가진 고정된 형태 (예: $\alpha(h) = \omega h$) 로 설정됩니다. 부적절한 조정은 지나치게 보수적인 행동을 초래하여 제어 성능을 저하시키는 반면, 공격적인 조정은 안전 위반의 위험을 초래합니다.
2. 계산 오버헤드: 런타임에 QP 를 푸는 것은 계산 지연과 신뢰성 문제를 야기하여, 특히 고차원 상태 공간이나 많은 수의 제약을 가진 시스템의 경우 실시간 배포를 방해합니다.

BarrierNet 및 CAffNet 과 같은 최근 연구들은 학습 과정에 안전을 통합하려 시도하지만, 이들은 여전히 비용이 많이 드는 온라인 QP 계층을 유지하거나, 많은 제약으로 정의된 실행 가능 집합으로 출력을 투영할 때 발생하는 지수적 복잡성으로 인해 확장성 문제를 겪습니다.

방법론
저자들은 신경망 제어기와 신경망 매개변수화 된 CBF 조건을 공동으로 학습하여 안전 제약을 제어기 아키텍처에 직접 내재화함으로써 온라인 QP 솔버의 필요성을 제거하는 "안전 설계 기반 (Safe-by-Design)" 프레임워크를 제안합니다.

1. CAffNet-Lite 아키텍처:
   핵심 기여는 기존 CAffNet 아키텍처의 경량 확장인 CAffNet-Lite입니다. 이는 상태 의존적 아핀 제약 $A(x)u \leq b(x)$를 구조적으로 만족시키기 위해 제약 아핀 계층과 학습 가능한 투영 모듈을 통합합니다.

   • 경량 제약 분해: 모든 활성화된 제약의 가능한 조합을 나열하여 지수적 복잡도 $O(2^{n_c})$를 초래하는 기존 CAffNet 과 달리, CAffNet-Lite 는 축소된 분해 전략을 사용합니다. 이는 최소 차수 ($k=1$) 또는 최대 차수 ($k=\min(n_c, m)$) 를 가진 부분 제약만 고려합니다. 이는 최악의 경우 복잡도를 다항식 $O(n_c^m)$으로 줄여 많은 수의 제약을 가진 시스템의 확장성을 크게 향상시킵니다.
   • 투영 메커니즘: 네트워크는 제약이 없는 제어 신호 $f_\theta(x)$를 출력합니다. 이 신호가 제약을 위반하는 경우, 투영 계층은 부분 제약 초평면으로 투영하여 실행 가능한 후보 집합을 계산합니다. 최종 출력은 실행 가능한 경우의 제약 없는 신호이거나 가장 가까운 실행 가능한 투영이 되며, 이는 완전 차수이거나 선형 독립적인 제약을 요구하지 않고도 하드 제약 만족을 보장합니다.

2. CBF 매개변수의 공동 학습:
   감쇠 함수 $\alpha(\cdot)$를 고정하는 대신, 프레임워크는 학습 가능한 신경망 매개변수화 $\alpha_\vartheta(x, h(x))$로 대체합니다. 이를 통해 시스템은 제어기의 행동과 시스템 동역학에 적응하는 "최적 감쇠" 특성을 학습할 수 있습니다. 안전 제약은 다음과 같이 공식화됩니다:
   $$A(x)u \leq b_\vartheta(x)$$
   여기서 $b_\vartheta(x)$는 학습된 $\alpha_\vartheta$를 포함합니다.

3. 이론적 보장:
   투영 계층이 불연속적인 제어 신호로 이어질 수 있는 $\arg\min$ 연산을 포함하므로, 저자들은 필리포프 (Filippov) 의미에서 안전성을 확립합니다. 그들은 결과적으로 생성된 조각 연속 제어 법칙이 안전 집합의 강한 순방향 불변성을 보장하여, 시스템이 안전 집합 내에서 시작하면 모든 미래 시간에 걸쳐 그 안에 머무르도록 함을 증명합니다.

주요 기여

1. CAffNet-Lite: 하드 아핀 제약 만족과 보편적 근사 속성을 유지하면서 제약의 수에 대한 계산 복잡도를 지수에서 다항식으로 줄이는 경량 투영 아키텍처의 도입.
2. 공동 최적화: 신경망 제어기와 CBF 매개변수 (특히 감쇠 함수) 를 공동으로 학습하여 온라인 QP 솔버 없이 구조적으로 안전 제약을 만족시키는 프레임워크.
3. 이론적 증명: 투영 계층으로 인한 불연속성을 해결하고, 제안된 제어기가 필리포프 의미에서 안전 집합의 강한 순방향 불변성을 만족함을 증명.

실험 결과
이 프레임워크는 두 가지 시뮬레이션 시나리오에서 평가되었습니다:

1. 충돌 회피가 있는 단일 적분자:

   • 설정: 3 개의 볼록 다면체 장애물을 회피하는 2 차원 적분자 시스템.
   • 결과: CAffNet 과 CAffNet-Lite 는 모든 안전 제약을 엄격하게 만족 (위반 0%) 하면서 명목 제어기에 가장 가까운 최저 평균 비용을 달성했습니다. 반면, 표준 신경망과 HardNet 은 제약 위반을 보였으며, 고정된 매개변수를 가진 QP 기반 방법은 너무 보수적이어서 목표에 도달하지 못하거나 더 높은 계산 시간이 필요했습니다.
   • 효율성: CAffNet-Lite 는 CAffNet 과 동등한 성능을 내면서 테스트 시간을 단축하여 경량 분해의 효율성을 입증했습니다.

2. 고정익 항공기 지오펜싱:

   • 설정: 지오펜스 제약을 강제하는 7 상태, 3 입력 항공기 모델.
   • 결과: CAffNet 과 CAffNet-Lite 모두 지오펜스를 회피하는 안전한 속도 명령을 성공적으로 학습했습니다.
   • 효율성: CAffNet-Lite 는 원래 CAffNet 에 비해 훈련 및 테스트 시간이 현저히 낮아 고차원 시스템에 대한 우수한 확장성을 확인했습니다. CAffNet 은 더 많은 투영 후보로 인해 비용 측면에서 약간 더 빠르게 수렴했지만, CAffNet-Lite 는 실시간 적용을 위한 더 나은 균형을 제공했습니다.

의의 및 주장
본 논문은 아핀 안전 제약을 신경 제어기에 직접 내재화하고 CBF 매개변수를 공동으로 학습함으로써, 제안된 방법이 고정된 매개변수 필터의 보수성과 온라인 QP 솔버의 계산 부담을 극복한다고 주장합니다. 저자들은 CAffNet-Lite 가 구조적으로 하드 안전 제약을 보장하는 확장 가능하고 실시간 배포 가능한 솔루션을 제공한다고 강조합니다. 이 연구는 안전이 사후 고려사항이나 런타임 필터가 아닌 학습된 정책의 고유한 속성인 "안전 설계 기반" 제어를 향한 한 걸음으로 위치합니다. 저자들은 향후 연구에서 프레임워크를 더 넓은 범주의 제약으로 확장하고 실제 시스템에서의 성능을 평가할 것이라고 겸손하게 언급합니다.