기술적 요약: 온라인 가우시안 프로세스 학습을 이용한 비선형 공정의 안전한 탐색

문제 정의

본 논문은 로봇공학, 항공우주, 공정 산업과 같은 안전-중요 응용 분야에서 부분적으로 알려진 역학을 가진 비선형 시스템을 제어하는 과제를 다룹니다. 강화 학습과 같은 데이터 기반 방법은 적응성을 제공하지만, 탐색 단계 동안 안정성과 제약 조건 충족에 대한 엄격한 보장이 종종 부족합니다. 기존 안전한 학습 접근법은 비선형 역학에 대한 완전한 지식이나 불확실성의 보수적인 리프시츠 과대 근사와 같은 이상화된 가정에 자주 의존하여 실용성이 제한됩니다.

본 논문이 다루는 구체적인 문제는 다음과 같은 조건에서 비선형 시스템에 대한 안전한 탐색을 보장하는 제어 프레임워크를 설계하는 것입니다:

1. 공정의 안정화 가능한 선형 근사만 알려져 있습니다.
2. 모델링되지 않은 비선형 역학 (잔차) 은 온라인으로 학습되어야 합니다.
3. 시스템은 학습 전 과정에 걸쳐 높은 확률로 상태 및 입력 제약을 만족해야 합니다.

방법론

제안된 프레임워크는 가우시안 프로세스 (GP) 회귀, 리아푸노프 안정성 이론, 그리고 볼록 최적화를 통합하여 안전하고 정보적인 탐색을 달성합니다.

1. 시스템 분해 및 GP 모델링

시스템 역학은 제어-아핀 비선형 시스템으로 모델링됩니다:
$$\dot{x} = Ax + Bu + g(x)$$
여기서 $(A, B)$는 알려진 안정화 가능한 선형화이며, $g(x)$는 알려지지 않은 매끄러운 잔차입니다. 잔차 $g(x)$는 온라인으로 가우시안 프로세스를 사용하여 모델링됩니다. 데이터가 수집됨에 따라 GP 는 사후 평균 $\mu_t(x)$와 표준 편차 $\sigma_t(x)$를 제공합니다. 다음과 같은 고확률 신뢰 껍질이 구성됩니다:
$$\|g(x) - \mu_t(x)\|_2 \leq \beta_t \sigma_t(x)$$
이는 유한 샘플 GP-UCB 스케줄에서 유도된 시간 가변 신뢰 매개변수 $\beta_t$를 사용하여 확률 $1-\delta$로 성립합니다.

2. 확률적 제어 불변 집합 (PCIS)

안전성은 제어 리아푸노프 함수 (CLF), $V(x) = x^\top P x$에서 유도된 **확률적 제어 불변 집합 (PCIS)**을 통해 강제됩니다. PCIS 는 신뢰 껍질 내의 최악의 GP 불확실성 하에서도 리아푸노프 함수가 감소하도록 보장하는 제어 입력이 존재하는 상태들의 집합으로 정의됩니다.
집합 $S_t$에 대한 조건은 다음과 같습니다:
$$\nabla V \cdot (Ax + Bu + \mu_t(x)) + \beta_t \sigma_t(x) \|\nabla V\| + \lambda V(x) \leq 0$$
이 구성은 시스템이 PCIS 내에서 시작하면 높은 확률 ($1-\delta$) 로 그 안에 머무르도록 보장하여 제약 조건의 재귀적 실현 가능성을 보장합니다.

3. 최적화 기반 제어기

각 시간 단계에서 제어기는 제어 입력 $u$를 결정하기 위해 **볼록 2 차 계획법 (QP)**을 풉니다. 목적은 안전 제약 조건을 엄격히 준수하면서 (높은 불확실성 방향에서의 자극을 장려함으로써) 정보 획득을 극대화하는 것입니다.
QP 는 명목 안정화 제어기 $u_{lin}$으로부터의 편차를 최소화합니다:
$$\min_{u, s \geq 0} \|u - u_{lin}\|_2^2 + \rho s$$
이는 GP 불확실성 경계를 포함하는 리아푸노프 감소 조건 및 입력 제약을 따릅니다. 안전을 우선시하기 위해 $\rho$로 패널티가 부과된 여유 변수 $s$가 실현 가능성을 보장합니다.

4. 적응적 확장

GP 가 잔차 역학을 학습함에 따라 불확실성 $\sigma_t(x)$가 감소합니다. 이 감소는 PCIS 가 적응적으로 확장되어 안전 보장을 위반하지 않으면서 점진적으로 더 풍부한 탐색 영역을 해제할 수 있게 합니다.

주요 기여

본 논문은 세 가지 주요 기여를 제시합니다:

1. 명목 - 잔차 분해: 알려진 선형 모델과 온라인 GP 잔차를 결합하여 전체 모델 지식을 요구하지 않고도 알려지지 않은 비선형성을 안전하게 학습할 수 있는 프레임워크.
2. 리아푸노프 기반 PCIS 구성: GP 불확실성을 통합한 확률적 불변 집합을 구성하는 방법으로, 안정성 및 제약 조건 충족에 대한 유한 샘플 확률 보장을 제공합니다.
3. 최적화 기반 제어기: 각 단계에서 볼록 QP 를 풀어 정보 획득 (탐색) 과 엄격한 안전 보장 (CLF 감소) 사이의 균형을 맞추는 실시간 제어기로, 다른 안전한 MPC 공식화에서 발견되는 다단계 불확실성 증폭의 보수성을 피합니다.

실험 결과

본 프레임워크는 2 차 다항식 시스템 및 MIMO 3 탱크 수위 공정이라는 두 가지 벤치마크에서 검증되었습니다.

2 차 다항식 시스템

• 학습 성능: GP 모델은 12 회 반복을 거쳐 RMSE 를 약 1.11 에서 약 0.03 으로 크게 줄여 정확도 향상을 달성했습니다.
• 불확실성 보정: 보정 후 95% 신뢰 구간의 경험적 커버리지가 37% 에서 100% 로 향상되어 안전 증명서가 신뢰할 수 있음을 보장했습니다.
• 안전성: 제안된 GP-PCIS 제어기는 모든 궤적을 인증된 안전 집합 내에 유지하여 제약 위반이 전혀 없었습니다. 반면, 안전 계층이 없는 LQR 과 같은 안전하지 않은 기준선은 상태 제약을 위반했습니다.
• 집합 확장: 불확실성이 감소함에 따라 인증된 안전 집합의 부피가 약 27.7% 확장되어 프레임워크의 적응적 특성을 입증했습니다.

3 탱크 수위 공정

• 복잡성: 이 MIMO 결합 시스템은 프레임워크의 확장성 및 실시간 실현 가능성을 테스트했습니다.
• 희소 대 정밀 GP: 유도 점을 사용하는 희소 GP 근사는 정밀 GP 대비 >1000 배 빠른 추론 시간을 제공하면서도 명목에 가까운 커버리지 (~94.5%) 와 허용 가능한 RMSE 를 유지하여 실행 가능함이 입증되었습니다.
• 안전성: 2000 초 식별 구간 동안 프레임워크는 수위 제약 (45%–87%) 위반이 전혀 없었으며, 안전하지 않은 기준선은 잠시 하한선 아래로 떨어졌습니다.
• 실시간 성능: 중간 단계당 QP 해결 시간은 밀리초 범위였으며, 이는 실시간 구현의 실현 가능성을 확인시켜 주었습니다.

중요성 및 주장

본 논문은 부분적으로 알려진 비선형 시스템에 대한 안전한 탐색을 위한 통합되고 구현 가능한 프레임워크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 실현 가능성과 보수성의 균형: 과도하게 보수적이 될 수 있는 다단계 안전한 MPC 공식화와 달리, 이 접근법은 GP 신뢰 경계와 함께 1 단계 리아푸노프 감소를 강제하여 다단계 불확실성 폭주를 일으키지 않는 볼록 QP 를 결과로 도출합니다.
• 실용성: 정확한 비선형 역학 대신 (실제에서 흔한) 안정화 가능한 선형 모델만 요구하므로, 모델링되지 않은 효과를 온라인으로 학습해야 하는 실제 시스템에 적용 가능합니다.
• 이론적 보장: 시스템이 능동 학습 단계 중에도 높은 확률로 안정성을 유지하고 제약 조건 내에 머무르도록 보장하는 유한 샘플 확률적 안전 보장을 제공합니다.

저자들은 1 단계 최악의 경우 경계의 보수성과 정밀 GP 학습의 3 차 스케일링을 포함한 한계를 인정하며, 고차원 작업을 위한 다단계 확률 제약 및 희소 GP 업데이트에 대한 향후 연구를 제안합니다. 그러나 결과는 제안된 방법이 안전 제약 조건을 엄격히 준수하면서도 정보적인 탐색을 효과적으로 가능하게 함을 보여줍니다.