Learned Lyapunov Shielding for Adaptive Control

기술 요약: 오일러-라그랑주 시스템의 안전한 잔차 강화 학습을 위한 학습된 라야푸노프 증명서

문제 제기
Slotine-Li 제어기와 같은 오일러-라그랑주 시스템의 적응형 제어기는 강체 역학의 선형 매개변수 특성과 질량, 코리올리, 중력 항에 대한 사전 지식을 기반으로 합니다. 그러나 실제 로봇 시스템은 마찰 히스테리시스, 관절 탄성, 연체 효과와 같이 깔끔한 매개변수화가 어려운 모델링되지 않은 비선형성을 자주 나타냅니다. 강화 학습 (RL) 은 이러한 잔차를 학습할 수 있는 경로를 제공하지만, 표준 RL 은 공식적인 안정성 보장을 제공하지 않으며 안전-중요 제어 작업에 적용될 때 종종 수렴에 실패합니다. 학습된 라야푸노프 함수에 대한 기존 접근 방식은 종종 사후 검증이나 양의 정부호성 보장을 위한 복잡한 최적화가 필요한 범용 신경 아키텍처 (예: tanh 활성화 함수를 가진 MLP) 에 의존하며, 이는 배포 중 종종 불가능한 안전 필터로 이어집니다.

방법론
저자들은 제약이 있는 Soft Actor-Critic (SAC) 정책으로 통합된 세 가지 학습된 구성 요소로 Slotine-Li 적응형 제어기를 보강하는 프레임워크를 제안합니다:

1. 구조화된 2 차 라야푸노프 함수 ($V_\psi$): 범용 신경망 대신 라야푸노프 후보는 $V_\psi(x) = x^\top P_\psi(x) x$로 매개변수화되며, 여기서 $P_\psi(x) = L_\psi(x)L_\psi(x)^\top + \epsilon I$입니다. 여기서 $L_\psi$는 하삼각 행렬 MLP 입니다. 이 초록 (Cholesky) 매개변수화는 구성에 의해 양의 정부호성을 보장합니다.
2. 잔차 SAC 정책: Soft Actor-Critic 에이전트는 분석적 Slotine-Li 기준을 보정하기 위해 유계 잔차 토크 $\Delta \tau$를 학습합니다. 정책은 라야푸노프 감소 위반에 대한 제약 조건 하에서 보상 (추적 성능) 을 최대화하도록 훈련됩니다.
3. 물리 정보 신경망 (PINN): 네트워크 $f_\theta$는 모델링되지 않은 역학 (잔차) 을 추정하며, 오일러-라그랑주 방정식 구조를 강제하는 물리 손실을 통해 훈련됩니다. 이 모델은 안전 필터를 위한 드리프트 필드를 추정하는 데 사용됩니다.

안전 필터 및 안정성 메커니즘
핵심 혁신은 단일 아핀 제약 $\dot{V}_\psi + \alpha V_\psi \leq 0$에서 유도된 폐형 (closed-form) 안전 필터입니다. 시스템 역학이 제어에 대해 아핀 ($\dot{x} = h(x) + g(x)\tau$) 이고 $V_\psi$가 2 차이므로, 제약 조건은 $\tau$에 대해 선형이 됩니다 ($b(x)^\top \tau \leq c(x)$).

• 폐형 투영: 필터는 임의의 원시 정책 출력 $\tau_{raw}$를 간단한 유클리드 투영을 통해 안전한 반공간으로 투영하여 온라인 2 차 계획법 (QP) 솔버의 필요성을 제거합니다.
• 가능성 조건: 이 논문은 제어 권한이 소멸하는 집합 $Z$에서 "드리프트-감쇠 조건"이 성립할 경우 이 필터가 전역적으로 가능함을 증명합니다. 구체적으로, 자연 드리프트 역학은 이미 이 집합에서 라야푸노프 감소 상태여야 합니다.
• 강건성: 강건한 버전의 필터는 PINN 근사 오차 ($\delta$) 와 $V_\psi$의 기울기 상한 ($L_V$) 을 통합하여 학습된 역학 모델이 불완전할 때도 안정성을 보장합니다.

주요 기여
이 논문은 다섯 가지 이론적 및 실증적 기여를 확립합니다:

1. 폐형 가능성: 구조화된 2 차 매개변수화는 폐형 해를 갖는 단일 제약 QP 를 생성합니다. 저자들은 검증 가능한 드리프트-감쇠 조건 하에서 전역 가능성을 증명합니다 (정리 4).
2. 안정성 보장: 정확한 차폐 하에서 지수적 안정성이 증명됩니다. 안정성 마진이 PINN 근사 오차에 명시적으로 의존하는 강건한 확장이 제공됩니다 (정리 13).
3. 수렴: 정책, 라야푸노프 증명서, 라그랑주 승수의 결합 업데이트가 3-시간 척도 확률 근사 기법을 사용하여 거의 확실하게 KKT 점으로 수렴함이 보입니다 (정리 10).
4. 일반화: 유한 샘플에 기반하여 컴팩트 집합에 대해 학습된 라야푸노프 함수를 인증하는 PAC (Probably Approximately Correct) 일반화 경계가 유도됩니다 (명제 14).
5. 실증적 검증: 2-DOF 매니퓰레이터와 7-DOF Franka Emika Panda 에 대한 광범위한 실험을 통해 프레임워크의 효과성과 확장성을 입증했습니다.

실험 결과

• 2-DOF 매니퓰레이터: 비선형 마찰과 가변 페이로드를 가진 시스템에서 학습된 라야푸노프 증명서가 성능 향상의 주된 원천으로 확인되었습니다. 분석적 Slotine-Li 기준과 비교하여 제안된 방법은 명목 마찰 하에서 추적 오차를 41% 감소시켰으며, 훈련 분포의 중심에서 공격적인 마찰 하에서는 24% 감소시켰습니다. 제거 분석 (Ablation studies) 은 학습된 증명서 ($V_\psi$) 가 PINN 이나 SAC 정책 단독보다 훨씬 더 큰 이득을 제공함을 확인했습니다.
• 7-DOF 확장성: 35 차원 상태 공간을 가진 7-DOF Franka Panda 에 대한 연구는 전체 파이프라인 (Transformer 기반 PINN, 구조화된 $V_\psi$, 폐형 차폐) 이 산업 규모에서 깨끗하게 수렴함을 확인했습니다. 진정한 역학에 접근할 수 있는 정확한 계산 토크 (Computed-Torque) 기준과 비교했을 때, 이 프레임워크는 기준의 1.7% 이내에서 추적을 달성하여, 기준이 이미 최적일 때 성능 부스터가 아닌 인증된 안전 필터로 작용함을 확인했습니다.
• 실패 모드: 이 연구는 특정 보상 구조 하에서 훈련된 증명서가 새로운 보상 목표에 적대적이 되어 새로운 초기화가 필요하게 되는 "워밍업 병리 (warm-start pathology)"를 식별했습니다. 또한 $\nabla V_\psi \approx 0$인 상태 근처에서 수치적 불안정성이 관찰되어 토크 증폭을 방지하기 위한 게이팅 메커니즘이 필요함을 지적했습니다.

의의 및 주장
이 논문은 구조화된 2 차 매개변수화가 전체 프레임워크를 가능하게 하는 핵심 설계 선택이라고 주장합니다. 구성에 의해 양의 정부호성을 보장함으로써, 온라인 최적화 없이 가능성을 보장하는 계산적으로 효율적인 폐형 안전 필터를 가능하게 합니다. 이 작업은 학습된 구성 요소가 엄격한 안정성 보장을 유지하면서 모델링되지 않은 역학을 처리하기 위해 고전적 적응 제어에 통합될 수 있음을 보여줍니다. 저자들은 이 프레임워크의 가치가 단일 구성 요소가 아닌 공식적 안전 제약 하에서 정책, 증명서, 역학 잔차의 공동 학습에 있음을 강조합니다. 결과는 분석적 기준이 이미 완벽하지 않고 훈련 분포가 작동 범위를 커버한다면, 이러한 프레임워크가 매니퓰레이터 규모에 관계없이 실제로 사용 가능함을 시사합니다.