Learning a Contracting KKL-observer with Local Optimal Guarantees

기술 요약: 지역 최적 보장을 갖는 수렴성 KKL 관측기 학습

문제 제기
카잔치스 - 크라바르 - 루엔버거 (KKL) 프레임워크는 시스템 동역학을 안정적인 잠재 공간에 매립시킴으로써 비선형 상태 추정에 대한 일반적인 접근법을 제공합니다. 최근의 발전은 기계 학습을 활용하여 KKL 변환을 근사함으로써 (관련 비선형 편미분 방정식을 해결함) 진전을 이루었지만, 근본적인 과제는 여전히 남아 있습니다: 잠재 동역학 $\phi$의 선택입니다. 실제로 이러한 동역학은 종종 휴리스틱하게 (예: 선형 대각 시스템) 선택되는데, 이는 전역 안정성을 보장할 수 있지만 측정 노이즈와 모델링되지 않은 외란에 대한 정상 상태 민감도 측면에서 종종 비최적의 성능을 초래합니다. 다루어진 핵심 문제는 KKL 이론에 내재된 전역 수축 보장을 훼손하지 않으면서 지역 최적성을 달성하기 위해 잠재 동역학을 체계적으로 설계하는 방법입니다.

방법론
저자들은 KKL 관측기의 전역 강건성과 최소 에너지 추정기 (MEE, 모텐슨 관측기라고도 함) 의 지역 최적성을 종합하는 학습 기반 전략을 제안합니다. 방법론은 세 가지 주요 단계로 진행됩니다:

1. 지역 행동의 이론적 특성화:
   이 논문은 일반적인 KKL 관측기에 대해 재구성된 상태 동역학 $\dot{\hat{x}}$의 1 차 근사를 유도합니다. 이 분석은 지역 행동이 유효 이득 행렬 $\Psi(\hat{x})$에 의해 지배됨을 보여줍니다. 저자들은 관측기가 모텐슨 필터의 최적 지역 행동을 모방하기 위해서는 이 이득이 정보 행렬 $P(x)$와 관련된 편미분 리카티 방정식 (PDRE) 의 해에서 유도된 특정 최적 항 $\Psi_{opt}(\hat{x})$와 일치해야 함을 입증합니다.

2. 구조적 제약이 있는 학습 전략:
   이 이론적으로 최적인 행동을 실현하기 위해 저자들은 심층 학습을 사용하여 세 가지 핵심 구성 요소를 근사합니다: 매립 맵 $\hat{T}$, 재구성 맵 $\hat{\tau}$, 그리고 잠재 동역학 $\hat{\phi}$.

   • 수축 보장: 전역 안정성 (요구 사항 R2) 을 보장하기 위해, 잠재 동역학 $\hat{\phi}$는 NodeRENs(구체적인 구조적 제약을 가진 신경 상미분 방정식) 를 사용하여 매개변수화됩니다. 이는 설계 단계에서 수축 성질을 수학적으로 강제합니다.
   • 최적성 근사: 일반적인 비선형 시스템에 대해 $P(x)$에 대한 PDRE를 푸는 것은 계산적으로 불가능하므로, 변환된 PDRE의 잔차를 최소화함으로써 역 정보 행렬 $\hat{P}^{-1}$을 근사하기 위해 다층 퍼셉트론 (MLP) 이 먼저 훈련됩니다.
   • 공동 최적화: 매립 맵, 재구성 맵, 잠재 동역학은 복합 손실 함수를 최소화하도록 공동으로 훈련됩니다. 이 손실 함수에는 다음이 포함됩니다:
     • $\ell_{pde}$: KKL 편미분 방정식 (PDE) 으로부터의 편차를 패널티화합니다.
     • $\ell_{inv}$: 재구성 맵이 매립 맵의 왼쪽 역함수임을 보장합니다.
     • $\ell_{opt}$: 학습된 관측기의 유효 이득이 근사된 $\hat{P}^{-1}$에서 유도된 최적 이득과 일치하도록 강제합니다.

주요 기여

• 지역 최적성 조건: 이 논문은 추정 오차가 작을 때 KKL 관측기가 최소 에너지 추정기 (모텐슨 관측기) 의 행동을 지역적으로 모방하도록 하는 잠재 동역학에 대한 구체적인 조건을 유도합니다.
• 수축 기반 학습 프레임워크: 구조적으로 수축을 강제하는 (NodeRENs 를 통해) 신경망을 사용하여 KKL 관측기를 학습하는 방법론을 도입함으로써, 지역 성능을 최적화하면서 전역 강건성을 보장합니다.
• 최적 필터링의 근사: 이 연구는 일반적으로 무한 차원 HJB 방정식의 해를 필요로 하는 최적 필터링 이론과 실제 관측기 설계 사이의 간극을, 정보 행렬과 관련 최적 이득 구조의 데이터 기반 근사를 사용하여 연결합니다.

결과
제안된 방법론은 비선형 벤치마크인 반 더 폴 진동자와 역 더핑 진동자에 대한 수치 시뮬레이션을 통해 검증되었습니다.

• 전역 안정성: 학습된 관측기는 강제된 잠재 동역학의 수축 성질로 인해 임의의 초기 조건에서 견고한 수렴을 보여주었습니다.
• 노이즈 처리: 추정기는 상당한 측정 노이즈가 존재하는 상황에서도 시스템 상태를 정확하게 추적했습니다.
• 조정 가능성: 시뮬레이션은 훈련 손실의 가중치 행렬 ($R$) 을 조정함으로써 관측기의 행동을 조정할 수 있음을 보여주었습니다. 더 작은 $R$은 관측기가 노이즈가 있는 동역학을 더 밀접하게 추적하게 만들었고, 더 큰 $R$은 시스템 모델에 더 크게 의존하게 만들어 모델 충실도와 노이즈 제거 사이의 균형을 맞출 수 있음을 입증했습니다.

의의 및 주장
저자들은 이 작업이 휴리스틱 선택을 넘어 KKL 관측기를 위한 잠재 동역학의 "원칙적인 특성화"를 제공한다고 주장합니다. 전역 수축 보장과 지역 최적성을 목표로 하는 학습 목표를 결합함으로써, 제안된 전략은 초기화에 강건하고 노이즈에 대해 통제된 방식으로 민감한 관측기를 설계하는 체계적인 방법을 제공합니다. 이 논문은 이러한 결과를 학술적 벤치마크에 대한 실증으로 겸손하게 위치시키며, 향후 작업은 학습된 모델에 대한 근사 경계를 확립하고 이 이론을 이산 시간 동역학으로 확장하는 데 초점을 맞출 것이라고 명시합니다. 이 접근법은 KKL 편미분 방정식의 해석적 해를 구할 수 없고 표준 관측기가 노이즈 성능에서 어려움을 겪는 시스템에 대한 해결책으로 제시됩니다.