Learning Kalman Policy for Singular Unknown Covariances via Riemannian Regularization

이 논문은 미지이고 특이할 수 있는 노이즈 공분산 하에서 칼만 필터 학습 문제를 제어 - 추정 이중성과 데이터 기반 정책 최적화 관점에서 재해석하고, 리만 기하학적 정규화를 통해 최적화 지형을 개선하여 1 차 방법의 효율적 적용과 수렴 보장을 가능하게 하는 새로운 알고리즘을 제안합니다.

핵심

이 논문은 **"알 수 없는 소음 속에서 가장 정확한 예측을 하는 방법"**을 찾는 새로운 지능적인 접근법을 소개합니다.

기존의 '칼만 필터'는 공학이나 인공지능에서 매우 유명한 도구로, 예를 들어 비행기가 어디에 있는지, 혹은 자율주행차가 어디로 가고 있는지 예측할 때 쓰입니다. 하지만 이 도구는 **'소음 (Noise)'**이 어떻게 생겼는지 정확히 알아야만 제대로 작동합니다. 만약 소음의 성질이 매우 복잡하거나, 아예 정보가 없는 경우 (특이 행렬, Singular Covariance) 에는 기존 방법이 무너지거나 제대로 작동하지 않습니다.

이 논문은 그 문제를 해결하기 위해 **'리만 기하학 (Riemannian Geometry)'**이라는 수학적 도구를 이용해 새로운 길을 닦았습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드리겠습니다.

---

1. 문제 상황: 안개 낀 산에서 길을 잃다

상상해 보세요. 여러분은 안개가 자욱한 산 (불확실한 환경) 에서 정상 (정확한 상태) 으로 가는 길을 찾고 있습니다.

• 기존 방법 (칼만 필터): 등산 지도를 보고 가는데, 지도에 '바람의 방향'과 '길의 미끄러움'에 대한 정보가 정확히 적혀 있어야 합니다.
• 이 논문의 문제: 하지만 이번에는 지도에 바람 정보가 없거나, 아예 바람이 불지 않는 특정 구간 (소음의 공분산이 0 이거나 특이한 경우) 이 있어서 지도가 무용지물이 됩니다. 기존 방법은 이런 상황에서 길을 잃거나, 너무 느리게 움직입니다.

2. 해결책: '지형의 모양'을 아는 나침반 (리만 정규화)

이 논문은 "지도가 없다면, 땅의 **모양 (기하학적 구조)**을 이용하자"고 제안합니다.

• 기존의 시도 (유클리드 정규화):
  보통 사람들은 길을 찾을 때 "너무 멀리 가지 마라"라고 스스로에게 말합니다. (예: "발걸음 크기를 일정하게 유지해라"). 이를 수학적으로 **'유클리드 정규화'**라고 합니다.

  • 비유: 안개 낀 산에서 "너무 멀리 가지 마"라고만 하면, 정상으로 가는 길이 가파르거나 기복이 심할 때 오히려 길을 잃기 쉽습니다. 너무 보수적으로 움직여 정상에 도달하지 못하거나, 엉뚱한 곳으로 치우칠 수 있습니다.

• 이 논문의 방법 (리만 정규화):
  이 논문은 "단순히 멀리 가지 말라는 게 아니라, 이 산의 지형에 맞춰서 움직여라"라고 말합니다.

  • 비유: 이 산은 평탄한 평지가 아니라, 특정 방향으로는 매우 미끄럽고 다른 방향으로는 단단한 바위입니다. **'리만 정규화'**는 바로 그 지형의 곡률과 방향을 고려한 나침반입니다.
  • 이 나침반은 "소음 (바람) 이 없는 곳에서는 더 민첩하게, 소음이 복잡한 곳에서는 더 신중하게" 움직이도록 길을 안내합니다.

3. 핵심 아이디어: '학습'을 '게임'으로 바꾸다

이 논문은 이 문제를 **'최적의 등반 전략을 배우는 게임'**으로 바꿉니다.

1. 데이터로 배우기: 정확한 지도 (소음 정보) 가 없어도, 과거의 발자국 (측정 데이터) 만으로도 "어디로 가야 정상에 가까운지"를 추측할 수 있습니다.
2. 지형에 맞는 규칙: 위에서 말한 '리만 나침반'을 사용하면, 데이터가 부족하거나 소음이 이상한 상황에서도 **수학적 보장 (수렴성)**을 받으며 최적의 길로 갈 수 있습니다.
   • 마치 미끄러운 얼음 위에서는 미끄러지지 않게 발을 살짝 떼고, 단단한 땅에서는 힘차게 걷는 것처럼, 상황에 맞춰 걸음걸이를 자동으로 조절하는 것입니다.

4. 왜 이것이 중요한가? (결과)

• 빠른 수렴: 기존의 방법들은 소음이 이상하면 길을 찾느라 시간이 너무 오래 걸리거나 아예 실패했지만, 이 방법은 직관적이고 빠르게 최적의 해답에 도달합니다.
• 강건함 (Robustness): 소음이 전혀 없는 경우나, 소음이 아주 복잡한 경우에도 흔들리지 않고 안정적으로 작동합니다.
• 실제 적용: 비행기, 로봇, 금융 시장 예측 등 정확한 정보가 부족한 불확실한 환경에서 더 똑똑한 예측을 가능하게 합니다.

요약

이 논문은 **"알 수 없는 소음 속에서 길을 잃지 않기 위해, 단순히 '조심하라'는 규칙을 쓰는 대신, '지형의 모양'을 이해하는 똑똑한 나침반 (리만 정규화) 을 개발했다"**는 이야기입니다.

이 나침반 덕분에 우리는 불완전한 정보 속에서도 최적의 예측을 할 수 있게 되었고, 이는 더 안전하고 효율적인 자율주행, 로봇 제어, 그리고 데이터 분석으로 이어질 것입니다.

기술 요약

1. 문제 정의 (Problem Definition)

이 논문은 선형 시스템에서 상태 추정 (State Estimation) 문제를 다루며, 특히 다음과 같은 까다로운 조건 하에서 최적의 정상 상태 칼만 이득 (Steady-state Kalman Gain) 을 학습하는 것을 목표로 합니다.

• 시스템 모델: 상태 방정식 $x(t+1) = Ax(t) + \xi(t)$와 관측 방정식 $y(t) = Hx(t) + \omega(t)$를 따르는 선형 시스템.
• 지식과 불확실성:
  • 시스템 행렬 $A$와 $H$는 알려져 있음.
  • 프로세스 노이즈 공분산 $Q$와 측정 노이즈 공분산 $R$은 알려지지 않았으며, **특이 (Singular) 또는 랭크 결손 (Rank-deficient)**일 수 있음.
  • 실제 상태 $x(t)$는 관측 불가능하며, 오직 관측 데이터 $y(t)$만 사용 가능.
• 핵심 난제:
  • 기존의 칼만 필터 학습 알고리즘 (예: SGD 기반) 은 $Q$와 $R$이 양정치 (Positive Definite) 일 때만 수렴 보장이 있음.
  • $Q$나 $R$이 특이 행렬인 경우, 비용 함수의 **강제성 (Coercivity)**과 기울기 우세성 (Gradient Dominance) 같은 수학적 구조적 속성이 깨져서 최적 해를 찾는 것이 매우 어렵거나 불가능해짐 (Ill-posed problem).

2. 방법론 (Methodology)

저자들은 제어 - 추정 이중성 (Control-Estimation Duality) 과 데이터 기반 정책 최적화 (Policy Optimization) 관점을 결합하여 문제를 재정의하고, **리만 기하학적 정규화 (Riemannian Regularization)**를 도입하여 해결책을 제시했습니다.

가. 정책 최적화 문제 설정

• 칼만 이득 $L$을 고정된 상수 행렬로 가정하고, 이를 제어 정책으로 간주.
• 실제 상태 $x(T)$ 대신 관측값 예측 오차 $\|y(T) - \hat{y}_L(T)\|^2$의 평균 제곱 오차 (MSE) 를 최소화하는 surrogate objective 함수를 정의.
• 목표: 관측 데이터만으로부터 최적의 이득 $L^*$을 학습.

나. 리만 기하학적 정규화 (Key Innovation)

• 기하학적 구조 도입: 최적화 공간 (이득 $L$의 집합) 에 유클리드 계량 대신 **리만 계량 (Riemannian Metric)**을 도입. 이는 시스템의 관측 가능성과 관련된 리아푸노프 (Lyapunov) 해를 기반으로 정의됨.
• 정규화 비용 함수: 기존 MSE 비용 함수에 리만 계량을 이용한 정규화 항을 추가하여 새로운 비용 함수 $J_R(L, \gamma)$를 구성.
  $$J_R(L, \gamma) = J_{MSE}(L) + \gamma \left\| \begin{bmatrix} I \\ L \end{bmatrix} \right\|^2_{Y_L}$$
  여기서 $\gamma$는 정규화 인자, $Y_L$은 리만 계량 행렬.
• 효과: 이 정규화를 통해 특이 행렬이 존재하는 경우에도 **강제성 (Coercivity)**과 **기울기 우세성 (Gradient Dominance, PL 조건)**이 회복됨. 이는 1 차 최적화 방법 (First-order methods) 이 전역 최적해로 수렴할 수 있는 수학적 기반을 마련함.

다. 알고리즘 (Algorithm 1)

• 데이터 기반 기울기 오라클 (Gradient Oracle): $Q, R$을 알 수 없으므로, 관측 데이터 시퀀스를 사용하여 기울기를 추정하는 확률적 오라클을 설계.
• 연속화 기법 (Continuation Scheme):
  1. 큰 $\gamma$ 값으로 시작하여 정규화된 문제를 풀고,
  2. $\gamma$를 기하급수적으로 감소시키며 ($\gamma_{k+1} = \beta \gamma_k$) 이전 단계의 해를 초기값으로 사용하여 다음 단계를 반복.
  3. 최종적으로 $\gamma \to 0$일 때 원래의 비정규화 문제 (원래 칼만 이득) 에 수렴하도록 설계.

3. 주요 기여 (Key Contributions)

1. 정책 최적화 프레임워크 정립: 특이 노이즈 공분산을 가진 선형 시스템의 상태 추정을 확률적 정책 최적화 문제로 공식화.
2. 리만 정규화 제안: 비유클리드 (Non-Euclidean) 정규화를 도입하여 ill-conditioned(조건수가 나쁜) 추정 문제의 기하학적 구조를 복원. 이를 통해 랭크 결손 노이즈 하에서도 최적화 알고리즘이 작동하도록 함.
3. 데이터 기반 알고리즘 개발: $Q, R$ 없이 관측 데이터만으로 기울기를 추정할 수 있는 오라클을 구축하고, 이를 활용한 확장 가능한 확률적 알고리즘을 제안.
4. 비점근적 수렴 보장 (Non-asymptotic Convergence): 제안된 알고리즘이 선형 수렴 속도를 가지며, 편향 (Bias) 과 분산 (Variance) 오차에 대한 정량적 보장을 제공. 문제의 차원에 따른 확장성도 입증.

4. 실험 결과 (Results)

• 수렴성: 시뮬레이션 결과, 제안된 알고리즘은 초기에는 선형 수렴을 보이다가 최적점 근처에서는 확률적 노이즈로 인해 아선형 (Sublinear) 거동을 보임. 이는 이론적 예측과 일치.
• 유클리드 vs 리만 정규화 비교:
  • 유클리드 $\ell_2$ 정규화: 최적 이득 $L^*$이 원점에서 멀리 떨어진 경우, 정규화 항이 $L$을 0 으로 강제로 끌어당겨 최적 해에서 멀어지는 실패를 보임.
  • 리만 정규화: 문제의 내재된 기하학적 구조를 반영하므로, $L^*$이 큰 값을 가지거나 시스템이 ill-conditioned 인 경우에도 안정적으로 최적 해에 수렴함.
• 강건성: 스텝 사이즈 (Stepsize) 선택에 대한 민감도가 낮고, 특이 (Singular) 추정 환경에서도 견고한 성능을 발휘.

5. 의의 및 결론 (Significance & Conclusion)

• 이론적 의의: 칼만 필터 학습 문제에서 기존에 해결되지 않았던 "특이 노이즈 공분산" 문제를 기하학적 최적화 관점에서 해결하여, 제어 이론과 추정 이론의 연결 고리를 강화함.
• 실용적 의의: 항공기 제어 등 실제 시스템에서 모델링되지 않은 동역학이나 구조화된 잡음 (Rank-deficient noise) 이 존재하는 환경에서도, 시스템 모델을 정확히 알지 못하더라도 데이터만으로 최적 필터를 학습할 수 있는 가능성을 제시.
• 미래 전망: 이 프레임워크는 모델 불확실성, 시변 (Time-varying) 동역학, 그리고 더 일반적인 확률적 환경으로 확장될 수 있는 기반을 마련함.

요약하자면, 이 논문은 리만 기하학적 정규화를 통해 특이 노이즈가 있는 환경에서도 칼만 필터를 효과적으로 학습할 수 있는 새로운 알고리즘을 제안하고, 이를 통해 기존 방법론의 한계를 극복하고 이론적 수렴 보장을 제공했다는 점에서 중요한 학술적 기여를 한 연구입니다.