Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators

기술 요약: 임베디드 잠재 전이 연산자를 이용한 순차적 베이지안 필터링을 위한 구조적 노이즈 적응

문제 정의
칼만 필터링을 통한 순차적 상태 추정은 로보틱스, 내비게이션, 금융 모델링 등의 응용 분야에서 매우 중요하다. 그러나 기존 방식에는 결정적인 한계가 존재한다: 비정상(non-stationary) 프로세스에 적응하지 못하는 단순화되고 고정된 노이즈 모델에 의존한다는 점이다. 커널 칼만 규칙(KKR) 및 임베디드 잠재 전이 연산자(ELTO)와 같은 방법들은 명시적인 파라미터 가정을 우회하여 재생 커널 힐베르트 공간(RKHS)에서 데이터 기반 상태 추정을 가능하게 했으나, 일반적으로 고정된 노이즈 공분산의 한계를 그대로 물려받는다. 이러한 노이즈 모델을 최적화하는 것은 까다로운 작업이다. 차원이 낮은(suboptimal) 공분산은 성능을 심각하게 저하시키기 때문이다. 현재의 해결책들은 대개 두 갈래로 나뉜다: 잔차(residual)를 사용하여 노이즈를 동적으로 튜닝하는 모델 기반 접근 방식(예: 적응형 확장 칼만 필터)은 파라미터 가정에 의존하며, 데이터 기반 접근 방식은 시변(time-invariant) 파라미터를 학습하지만 급격한 역학 변화를 처리하는 메커니즘이 부족하다. 따라서 고차원, 비정상 환경에서의 필터링 성능을 개선하기 위해 파라미터 학습 전략을 모두 활용할 수 있는 통합된 접근 방식을 구축하는 데에는 여전히 공백이 존재한다.

방법론
저자들은 ELTO 프레임워크에 노이즈 모델을 위한 새로운 구조적 파라미터화를 통합한 새로운 방법인 ELTO-AKF(ELTO 기반 적응형 칼만 필터링)를 제안한다. 이 방법론은 세 가지 핵심 구성 요소로 이루어진다:

1. 희소 구조 파라미터화 (스칼라-블록): 노이즈 공분산 행렬($Q$ 및 $R$)의 계산 가능한 학습을 용이하게 하고 수치적 안정성을 보장하기 위해, 저자들은 스칼라-블록(Scalar-Block, SB) 구조를 도입한다. 이 구조에서 공분산 행렬은 $k \times k$ 하위 블록으로 분할되며, 각 하위 블록은 스케일링된 항등 행렬이다. 유효한 공분산 행렬에 필요한 대칭 양의 정부호(Symmetric Positive-Definite, SPD) 성질을 보장하기 위해, SB 구조는 $L$이 스케일링된 항등 하위 블록을 가진 블록 하삼각 행렬인 촐레스키 분해($A = LL^\top$)를 통해 파라미터화된다. 이는 전체 랭크 행렬에 비해 계산 복잡도를 줄이고 업데이트 중 안정성을 보장한다.

2. 데이터 기반 최적화 (시불변 학습): 이 방법은 최적의 시불변 노이즈 모델을 학습하기 위해 미분 불필요 최적화 전략(CMA-ES)을 사용한다. 목적은 필터의 프리-이미지(pre-image) 추정치와 검증 데이터셋 사이의 평균 제곱 오차(MSE)를 최소화하는 것이다. 이 과정은 명시적인 확률 밀도 함수를 요구하지 않고도 기저 시스템 역학을 고려하는 강건한 글로벌 노이즈 모델을 식별한다.

3. 동적 파라미터 적응 (시변 추적): 노이즈 수준이나 역학이 급격히 변하는 비정상 상황을 해결하기 위해, 이 방법은 적응형 확장 칼만 필터(AEKF)에서 영감을 얻은 동적 적응 메커니즘을 포함한다. 알고리즘은 프로세스 및 측정 노이즈 공분산을 추정하기 위해 혁신(innovation, 예측 오차)과 잔차(residual, 업데이트 오차)를 추적한다. 결정적으로, 이러한 업데이트는 노이즈 행렬 자체가 아니라 촐레스키 인자($L$ 및 $M$)에 대해 수행된다. 희소 투영 연산자가 SB 구조를 강제하고 고유값(eigenvalue)을 교정하여 SPD 성성을 유지한다. 메모리 계수($\alpha, \beta$)는 적응 속도를 제어하여, 필터가 급격한 변화를 추적하는 것과 전체적인 시스템 트렌드를 유지하는 것 사이의 균형을 맞출 수 있게 한다.

주요 기여

• 구조적 파라미터화: 촐레스키 분해를 통해 SPD 성질을 보장하면서도 계산 가능한 표현을 제공하는 노이즈 공분산 행렬을 위한 스칼라-블록 구조의 도입.
• ELTO-AKF 알고리즘: 강건한 시불변 노이즈 모델의 데이터 기반 학습과 동적 파라미터 적응을 결합한 통합 필터링 방법. 이는 정적 데이터 기반 최적화와 동적 모델 기반 적응 사이의 연구 공백을 해결한다.
• 비정상 환경에서의 강건성: 구조적 노이즈 적응이 고정된 공분산이나 구조화되지 않은 적응형 방법을 사용하는 베이스라인보다 동적 상태 추정 성능을 크게 향상시킨다는 것을 입증함.

실험 결과
저자들은 네 가지 시나리오에 걸쳐 ELTO-AKF를 평가하였다:

1. 비선형 진자 디노이징: 다양한 프로세스 및 관측 노이즈가 있는 시뮬레이션에서, ELTO-AKF는 모델 기반 AEKF, 샘플링 기반 필터(SPKF), 신경망 보조 필터(CKFNet)보다 우수한 성능을 보였다. 특히 다른 방법들이 수치적 발산이나 고정된 사전 정보의 한계로 어려움을 겪는 높은 노이즈 조건에서 두드로 그러했다.
2. 비정상 LiDAR 궤적: 구간별 비정상 역학(직진 운동과 회전의 교차)을 가진 합성 LiDAR 데이터에서, ELTO-AKF는 "전체 최적화"(조정된 초기 파라미터) 및 "순수 적응"(동적 업데이트에만 의존) 설정 모두에서 탁월한 성능을 보였다. 또한 표준 ELTO-KF에 비해 미지의 노이즈 수준에 대한 더 나은 일반화 능력을 보여주었다.
3. 고차원 로렌츠-96 시스템: 차원이 최대 $D=1000$에 달하는 카오스 시스템에 대한 실험에서, 표준 ELTO-KF는 고노이즈, 고차원 설정에서 SPD 성질의 상실로 인해 종종 발산한 반면, ELTO-AKF는 수치적으로 안정적이고 경쟁력 있는 성능을 유지했다.
4. 다운스트림 응용 분야:
   • PDE 발견: 충격파가 있는 점성 버거스 방정식(viscous Burgers' equation)의 지배 방정식을 발견하기 위한 데이터 디노이징에 적용했을 때, ELTO-AKF는 디노이징되지 않은 데이터나 표준 ELTO-KF에 비해 식별 오차를 크게 줄였다.
   • 생태 시계열: 실제 캐나다 스라소니와 눈신토끼 데이터에 적용하여, 이 방법은 이중 노이즈 입력으로부터 원래의 관측치를 복구하는 데 있어 베이스라인보다 뛰어난 성능을 보이며 로트카-볼테라(Lotka-Volterra) 역학 발견을 용이하게 하는 매끄러운 관측치를 생성했다.

의의 및 주장
본 논문은 ELTO-AKF가 구조적 노이즈 적응을 가능하게 함으로써 순차적 베이지안 필터링의 중요한 진전을 이루었다고 주장한다. 데이터 기반 파라미터 최적화와 동적 적응을 통합함으로써, 이 방법은 전통적인 필터가 실패하는 실제 프로세스의 비정상성을 효과적으로 처리한다. 저자들은 이 접근 방식이 실제적인 그라운드 트루스 잠재 상태나 명시적인 가능도 함수 없이도 노이즈가 많은 비정상 프로세스에 대한 강건한 공분사 표현을 제공한다는 점을 강조한다.

저자들은 현재의 RKHS 공식이 명시적인 확률 밀도 함수를 우회하므로, 경사 하강법 기반의 가능도 추정(예: 최대 주변 가능도 추정)을 적용할 수 없다는 한계를 겸허히 인정한다. 결과적으로, 이 방법은 미분 불필요 최적화와 적응을 위한 사전 정의된 메모리 계수에 의존한다. 향 p. 향후 연구에서는 구조적 가능도 근사를 RKHS 내에서 탐색하여 원칙적인 경사 기반 최적화와 메모리 계수에 대한 완전한 적응형 전략을 가능하게 할 것을 제안한다.