Adaptive Learned State Estimation based on KalmanNet

1. 문제 제기 (Problem Statement)

• 배경: 자율주행 시스템 (ADAS) 에서 레이더, 라이다, 카메라 등 다양한 센서의 잡음이 섞인 데이터를 융합하여 정확한 객체 궤적을 추정하는 것은 핵심 과제입니다. 기존에는 칼만 필터 (KF), 확장 칼만 필터 (EKF) 등 베이지안 추정 이론에 기반한 물리 모델 기반 방법이 주류였습니다.
• 한계점:
  • 기존 KalmanNet 의 실용성 부족: Revach 등 [6] 이 제안한 KalmanNet 은 물리 모델의 해석 가능성과 데이터 기반 학습의 장점을 결합했으나, 실제 자동차 데이터 (Real-world automotive data) 에서는 성능이 부족하고 추적이 불안정하다는 연구 결과가 있었습니다.
  • 센서 특성 무시: 기존 학습 기반 모델은 레이더, 라이다, 카메라 등 각 센서의 고유한 잡음 특성 (예: 레이더의 거리 정확도 vs 카메라의 횡방향 정확도) 을 구분하지 않고 동일하게 처리하는 경향이 있었습니다.
  • 동적 환경 적응 부족: 다양한 교통 상황, 객체 유형, 운동 상태에 따라 필터 파라미터를 동적으로 조정하는 능력이 부족했습니다.

2. 방법론 (Methodology: AM-KNet)

저자들은 기존 KalmanNet 을 개선한 **적응형 멀티모달 칼만넷 (Adaptive Multi-modal KalmanNet, AM-KNet)**을 제안했습니다. 이는 물리 모델 기반의 재귀적 구조를 유지하면서, 공분산 (Covariance) 및 칼만 이득 (Kalman Gain) 계산을 학습 가능한 모듈로 대체합니다.

주요 아키텍처 개선 사항

1. 센서 특화 측정 모듈 (Sensor-specific Measurement Modules):
   • 레이더, 라이다, 카메라 데이터가 각각 별도의 측정 모듈 (Measurement-specific heads) 을 통과하도록 설계했습니다.
   • 이를 통해 네트워크가 각 센서 모달리티의 고유한 잡음 통계 (Noise statistics) 와 감지 특성을 독립적으로 학습할 수 있게 했습니다.
2. 운동 상태 인식 (Motion State Awareness):
   • 객체의 운동 상태 (정지, 동일 차선 주행, 횡단 등) 를 1-hot 인코딩하여 GRU(Q, P) 에 입력합니다.
   • 이를 통해 측정 특징을 게이트 (Gating) 하여, 운동 상태에 따라 잡음 측정의 영향을 조절하고 불필요한 잡음을 줄입니다.
3. 컨텍스트 변조 (Context Modulation via Hypernetwork):
   • **하이퍼넷 (Hypernetwork)**을 도입하여 네트워크의 사전 활성화 (Pre-activations) 에 선형 변환 (Affine transformation: Gain 및 Shift) 을 적용합니다.
   • 입력 컨텍스트 벡터는 객체 유형 (Car, Truck 등), 운동 상태, 상대적 포즈를 포함하며, 이를 통해 단일 모델이 다양한 교통 시나리오에 적응하도록 합니다.
4. 공분산 추정 (Covariance Estimation):
   • Joseph Form을 기반으로 한 공분산 추정 분기를 추가했습니다.
   • 상태 전이 행렬 부분은 명시적으로 계산하고, 잡음 의존적 항은 GRU 를 통해 학습합니다.
   • 학습된 공분산이 양의 정부호 (Positive Semi-definite) 가 되도록 Cholesky 분해를 사용합니다.

손실 함수 (Loss Function)

학습을 위해 물리적 사전 지식을 반영한 종합적인 손실 함수를 설계했습니다:

• 센서 특성 가중치: 센서 유형과 상대적 포즈에 따라 측정 오차의 신뢰도를 가중치로 부여합니다.
• 객체 클래스 및 운동 상태: 객체 유형과 운동 상태에 따라 손실 가중치를 조정합니다.
• 변화율 (Rate of Change): 측정 데이터의 흐름이 실제 운동과 일치하는지 평가하여 신뢰도 점수를 산출하고, 불일치 시 가중치를 낮춥니다.
• 음의 로그 가능도 (Negative Log-Likelihood, NLL):
  • **추정 오차 (Estimation Error)**와 **혁신 (Innovation)**에 대한 NLL 손실을 추가하여, 학습된 공분산 행렬이 실제 오차 분포를 정확히 반영하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. 멀티모달 적응성: 레이더, 라이다, 카메라의 서로 다른 잡음 특성을 독립적으로 학습할 수 있는 센서 특화 모듈 도입.
2. 상황 인식 필터링: 하이퍼넷을 통한 컨텍스트 변조로, 객체 유형과 운동 상태에 따라 필터 파라미터를 동적으로 조정.
3. 정교한 불확실성 추정: Joseph Form 기반의 공분산 추정 분기와 NLL 손실 도입으로, 학습된 모델이 물리적으로 타당한 불확실성 (Uncertainty) 을 출력하도록 보장.
4. 실제 데이터 성능 입증: 기존 KalmanNet 의 한계를 극복하고, 실제 자동차 데이터셋에서 전통적인 베이지안 필터와 경쟁력 있는 성능을 달성.

4. 실험 및 결과 (Results)

논문은 nuScenes (보스턴/싱가포르, 6 센서) 와 View-of-Delft (VoD) (네덜란드 델프트, 3 센서) 두 가지 대규모 자동차 데이터셋을 사용하여 평가했습니다.

• 비교 대상: 기존 KalmanNet (Base), OAFuser (온라인 적응 퓨저), UKF-EOT (무향 칼만 필터 확장 객체 추적기).
• 성능 지표: 평균 절대 오차 (MAE), 정규화 추정 오차 제곱 (NEES), 정규화 혁신 제곱 (NIS).
• 주요 결과:
  • 정확도 (Accuracy): AM-KNet 은 두 데이터셋 모두에서 위치 (Position) 및 크기 (Extent) 추정 오차 (MAE) 에서 기존 베이지안 필터 (UKF, OAFuser) 보다 우수한 성능을 보였습니다. 특히 nuScenes 데이터셋에서 위치 오차를 UKF 대비 약 50%, OAFuser 대비 약 3 분의 1 수준으로 줄였습니다.
  • 일관성 (Consistency): 베이지안 필터들은 실제 오차에 비해 공분산을 과소평가하여 (과신, Overconfidence) NEES 값이 매우 높게 나왔으나, AM-KNet 은 NEES 일관성 (Consistency) 이 훨씬 높았습니다. 이는 학습된 모델이 불확실성을 더 정확하게 추정함을 의미합니다.
  • 적응성: 다양한 객체 유형과 센서 구성이 포함된 nuScenes 에서 AM-KNet 의 적응성 이점이 특히 두드러졌습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 하이브리드 접근법의 실용화: 이 연구는 물리 기반 모델의 해석 가능성과 데이터 기반 모델의 적응성을 결합한 하이브리드 상태 추정기가 실제 자율주행 환경에서도 유효함을 입증했습니다.
• 실제 데이터 격차 해소: 기존 KalmanNet 이 시뮬레이션 데이터에서는 잘 작동했으나 실제 데이터에서는 실패했던 문제를 해결하여, 실제 차량 적용 가능성을 높였습니다.
• 신뢰성 있는 자율주행: 단순히 궤적만 예측하는 것이 아니라, 학습된 공분산을 통해 신뢰할 수 있는 불확실성 정보를 제공함으로써, 자율주행 시스템의 안전성과 계획 (Planning) 단계의 신뢰도를 높이는 데 기여합니다.

요약하자면, AM-KNet은 다양한 센서와 복잡한 교통 상황을 고려하여 학습된 칼만 필터로, 기존 규칙 기반 필터보다 더 정확하고 신뢰할 수 있는 상태 추정을 가능하게 하는 획기적인 발전입니다.