📊 statistics

Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials

この論文は、数値的に安定な平方根カルマンフィルタの QR 分解を直接微分する際の不唯一性や発散問題を回避し、グラム行列の微分に基づく閉形式の連鎖律を導出することで、ランク不足行列を含む場合でもロバストな自動微分を可能にする手法を提案しています。

原著者： Adrien Corenflos

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Adrien Corenflos

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 背景：なぜ「カルマンフィルタ」が必要なのか？

まず、カルマンフィルタとは、GPS の位置情報やロボットの動き、株価の予測など、「不完全な情報から未来を推測する」ための計算ルールです。

この計算には、**「不確実さ（誤差）」**を管理する必要があります。

従来の方法： 不確実さを「四角い箱（行列）」として扱います。
この論文の手法（平方根フィルタ）： 不確実さを「箱そのもの」ではなく、**「箱を作るための『型』（三角形の板）」**として扱います。

なぜ「型」を使うのか？
長い計算を繰り返すと、従来の「箱」の計算は**「ガラス細工」のように、わずかな計算ミス（丸め誤差）で割れてしまい、破綻してしまいます。
しかし、「型（三角形）」を使って計算すれば、その形が崩れることがないので、「頑丈な鉄の柱」**のように計算が安定します。これが「平方根カルマンフィルタ」の利点です。

2. 問題点：AI が学習しようとした時の「壁」

最近の AI は、このフィルタのルール（パラメータ）を、**「誤差を最小化するように自動で調整（学習）」**します。これを「自動微分（Automatic Differentiation）」と呼びます。

しかし、ここで2 つの大きな壁にぶつかりました。

「型」の選び方が複数ある（曖昧さ）
- 例え話：ある「四角い箱」を作るのに、三角形の型が 1 枚だけ必要だとします。でも、箱が横に広い場合、その箱を作る三角形の型には**「無数の作り方」**があります。
- AI は「どの作り方を基準にすればいい？」と迷ってしまい、学習が止まってしまいます（数学的には「勾配が定義できない」状態）。
計算が破綻する（逆数が取れない）
- 例え話：箱が潰れて平らになってしまった場合（ランク欠乏）、その箱を元通りにする計算（逆数）ができなくなります。
- これまで使われていた計算式には「逆数」が含まれていたため、データが少し欠けていたりノイズが強かったりすると、AI の学習は**「無限大」になって暴走**してしまいました。

3. 解決策：「箱そのもの」に注目する

著者（アドリアン・コアネルフロス氏）は、「型（三角形）」そのものではなく、「型で作られる箱（グラム行列）」に注目すればいいという、画期的な視点を見つけました。

【核心となるアイデア】

従来の視点： 「三角形の型（L）」を微分しようとして、壁にぶつかる。
新しい視点： 「型で作られる箱（L×L の積）」は、三角形の型の選び方に関係なく常に同じ形になります。そして、AI が学習したい「予測の精度」や「尤度（もっともらしさ）」は、実は**「箱の形」だけで決まり、「型の作り方」には依存していません。**

例え話：
あなたが「お菓子の箱」の形を改良したいとします。

従来の方法：「箱を作るための『金型』の角度」を微分しようとして、金型が何通りもあるため迷走する。
新しい方法：**「完成した箱の形」**そのものが、お菓子の出来栄え（学習目標）を決めていることに気づく。
- 「箱の形」は、金型の角度がどうあれ、滑らかに変化します。
- したがって、金型の角度を直接微分するのではなく、「箱の形」の変化を通じて、間接的に金型を調整すればいいのです。

4. 具体的な解決手法：2 つのパーツで完璧に

著者は、この「箱の形」の変化（微分）を計算するための新しい公式を見つけました。これは**「2 つのパーツ」**で構成されています。

メインのパーツ（列空間）：
- 箱の形が変化する「主な動き」を捉えます。ここには、数学の「疑似逆行列」という便利な道具を使って、どんなに箱が歪んでも計算できるようにしました。
補正のパーツ（零空間）：
- 箱の形には直接関係ない、でも無視できない「余計な動き」を補正します。
- これまで無視されていた部分ですが、これを足し合わせることで、箱が潰れて平らになった場合（ランク欠乏）でも、計算が正しく行えるようになりました。

この 2 つを組み合わせることで、**「どんな状況（データが欠けていても、次元が違っても）でも、AI は安定して学習できる」**ようになりました。

5. 結果：なぜこれがすごいのか？

安定性： 従来の方法では「計算が壊れる」場所でも、この新しい方法なら**「滑らかに」**学習が進みます。
効率性： 複雑な計算をゼロから作り直す必要がありません。既存の AI 学習ツール（PyTorch や JAX など）に、この新しい「微分ルール」を差し込むだけで、すぐに使えます。
実証： 実験では、従来の方法では「エラー」や「発散」を起こしたデータでも、この方法では**「正解の勾配（学習の方向性）」**が得られました。

まとめ

この論文は、**「AI が『頑丈な鉄の柱（平方根フィルタ）』を使って学習する際、その柱の『作り方』にこだわらず、『柱が支える重さ（箱の形）』の変化に注目することで、どんな困難な状況でも学習を成功させる新しい魔法の公式」**を見つけ出したという報告です。

これにより、ロボットの制御や金融予測など、**「ノイズが多く、データが不完全な現実世界」**での AI 学習が、さらに強力かつ信頼性の高いものになります。

論文要約：グラム微分を用いた平方根カルマンフィルタの堅牢な自動微分

1. 背景と問題提起

線形ガウス状態空間モデル（LGSSM）におけるパラメータ推定には、カルマンフィルタの対数周辺尤度（log-marginal likelihood）に対する勾配計算が不可欠です。数値的安定性を確保するため、共分散行列を直接更新するのではなく、そのコレスキー因子（下三角行列）を伝播する「平方根カルマンフィルタ（Square-Root Kalman Filters）」が広く用いられています。

平方根フィルタの核心操作は、行列 $M$ の三角化（Triangularization）であり、実用上は $M$ の QR 分解を通じて計算されます。しかし、現代の自動微分（AD）フレームワークを用いてこの操作を微分する際、以下の 2 つの重大な問題が発生します。

非一意性による勾配の未定義: 行列 $M$ が広行列（行数 $n$ < 列数 $m$ ）である場合、QR 分解における直交行列 $Q$ は一意に定まりません（連続的な自由度を持つ）。このため、三角化された結果 $L$ に対する標準的なヤコビ行列・ベクトル積（JVP）が定義できません。これは予測ステップや更新ステップで頻繁に発生します。
特異性による発散: 標準的な QR 分解の微分公式には逆行列 $R^{-1}$ が含まれます。 $M$ がランク不足（ランク欠損）である場合、 $R$ は特異となり、勾配計算が発散します。これは共分散行列 $U$ や $V$ がランク不足の場合、あるいはフィルタリング中に共分散が退化する場合に生じます。

2. 提案手法：グラム微分（Gramian Differentials）

著者は、フィルタの出力（尤度、フィルタリングされた平均、共分散）が、三角化された行列 $L$ 自体ではなく、そのグラム行列（Gramian） $LL^\top = MM^\top$ のみに依存しているという洞察に基づき、新しい微分アプローチを提案しています。

滑らかな合成関数の利用:
$L$ の三角化操作 $T(M)$ 自体は非微分可能な点や非一意な点を持ちますが、損失関数 $\ell$ は $L$ ではなく $MM^\top$ を通じてのみ $M$ に依存します。 $M \mapsto MM^\top$ は多項式であり、どこでも滑らかです。したがって、合成関数 $\ell \circ T$ は $M$ に対して滑らかであり、直接 QR 分解を微分するのではなく、グラム行列の恒等式 $LL^\top = MM^\top$ の微分から導出することで、勾配を定義できます。
代理接ベクトル（Surrogate Tangent）の導出:
Gram 恒等式 $LL^\top = MM^\top$ を微分し、 $dL L^\top + L dL^\top = dM M^\top + M dM^\top$ を満たす $dL $を構成します。この$ dL$ は以下の 2 つの成分に分解されます。
1. 列空間成分（Column-space component）: $L$ の列空間内での摂動を扱う部分。Moore-Penrose 擬似逆行列 $L^\dagger$ を用いて構成され、QR 分解に基づく古典的な公式を一般化します。
2. 零空間成分（Null-space component）: $L$ の列空間外の摂動を補正する部分。 $dL_{null} = (I - LL^\dagger) dM Q$ として定義され、ランク不足の場合に不可欠な項です。

これらを組み合わせた「代理 JVP（Definition 2）」は、ランクが何であれ定義可能であり、 $L$ が正則な場合は古典的な QR 微分公式と一致します。

3. 主要な貢献

閉形式の JVP 導出: Gram 行列の微分恒等式から直接導出された、任意の Gram 依存損失関数に対して正確な JVP（Forward Mode）を閉形式で提供しました。これはランク不足の入力に対しても有効です。
グラム依存性の証明: カルマンフィルタのすべての重要な出力（対数尤度、フィルタリング平均、フィルタリング共分散）が、コレスキー因子 $L$ ではなく、そのグラム行列 $LL^\top$ のみを通じて入力に依存することを証明しました（Proposition 1）。
VJP の自動導出: 提案された JVP 写像が接ベクトル $dM$ に対して線形であることを示し（Proposition 3）、これにより自動転置（Automatic Transposition）の原理を用いて、追加の導出なしに逆モード微分（VJP）を自動的に得られることを示しました。
オープンソース実装: JAX フレームワークを用いた実装を公開し、既存の AD 環境との互換性を確認しました。

4. 実験結果

検証設定: 共分散行列 $V$ がランク 1 からフルランクまで変化するパラメータ $\alpha$ を含む単純な LGSSM を使用し、観測値がすべてモデルの空間内にある（ $y_t=0$ ）シナリオでテストを行いました。
結果:
- 提案手法は、ランク不足や次元の不一致が発生する状況においても、対数周辺尤度曲線と一致する正確な勾配（接線）を計算しました。
- 対照的に、従来の QR 分解に基づくナイーブな微分アプローチは、ランク不足の領域で数値的に発散し、無効な値を返しました。
- 図 1 に示されるように、提案手法は尤度曲線に対して一貫性のある勾配を提供し、パラメータ学習が安定して行えることを示しています。

5. 意義と結論

本論文は、平方根カルマンフィルタの自動微分における長年の課題（非一意性とランク不足による発散）を解決する堅牢な手法を提示しました。

数値的安定性: 逆行列を必要とせず、ランク不足の行列に対しても安定して勾配を計算できます。
学習への適用: 状態空間モデルのパラメータ学習において、数値的に不安定な共分散行列の更新を避ける平方根フィルタを、そのまま勾配法（Gradient-based learning）で利用可能にします。
汎用性: 提案された微分法は JAX、PyTorch などの現代の自動微分フレームワークに容易に統合でき、エンドツーエンドの状態空間モデル学習を可能にします。

この研究は、確率的状態空間モデルの学習において、数値的安定性と微分可能性を両立させるための重要な基盤技術を提供しています。