💬 NLP

Online Causal Kalman Filtering for Stable and Effective Policy Optimization

本論文は、大規模言語モデルの強化学習におけるトークンレベルの重要度サンプリング比の不安定性を解決するため、過去のトークンの状態に基づいてオンラインかつ自己回帰的に重要度比を推定・平滑化する「オンライン因果カルマンフィルタリングを用いた方策最適化（KPO）」を提案し、高度な数学推論タスクにおいて最先端の手法を上回る安定性と有効性を実証したものである。

原著者： Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

公開日 2026-03-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Shuo He, Lang Feng, Xin Cheng, Lei Feng, Bo An

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「巨大な AI（大規模言語モデル）を賢くするトレーニング方法」**について書かれたものです。

AI を勉強させる際、従来の方法には「暴走しやすい」という大きな弱点がありました。この論文は、その弱点を**「カルマンフィルター（カルマンフィルタ）」**という技術を使って解決し、AI の学習を「安定して、かつ効果的」にする新しい方法（KPO）を提案しています。

以下に、専門用語を排し、日常の比喩を使ってわかりやすく解説します。

1. 問題：AI の学習は「ノイズだらけのラジオ」みたいだった

AI をトレーニングする際、AI は「過去の自分の回答（古いポリシー）」と「新しい回答（新しいポリシー）」を比較して、どこが良くてどこが悪いかを学びます。この比較には**「重要度サンプリング（IS）比率」**という数値が使われます。

しかし、従来の方法には 2 つの大きな問題がありました。

問題 A（粒々すぎる）： 文章の「1 文字 1 文字」ごとに、この比率をバラバラに計算していました。すると、**「隣の文字なのに、評価が極端に違う」**というおかしなことが起きました。
- 例：「猫が」の「猫」は評価 100 点なのに、すぐ隣の「が」は評価 0 点、次の「走った」はまた 100 点……なんてことになったら、AI は「一体何が正しいのか？」と混乱して、学習が崩壊（クラッシュ）してしまいます。
問題 B（全体で平均しすぎ）： 逆に、文章全体を 1 つの平均値でまとめてしまうと、**「細かいニュアンスが失われる」**という問題がありました。
- 例：物語の前半は「素晴らしい」なのに、後半は「ひどい」のに、全体を「まあまあ」として平均化してしまうと、AI は「どこを直せばいいのかわからない」状態になります。

結論： 従来の方法は、**「ノイズ（誤った情報）が多すぎて、AI が迷子になりやすい」**状態でした。

2. 解決策：KPO（カルマンフィルター）という「賢いフィルター」

この論文の著者たちは、**「カルマンフィルター」という技術を使いました。これは、ロケットの軌道計算や自動運転の位置推定に使われる、「ノイズを消して、本当の動きをなめらかに追跡する」**技術です。

これを AI の学習に応用したのがKPOです。

比喩：「荒れた海を走る船のナビゲーション」

AI の学習過程を**「荒れた海を走る船」**に例えてみましょう。

従来の方法（粒々計算）：
波の揺れ（ノイズ）をそのまま見て、「今、船は左に傾いた！右に傾いた！」とパニックになり、舵をガクガク動かしてしまいます。結果、船は転覆します。
従来の方法（全体平均）：
「今日は海が全体的に穏やかだ」という大まかな情報だけを見て、細かな波の動きを無視します。結果、突風が吹いても気づかず、船が流されてしまいます。
KPO（カルマンフィルター）：
船長（AI）は、「過去の動き」と「現在の揺れ」を賢く組み合わせます。
- 「今、波が急に上がって見えたけど、これは一瞬のノイズかもしれない。過去の傾向から考えれば、船はゆっくり右に進んでいるはずだ」と判断します。
- 逆に、「本当に方向が変わっているなら、それに合わせて舵を滑らかに切ります」。

このように、**「一瞬のノイズ（誤った評価）は消し去り、本当のトレンド（正しい学習方向）はなめらかに追う」**ことで、AI は混乱せずに、着実に成長できるようになります。

3. この方法がすごい点

「文脈」を大事にする：
前の文字と次の文字は、意味的に繋がっています。KPO は「前の文字の評価を参考にしながら、次の文字の評価を決める」ため、**「文脈に合った、一貫性のある学習」**が可能になります。
数学の問題が得意になる：
実験では、非常に難しい数学の推理問題（オリンピックレベルなど）を解くテストで、KPO を使った AI が他の最新の AI よりも高い正解率を記録しました。特に、長い思考プロセスが必要な問題で、その安定性が光りました。
「学習の崩壊」を防ぐ：
従来の方法だと、学習が進むにつれて AI が「何も考えられなくなる（エントロピーが低下する）」ことがありましたが、KPO はそれを防ぎ、「探索（新しい試み）」と「安定」のバランスを保ちました。

4. まとめ

この論文が伝えているのは、**「AI の学習を安定させるには、ノイズを消しつつ、文脈のつながりを保つ『賢いフィルター』が必要だ」**ということです。

昔のやり方： 騒がしい教室で、一人ひとりの声を聞き分けようとして混乱するか、全員をまとめて「静かにしなさい」と言うか、どちらかしかできなかった。
KPO のやり方： 先生（カルマンフィルター）が、「誰が本当に話しているか（本物の学習）」と「ただの雑音（誤った評価）」を見極め、静かで一貫した授業を進める。

これにより、AI はより賢く、より安定して、複雑な問題（数学や論理パズルなど）を解けるようになったのです。

一言で言うと：
「AI の学習を、**『ノイズを消して、本当の方向を見極めるナビゲーター』**がつけるようにして、暴走させずに賢くしたよ！」という画期的な研究です。

論文「Online Causal Kalman Filtering for Stable and Effective Policy Optimization (KPO)」の技術的サマリー

本論文は、大規模言語モデル（LLM）における強化学習（RL）、特にオフポリシー更新時の安定性と有効性を向上させるための新しい手法「KPO（Kalman Policy Optimization）」を提案するものです。トークンレベルの重要度サンプリング（IS）比率の構造的不整合が引き起こす学習の不安定さを解決し、数学的推論タスクにおいて最先端の性能を達成しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

背景

大規模言語モデルの能力向上において、強化学習（RLHF や GRPO など）は重要な役割を果たしています。特に、GRPO（Group Relative Policy Optimization）は、価値関数（Critic）を不要にし、メモリ効率を高めつつ PPO 風の安定性を保つ手法として注目されています。

課題：トークンレベル IS 比率の不安定性

オフポリシー学習（ミニバッチ更新など）では、更新後のポリシーと行動ポリシー（古いポリシー）の分布シフトを補正するために重要度サンプリング（IS）比率 $r_t = \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_{\theta_{old}}(y_t|x, y_{<t})}$ が使用されます。
しかし、大規模な RL において以下の問題が顕在化しています。

高い分散と構造的不整合: トークンレベルの IS 比率は、隣接するトークン間でも急激に変動し、局所的な構造的一貫性（Local Coherence）が欠如しています。
学習の崩壊: この高い分散と不整合が、隣接トークン間のポリシー勾配更新を歪め、結果としてトレーニングの不安定化やエントロピーの崩壊（Entropy Collapse）を引き起こします。
既存手法の限界:
- シーケンスレベル固定比率（GSPO, GMPO）: 全トークンに同じ比率を適用することで分散を低減しますが、シーケンス内の局所的な構造（異なる推論ステップごとのオフポリシー度合いの違い）を無視してしまいます。
- 個別調整: 各トークンの比率を個別に調整する手法もありますが、時間的構造を考慮した滑らかな補正がなされていません。

仮説: シーケンス内のオフポリシー偏差は、大域的には不均一（異なる推論パスで異なる）ですが、局所的には均一（隣接トークンは意味的に一貫している）であるべきです。現状のトークンレベル IS 比率はこの「局所的な一貫性」を欠いており、これが学習を不安定にしています。

2. 提案手法：KPO (Online Causal Kalman Filtering)

KPO は、トークンごとの IS 比率を「時系列データ」として扱い、オンライン因果カルマンフィルタを適用して、ノイズを除去しつつ局所的な構造的一貫性を保った比率を推定する手法です。

手法の核心

状態空間モデルの構築:
- 観測値 $z_t = \log(r_t)$ （対数空間での IS 比率）を、ノイズを含む観測として扱います。
- 真の望ましい IS 比率 $\rho_t$ を「潜在状態」としてモデル化します。
- 状態方程式: $\rho_t = \rho_{t-1} + \eta_t$ $ρ_{t} = ρ_{t - 1} + η_{t}$ （ランダムウォーク、 $\eta_t \sim \mathcal{N}(0, Q)$ $η_{t} \sim N (0, Q)$ ）
  - $Q$ はプロセスノイズ分散。潜在状態がトークン間ですぐに遷移できるか（応答性）を制御します。
- 観測方程式: $z_t = \rho_t + \epsilon_t$ $z_{t} = ρ_{t} + ϵ_{t}$ （観測ノイズ、 $\epsilon_t \sim \mathcal{N}(0, V)$ $ϵ_{t} \sim N (0, V)$ ）
  - $V$ は観測ノイズ分散。計算された比率の信頼性を表します。
因果カルマンフィルタリング（3 ステップ）:
- 予測ステップ (Prediction): 過去のトークンの情報のみを用いて、現在の潜在状態 $\hat{\rho}_{t|t-1}$ とその不確実性を予測します（将来のトークンは使用しません）。
- カルマンゲイン計算 (Gain): 予測と観測の誤差（イノベーション）に対して、どの程度重みを置くかを決定するゲイン $K_t$ $K_{t}$ を計算します。
  - 観測ノイズ $V$ が大きい場合、ゲインは小さくなり、予測（時間的平滑化）を重視します。
  - 予測の不確実性が大きい場合、ゲインは大きくなり、観測値への追従を重視します。
- 更新ステップ (Update): 観測値 $z_t$ を用いて状態推定値 $\hat{\rho}_{t|t}$ を修正し、指数関数で元の比率空間に戻します ( $\hat{r}_t = \exp(\hat{\rho}_{t|t})$ )。
最適化目的関数:
- 得られたフィルタリング済み比率 $\hat{r}_t$ を、GRPO や PPO の目的関数における元の $r_t$ に置き換えて学習を行います。
- これにより、トークンごとの異質性を保ちつつ、ノイズスパイクを抑制した安定した勾配更新が可能になります。

3. 主要な貢献

実証的な発見: トークンレベルの IS 比率において、オフポリシー偏差が局所的に構造的に不整合（High variance, frequent switching）であることを実証的に明らかにしました。これが大規模 RL の不安定化の主要因であることを示唆しています。
KPO の提案: 因果カルマンフィルタを用いた、トークン比率の構造認識型自己回帰平滑化手法を初めて提案しました。これにより、局所的なノイズを除去しつつ、シーケンス内の意味的な一貫性を維持する IS 比率を得られます。
強力な実験結果: 複数の難易度の高い数学推論ベンチマークにおいて、既存の最先端手法（GRPO, GSPO, GMPO）を凌駕する性能と、トレーニング中の安定性を同時に達成しました。

4. 実験結果

評価設定

モデル: Qwen3-4B
タスク: 数学推論（AIME'24, AIME'25, AMC'23, MATH500, OlympiadBench など）
指標: avg@16 (16 試行の平均正答率), pass@16 (16 試行中に 1 つでも正解があれば正解とする割合)

結果の概要

性能向上: KPO（特にクリッピング版）は、ほぼすべてのベンチマークで SOTA 手法を上回る結果を記録しました。
- 例：AIME'24 で avg@16 が 32.70 (GSPO) → 37.91 (KPO-clipped) に向上。
- 例：OlympiadBench で pass@16 が 63.00 (GSPO) → 66.27 (KPO-clipped) に向上。
難易度が高いタスクでの効果: 長期的な推論が求められる AIME'24/25 などで特に大きな改善が見られました。これは、安定した最適化が複雑な多段階推論において重要であることを示しています。
トレーニングダイナミクス:
- 報酬: GRPO は 200 ステップ以降で発散し低下しましたが、KPO はトレーニングを通じて安定して報酬が上昇しました。
- エントロピー: GRPO は早期にエントロピーがゼロに近づき（探索の停止）、KPO は高いエントロピーを維持し、探索を促進しました。
- クリップ率: KPO は GSPO に比べてクリップされるトークン数が少なく、局所的に整合性の取れたオフポリシーセグメントのみを適切に処理していることが示されました。

分布分析（カルマンフィルタの効果）

フィルタリング前後の IS 比率の分布を分析した結果：

ラン長 (Run-length): フィルタリング後、状態（Up/Down/On）が維持されるトークンの連続数が劇的に増加（例：Up 状態が 1.64 → 119.95）。これは、フィルタリングが局所的な一貫性を回復させたことを示します。
スイッチ頻度: 状態が切り替わる頻度が 0.43 から 0.01 へ激減し、ノイズの除去と構造の維持が成功したことを示しています。
分散: 局所分散と大域分散がともにほぼゼロに近づき、比率信号が極めて安定しました。

5. 意義と結論

意義

新しい視点: 従来の「シーケンス全体を均一化する」アプローチではなく、「トークン間の時間的構造を考慮した平滑化」という新しい視点を提供しました。
実用性: 既存の RL パイプライン（GRPO など）に軽量に組み込め、追加のモデル（Critic など）を必要としません。
理論的裏付け: オフポリシー学習における「局所的な構造的一貫性」の重要性を理論的・実証的に裏付け、その欠如が学習崩壊の原因であることを示しました。

結論

KPO は、カルマンフィルタを用いてトークンレベルの IS 比率をオンラインで推定・平滑化することで、大規模 LLM の強化学習における安定性と有効性を両立させました。特に、複雑な推論タスクにおいて、ノイズを除去しつつ意味的な構造を保持する能力が、SOTA 性能の達成に寄与しています。

今後の課題として、カルマンフィルタの逐次処理が並列化のボトルネックとなる点があり、並列化アルゴリズムの開発が今後の研究課題として挙げられています。