🤖 machine learning

Distributional Active Inference

本論文は、能動的推論を分布強化学習の枠組みへと統合する形式的な抽象化を提示し、明示的な遷移ダイナミクスのモデリングを必要とせずに、ロボットシステムのためのサンプル効率の高い最適制御を可能にするものである。

原著者： Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

公開日 2026-08-06

📖 1 分で読めます☕ さくっと読める

原著者： Abdullah Akgül, Gulcin Baykal, Manuel Haußmann, Mustafa Mert Çelikok, Melih Kandemir

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、ロボットに混沌とした予測不可能な世界をナビゲートする方法を教えようとしていると想像してください。これを上手に行うためには、ロボットには2つの超能力が必要です。一つは、感覚データ（視覚や聴覚など）の奔流を整理して有用なものにすること、もう一つは、賢明な動きをするために遠い未来まで計画を立てられることです。何十年もの間、**強化学習（RL）**は、機械に計画の立て方を教えるための主要な手法となってきました。強化学習を、どの行動が最高の報酬につながるかを推測することでスコアを最大化しようとする、試行錯誤を通じて学ぶ学生だと考えてください。しかし、この学生は非効率であることが多く、学習するために何百万回もの試行を必要としたり、世界があまりに複雑で頭の中で完璧にシミュレートできない場合に苦戦したりします。

ここで、生物学的な脳の仕組みに触発された理論である**能動的推論（Active Inference）**が登場します。単に推測するのではなく、脳は経験する事象の「驚き（サプライズ）」を最小化しようと絶えず試みる予測マシンであると見なされます。脳は、さまざまな未来を想像し、最も「確実」である、あるいは最も驚きが少ないと感じられるものを選ぶことで計画を立てます。これは強力な手法に聞こえますが、従来の能動的推論は袋小路に陥っていました。それは通常、ロボットが計画を立てる前に、世界の仕組みに関する詳細かつ完璧な地図（「世界モデル」）を構築する必要があるという点です。これらの地図を構築することは計算コストが高く、複雑なタスクにおいてはしばしば不可能です。科学者たちが問い続けてきた大きな疑問は、「能дя的推論のスマートな計画立案の恩恵を、完璧な世界の地図を構築するという重い負担なしに得られるか？」ということです。

本論文は、**分布的能動的推論（DAIF）**と呼ばれる新しい手法を提案し、それに対して「イエス」と答えます。研究者たちは巧妙な近道を提案しています。次に何が起こるか（例えば特定の温度や位置など）を正確に予測しようとする代わりに、DAIFは、起こりうる将来の「全範囲」とその確率全体を一度に予測することに焦に集中します。彼らはこれを「分布的（distributional）」学習と呼んでいます。明日雨が降るかどうかを推測する代わりに、降水確率20%の霧雨、50%の晴天、30%の嵐といった、完全な天気予報を学ぶようなものです。このように可能性の全容を学ぶことで、ロボットは雨を支配する物理法則を正確に知ることなく、効果的に計画を立てることができます。

本論文は、分布的学習による「全容把握」のアプローチと、能動的推論の「驚きの最小化」のロジックを組み合わせることで、ロボットはより速く、より効率的に学習できることを示唆しています。著者らはこのアイデアをコンピュータ・シミュレーションでテストしました。単純なグリッドワールド・ゲームにおいて、彼らの新手法であるDAIFは、他の手法が解決できなかった問題、特に問題がより困難になり、より先を見通す必要があった場合に、問題を解決できることが分かりました。ソフトロボットやビデオベースの制御を含む、より複雑で現実世界に近いシミュレーションにおいても、DAIFは既存の最良の手法を一貫して上回り、より少ない試行回数でこれらのシステムを制御することを学習しました。これらの結果は、このアプローチによって、エージェントが現実の完璧なシミュレーションを力任いで行うのではなく、情報を効率的に整理することで、人間の脳のように限られた計算資源で複雑な環境に対処できることを示唆しています。

技術要約：分布的能動的推論 (Distributional Active Inference)

問題提起

複雑なロボット環境における最適制御は、感覚状態情報の効率的な組織化と、遠視的な行動計画という、互いに絡み合った2つの課題に直面している。強化学習（RL）は計画問題に対処するが、通常は後者にのみ焦点を当てるため、サンプル効率の低さに悩まされることが多い。能動的推論（AIF）は、生物学的知能を説明するプロセス理論であり、期待自由エネルギー（EFE）の最小化を通じて、これら両方に対処する。しかし、既存のAIにおけるAIFの応用は、明示的な遷移ダイナミクスの学習を必要とするモデルベースのアプローチに大きく制限されている。これは計算コストが高く、高忠実度の前方シミュレーションにおいては実行不可能な場合が多い。

本論文が取り組む核心的な問題は、明示的な遷移モデルの学習を必要としないフレームワークに能動的推論の性能上の利点をどのように統合するかであり、これにより、AIFをモデルフリーおよび分布的な設定においても利用可能にすることである。

手法

著者らは、能動的推論と分布的強化学習を橋渡しするための、3段階の理論的・アルゴリズム的フレームワークを提案している。

1. 能動的推論の厳密な定式化

著者らは、ベイズ推論および因果推論の第一原理からAIFの目的関数を再導出している。標準的な変分推論の設定にdo-演算子を適用することで、標準的なAIFの目的関数がより単純な等価形式を持つことを示している。

彼らは、望ましい分布 $P_R(X)$ （報酬として機能する）を用いて観測可能状態 $X$ に介入することで、積の法則の下で観測可能状態と潜在変数 $(Y, S)$ が切り離されることを示している。
これにより、再構成項、方策エントロピー項、および予測される軌道の下での望ましい状態分布の対数確率を最大化する項からなる、簡略化されたELBO（証拠下限）が導かれる。
決定的なことに、この定式化は、AIFが一種の予測符号化（predictive coding）と見なせることを明らかにしている。すなわち、エージェントはすべてのステップにおいて複雑な潜在変数の事後推論を行う必要なく、望ましい結果に適合するように世界モデルを最適化するのである。

2. プッシュフォワード強化学習 (Push-Forward Reinforcement Learning)

明示的な遷移モデリングなしにAIFを統合するために、著者らは分布的強化学習を一般化した理論的フレームワークである「プッシュフォワードRL」を導入する。

軌跡測度 (Trajectory Measures): 彼らはリターン分布を単なる期待値としてではなく、リターン汎関数を通じて方策によって誘導される軌跡測度の「プッシュフォワード」として定義する。
状態抽象化: 状態抽象化（潜在空間）と分布的RLの関係を定式化する。エンコーダ $S$ とデコーダ $P_D$ を定義することで、潜在空間における分布的RLの実行は、合成カーネル演算子の適用と等価であることを示す。
縮小係数 (Contraction Modulus): 主要な理論的結果（定理3.5）は、潜在空間における分布的ベルマン演算子の縮小係数が、エンコーダのリプシッツ定数 ( $L_E$ ) とデコーダのリプシッツ定数 ( $L_D$ ) の積によってスケールされることを確立している。もし潜在空間が効率的な圧縮（小さな $L_E$ ）を提供し、かつ報酬に関連する構造を捉えている（小さな $L_D$ ）ならば、ベルマン・バックアップの収束は加速される。
アルゴリズムのテンプレート: 彼らは、生の（raw）状態ではなく、エンコーディング測度の空間上でベルマン残差を最小化する「プッシュフォワード方策反復 (PPI)」を提案しており、これによりモデルベースとモデルフリーの視点を効果的に統合している。

3. 分布的能動的推論 (Distributional Active Inference: DAIF)

著者らは上記の理論を、分布的能動的推論 (DAIF) と呼ばれる実用的なアルゴリズムへと具体化している。

メカニズム: DAIFは、観測を潜在空間にマッピングする状態－行動アモータイズド・パラメトリック分布（エンコーダ）を学習する。その後、この潜在空間上で時間差分分位点マッチング（TD quantile matching）を実行する。
実装の詳細:
- 分位点回帰問題は、非対称ラプラス分布（ALD）の最大尤度推定（MLE）としてフレーム化される。
- 分位点推定の周囲の不確実性は、スケールパラメータ ( $\sigma_\tau$ ) に対する逆ガンマ事前分布を用いてモデル化される。この事後分散は、明示的な探索ボーナスなしに、トンプソン抽出に似た探索を誘発する暗黙的な認識的不純度（epistemic uncertainty）として機能する。
- アルゴリズムは、ツイン・クリティック、ベルマン・ターゲットのための最小クリッピング、および遅延されたアクター更新（TD3に類似）を備えた、ディープ・アクター・クリティック・アーキテクチャを利用するが、標準的な価値ターゲットをAIFの目的関数から導出された分布的リターンに置き換えている。
重要な相違点: 従来のAIFとは異なり、DAIFは前方遷移モデル ( $P(X'|X, A)$ ) を学習しない。代わりに、潜在空間内のサンプリングされた遷移からリターン分布を直接学習する。これにより、遷移ダイナミクスのモデリングに伴うコストを回避しながら、AIFの状態抽象化の恩恵を享受する。

主な貢献

理論的統合: 本論文は、モデルベース、分布的、およびモデルフリーのRLをまたぐ形式的な抽象化を提供し、AIFが分布的フレームワークにシームレスに統合できることを実証している。
簡略化されたAIF目的関数: do-演算子を用いることで、標準的な定式化における複雑な潜在変数の事後推論を排除した簡略化されたAIF目的関数を導出し、現代のRLで使用される変分推論のメカニズムとの整合性を高めている。
プッシュフォワード・フレームワーク: 「プッシュフォワードRL」の導入は、状態抽象化と分布的ベルマン演算器の間の厳密な数学的関連性を提供し、潜在空間の圧縮が収束率にどのように影響するかを示している。
DAIFアルゴリズム: 実用的なアルゴリズムであるDAIFを提案。これは、明示的な前方モデルを学習する計算オーバーヘッドなしに、AIFのような性能向上（状態抽象化による効率的な計画）を実現する。

実験結果

著者らは、表形式および連続制御タスクにおいてDAIFを評価している。

表形式実験 (Latent RiverSwim): 報酬に関連するダイナミクスが1次元の潜在多様体に存在するグリッドワールドにおいて、DAIFは計画ホライゾンが増大するにつれて、モデルベース (PSRL-PI) および分布的 (IQQL) なベースラインの両方を大幅に上回る。状態抽象化の利点がない場合（Plain RiverSwim）、DAIFは分布的RLと同等の性能を示す。
連続制御: DAFFは以下の3つのベンチマークスイートでテストされた：
- EvoGym: ソフトロボットの移動および操作。
- DeepMind Control Suite (DMC): 様々な形態を持つ連続制御。
- DMC Vision: 生のピクセル観測からの制御。
性能: DAIFは、特に複雑なダイナミクスや高次元の状態空間を持つ環境（例：「Catcher-v0」、「Dog Run」、「Quadruped Run」）において、一貫して最先端（SOTA）の性能を達成した。
効率性: DAIFは、標準的な分布的アクター・クリティックよりも約12%長いウォールクロック時間を必要とするが、このオーバーヘッドは、他のモデルベース手法や探索重視の手法であるDSAC (26%) や DRND (37%) よりも低い。

意義と主張

本論文は、能動的推論は、生物学的な脳が置かれている条件を反映して、エージェントが限定的な計算能力しか持たない場合に特に強力であると主張している。AIFを分布的強化学習の単純な拡張として位置づけることで、著者らは、AIFの性能向上（感覚情報の効率的な組織化による計画）が、明示的な前方モデルを学習するという法外なコストなしに実現できると論じている。

本研究は、感覚の組織化と計画という「二重の問題」を解決するには、環境の完全な遷移ダイナミクスをモデル化するのではなく、リターン分布が圧縮され構造化された潜在表現を学習するのが最善であると示唆している。著者らは、DAIFをあらゆるRLに代わるものではなく、サンプル効率と計算制約が重要となる困難な環境を制御するための堅牢な手法として位置づけている。なお、DAIFは認識的価値と道具的価値の項を明示的に分離していないこと（代わりに暗黙的な不確実性に依存している）や、潜在ボトルネックのサイズが現在、適応的に学習されるのではなくアーキテクチャに依存していることなど、限界についても認めている。