🤖 machine learning

Closed-form predictive coding via hierarchical Gaussian filters

本論文は、階層ガウスフィルタに基づく閉形式予測符号化フレームワークを導入し、精度重み付けされたメッセージ伝達を回復させることで、反復推論や大域誤差信号なしに深層ネットワークが活性化、重み、不確実性を同時に学習可能とし、バックプロパゲーションの効率性を維持しつつオンラインおよびデータ効率性の高いタスクにおいて卓越した性能を発揮することを可能にする。

原著者： Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

公開日 2026-05-21

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文を、簡単な言葉と日常的な比喩を用いて解説します。

大きな問題：「遅くて硬直した」脳

ロボットに画像認識（猫と犬の区別など）を教えることを想像してください。現在の標準的な手法であるバックプロパゲーションは、教室の後ろに立つ厳格な教師のようなものです。生徒が答えを間違えると、教師は教室の一番前までその誤りを叫び、すべての生徒はその叫びを聞いて立ち止まり、考え、答えを調整しなければなりません。

これはうまく機能しますが、2 つの大きな欠点があります。

遅いこと：ロボットは「叫び」が下から上へ、そして上から下へ伝わるのを待たなければ、学習できません。
不自然なこと：実際の人間の脳はそうは働きません。私たちの脳は、神経細胞があるその場で局所的に学習し、中央の「叫び手」を必要としません。

科学者たちは、**予測符号化（Predictive Coding: PC）**と呼ばれる「脳のような」学習手法の構築を試みてきました。このシステムでは、脳の各層が次に何が来るかを推測します。推測が間違っていれば、「予測誤差」の信号が上へ送られます。その後、脳はその誤差を最小化するように推測を調整します。

しかし、従来の予測符号化には重大なバグがありました：それは非常に遅く、ネットワークが深くなる（非常に高いビルのような）と破綻していました。なぜでしょうか？それは、脳が推測についてどれほど確信を持っていようとも、すべての間違いを同等に重要視していたからです。まるで、学生が重大な事実誤認と同じくらい、些細なタイプミスをパニックになって恐れているようなものです。

解決策：「賢いフィルター」

この論文の著者たちは、脳の学習プロセスを**階層ガウスフィルター（HGF）**のように扱うことで、このバグを修正しました。

HGF を単なる推測者ではなく、「自信メーター」を持つ賢い探偵として考えてみてください。

従来の方法（単位行列）：すべての手がかりを同等に重要視する探偵を想像してください。ある手がかりについて 99% 確信していても、小さなヒントと、巨大で疑いの余地のない事実を同じように扱います。これでは混乱を招き、遅くなります。
新しい方法（精度重み付け）：新しいシステムは、探偵に**「自信メーター」**（「精度」と呼ばれます）を与えます。
- 探偵が非常に確信している場合（高精度）、小さなノイズのある誤差は無視します。
- 探偵が不確かな場合（低精度）、物事を理解するために誤差に注意深く注目します。

この「自信メーター」を追加することで、システムは小さなノイズにパニックになるのをやめ、実際に重要なことに集中するようになります。

仕組み（比喩）

各階が下の階が何をしているかを予測しようとしている、多階建てのオフィスビルを想像してください。

従来の PC 手法：階同士が単一の答えに合意しようとして、何時間も議論を繰り返します（反復ステップ）。最終的に落ち着くまで、推測を調整し続けます。これには長い時間がかかりました。
新しい HGF 手法：著者たちは、各階がどれほど「確信」を持っているかが分かれば、議論をスキップできることに気づきました。完璧な答えを1 回のステップ（「閉形式」の更新）で計算できるのです。

これは、以下のような違いに似ています。

従来の方法：「雨だと思う。いや、待てよ、もしかしたら散水機かもしれない。もう一度確認しよう。よし、50% 確信。もう一度確認して…」（遅く、反復的）。
新しい方法：「散水機はオフだが、地面は濡れている。自信メーターによると、雨だと 90% 確信できる。したがって、すぐに傘を手に取ろう」。（速く、一度きりの決定）。

達成したこと

研究者たちは、この新しい「賢い探偵」システムを、標準的な画像認識タスク（衣服の画像を分類する FashionMNIST）でテストしました。

速度：標準的な「バックプロパゲーション」手法とほぼ同じ速さで学習しましたが、遅く反復的な議論を必要としませんでした。
変化への適応性：ゲームのルールが突然変わった場合（例えば、コンピューターが突然「シャツ」を「ズボン」と呼ぶと決めた場合など）、新しいシステムは古いシステムよりもはるかに速く適応しました。
少量のデータ：非常に少ない例しか示されなくてもよく学習しましたが、古い手法は膨大な量のデータを必要としました。
グローバルな「叫び手」の不在：学習は完全に局所的に行われました。中央のコンピューターが層に何をすべきか指示するのではなく、各層は独自の局所的な「自信」と誤差に基づいて調整するだけです。

注意点（限界）

この論文は、まだ何を行っていないかについて正直に述べています。

コンピューター上ではまだ少し遅い：現在のコードは、スーパーマーケットの単一のレジ係のように、画像を 1 枚ずつ処理します。標準的な手法は、コンベアベルトのように大きなバッチで処理します。著者たちは、より良いコーディングによってこの手法を高速化できる可能性があると述べていますが、まだそれを行っていません。
「本物」の写真ではまだテストされていない：彼らは衣服の単純な画像でテストしました。複雑な現実世界の写真（森の中の猫など）ではまだテストしていませんが、今後は行う予定です。
「自信」は扱いが難しい：非常に深いネットワークでは、「自信メーター」が時々おかしくなり、システムが不安定になることがあります。彼らはこれを部分的に修正する方法を見つけましたが、まだ改善の余地がある分野です。

まとめ

この論文は、生物学的に現実的（スプレッドシートではなく脳のように機能する）、高速（多くのステップではなく 1 回で問題を解決する）、そして賢い（自分の推測をいつ信じるか、いつ新しいデータに耳を傾けるかを知っている）AI の新しい学習手法を紹介しています。これは、脳が学習する方法とコンピューターが学習する方法の間の溝を埋め、AI をより効率的で適応力のあるものにします。

技術的概要：階層的ガウスフィルタによる閉形式予測符号化

問題定義

予測符号化（PC）は、局所計算、ヘッビアンに似た更新、および大域誤差信号の不在を特徴とし、人工ニューラルネットワークの学習に対するバックプロパゲーション（BP）の生物学的に根拠のある代替手段を提供する。しかし、現代の深層アーキテクチャへの PC の拡張は、2 つの決定的な限界によって阻害されてきた：

計算的非効率性：現在の PC ネットワークは、活性化を平衡状態へ緩和するために反復的な勾配降下に依存しており（通常、サンプルあたり $T \approx 32\text{--}128$ ステップを要する）、逐次ハードウェア上では BP よりも著しく遅い。
性能の劣化：ネットワークの深さが増すにつれて、性能は急激に低下する。

著者らは、これらの両方の問題が、既存の深層 PC 実装における特定の簡略化、すなわち精度行列の単位行列への固定に起因すると特定している。この簡略化は、PC の変分導出に必要な精度重み付き予測誤差を破棄する。その結果、これらのネットワークは線形の場合に PC を特徴づける性質、すなわち自然勾配降下との形式的同等性を失い、誤差信号を適応的にスケーリングしたり、層間で不確実性を管理したりすることができなくなる。

手法

本論文は、予測符号化ネットワークを一般化階層ガウスフィルタ（gHGF）として再定式化することを提案する。このアプローチは、反復的な状態推論を閉形式のワンショット変分更新に置き換える。

主要なアーキテクチャ的転換：

固定から動的な精度へ：精度を固定ハイパーパラメータ（単位行列）として扱う標準的な PC ネットワークとは異なり、gHGF は精度（ $\pi$ ）を第一級の信念状態として扱う。モデルは、各ステップにおいてすべてのノードの事後平均（ $\mu$ ）と精度（ $\pi$ ）の両方を推論する。
変動性の結合：この枠組みは「変動性の結合」を導入する。ここで、親ノードは子ノードの変化率（対数分散）を調節する。これにより、予測誤差が、標準的な値結合型 PC には存在しない変動性予測誤差（VOPE）を介して精度更新を明示的に調節することを可能にする。
生成モデル：ネットワークは信念ノードの階層としてモデル化される。連続状態ノードは、非線形値結合（例：ReLU）によって決定される平均と、変動性親によって決定される分散を持つガウス分布として生成される。二値出力ノードは、ロジスティックシグモイドを介して予測を生成し、驚きは二値交差エントロピーとして測定される。
推論と学習：
- 推論：反復的緩和の代わりに、変分エネルギーの二次展開により解析的な定常点が可能となり、推論を単一の更新掃引に削減する。
- 重み更新：シナプス重み（値結合強度）は、局所的なヘッビアン則を介して更新される。著者らは 3 つの変種を提案しており、主要なベンチマークでは精度重み付き則を使用する： $\alpha^* = \alpha + \eta \delta_\ell g(\mu_{\ell+1}) \cdot \pi_\ell$ 。これは、推論された精度を自然勾配重みとして組み込む。

主要な貢献

PC の再定式化：著者らは、反復的推論を閉形式変分更新に置き換えることで、深層 PC ネットワークを階層ガウスフィルタとして再定式化した。
精度学習：彼らは、精度が固定ハイパーパラメータとして扱われるのではなく、階層に結合された事後信念としてオンラインで内生推論可能であることを実証した。
ヘッビアン互換の更新：この手法は、精度を自然勾配重みとして組み込んだ重み更新則を生み出し、生物学的妥当性を維持する。
性能ベンチマーク：このアプローチは FashionMNIST において最先端の収束を達成し、壁時計コストではバックプロパゲーションに迫りながら、より少ないエポックで収束した。

実験結果

著者らは、FashionMNIST データセットにおいて、バックプロパゲーションで学習された多層パーセプトロン（MLP）およびバニラ予測符号化ネットワーク（PCN）に対して、自らの手法（HGF）を評価した。

直接比較（FashionMNIST）：さまざまな深さ（ $d \in \{2, 8\}$ ）と幅の構成において、HGF はバニラ PCN よりも速く収束し、より高いテスト精度を達成した。BP は依然として競争力があったが、HGF は著しく少ないエポックで BP の性能に近づいた。
オンライン学習：厳密なオンライン領域（バッチサイズ 1）において、HGF は BP および PCN ベースラインの両方よりも低い定常状態誤差に収束した。
データ効率：小規模データセット部分集合（ $n \in \{60, 3000\}$ ）において、HGF は両方のベースラインを上回り、優れたデータ効率を示した。
概念ドリフト：クラスラベルが周期的に置換される非定常環境において、HGF はベースラインと比較してより低い定常状態誤差を維持し、精度をリセットすることなく蓄積された信念状態を活用してドリフト事象からより迅速に回復した。
精度学習のダイナミクス：合成スパイラル分類タスクにおいて、変動性結合（精度学習）を持つネットワークは、学習と推論を効果的にゲートする階層的な期待精度の増加を示した。しかし、著者らは、極端な深さ（深さ 16）において、固定精度ベースラインが依然として変動性結合型の変種を上回ったことに言及しており、精度学習が誤差信号を安定化させる一方で、結果として生じる層間精度のバランスの乱れはさらなる調査を必要とする可能性を示唆している。

意義と主張

本論文は、オンライン精度学習を伴う閉形式変分推論が、深層予測符号化ネットワークのための実行可能な基盤を提供することを確立している。反復的緩和と大域誤差信号の必要性を解消することで、この手法は PC の生物学的および解釈的な利点を維持しつつ、主要なスケーラビリティのボトルネックに対処する。

著者らは、自らの貢献を理論的 PC と実用的深層学習の間のギャップを埋めるための一歩として謙虚に位置づけている。彼らは以下を認めている：

現在の実装はバッチではなくサンプルを逐次処理しており、これが BP との残りの壁時計コストの差の大部分を説明している。
この枠組みはまだ畳み込みアーキテクチャや大規模自然画像データセット（例：CIFAR、ImageNet）に拡張されていない。
変分導出の忠実度（動的精度）とスケーリングのための工学的選択（例：ePC、 $\mu$ PC）との間のトレードオフは、さらに制御された比較を必要とする。

究極的に、この研究は、動的精度学習が深層 PC にとって不可欠であり、不確実性に対する原理的な制御を提供し、反復的推論の計算オーバーヘッドなしにヘッビアン互換の可塑性を可能にすると論じている。