Predictive Coding Graphs are a Superset of Feedforward Neural Networks

この論文は、神経科学に着想を得た確率的潜在変数モデルである予測符号化グラフ（PCG）が、多層パーセプトロンの数学的超集合を定義することを証明し、これにより PCG を現代の機械学習の文脈に位置づけ、ニューラルネットワークのトポロジーに関する研究を強化していることを示しています。

要約

この論文は、人工知能（AI）の新しい考え方を紹介する面白い研究です。専門用語を避け、身近な例え話を使って解説します。

🧠 論文の核心：「予測コーディング」は、従来の AI の「親戚」であり、さらに「進化版」である

この研究は、**「予測コーディンググラフ（PCG）」という新しい AI の仕組みが、私たちがよく知っている「従来のニューラルネットワーク（FNN）」**を完全に含み、さらにそれ以上の能力を持っていることを数学的に証明しました。

まるで、「普通の自転車（従来の AI）」が「最新の電動バイク（PCG）」の一部に過ぎないと気づいたようなものです。

---

🚲 1. 従来の AI（自転車）とは？

私たちが普段使っている「フィードフォワード型ニューラルネットワーク（FNN）」は、**「一方向に走る自転車」**のようなものです。

• 仕組み: 入力（ペダルを漕ぐ）→ 処理（チェーンが回る）→ 出力（前へ進む）。
• 特徴: 情報は前へ前へとしか進みません。後戻りや横移動はできません。
• 学習: 目的地（正解）に到達できなかったとき、後ろから「どこが間違っていたか」を計算して修正します（これを「誤差逆伝播」と呼びます）。

🔮 2. 予測コーディング（PCG）とは？

一方、「予測コーディング」は、**「脳が世界をどう理解しているか」**という生物学的なアイデアに基づいています。

• 仕組み: 脳は常に「次はどうなるか？」を予測し、実際の感覚と予測を照らし合わせます。ズレ（誤差）があれば、予測を修正します。
• 特徴: 情報が前だけでなく、後ろや横へも流れます。まるで、自転車に乗っている人が、前を見つつ、後ろの仲間と会話したり、横の道を確認したりする感じです。
• 学習: 誤差を「後ろから」計算するのではなく、「今、ここ」で予測と現実のズレを埋め合わせるように、ネットワーク全体が同時に調整されます。

🌐 3. この論文のすごい発見：「超集合（スーパーセット）」の関係

著者のビョルン・ファン・ゾル氏は、この 2 つの関係を数学的に証明しました。

• 発見①：テスト中は同じ動きをする
  学習が終わって実際に使われるとき（テスト中）、予測コーディングのネットワークは、従来の自転車（FNN）と全く同じ動きをします。つまり、従来の AI ができることは、すべて予測コーディングでもできます。

  • 例え: 電動バイクも、ペダルだけで漕げば普通の自転車と同じように走れます。

• 発見②：予測コーディングは「何でもできる」進化版
  予測コーディングのネットワーク（PCG）は、**「任意の形」**を作ることができます。

  • 従来の自転車は「前へ進む」ことしかできませんが、予測コーディングは**「ループ（輪）」を作ったり、後ろへ戻ったり、横に繋がったりする複雑な道**を作れます。
  • 論文では、従来の AI を「特別なケース（一部）」として、予測コーディングという「大きな箱」の中に収めました。これを数学的に**「超集合（Superset）」**と呼びます。

🎨 4. なぜこれが重要なの？（図 1 と図 2 の意味）

論文の図 1 と図 2 は、この「箱」のイメージを描いています。

• 従来の AI（FNN）: 青と赤のブロックだけ（前へのつながり）が動きます。
• 予測コーディング（PCG）: 青と赤だけでなく、緑や黄色のブロック（後ろや横へのつながり）も全部動かせます。

これにより、**「残差接続（Skip Connection）」**と呼ばれる、最近の AI 革命（ResNet など）で使われている「飛び越えるつながり」も、この予測コーディングの大きな箱の中にある自然な一部だと理解できます。

さらに、**「後ろへのつながり」や「横へのつながり」**を使えば、従来の AI にはできない新しい種類の学習が可能になるかもしれません。

🚧 5. 注意点と未来

• 計算コスト: 複雑なつながり（ループや横移動）を全部計算するのは、単純な自転車より少し時間がかかります（計算量が多い）。
• 可能性: しかし、この「複雑なつながり」が、より効率的な学習や、新しい問題解決の鍵になる可能性があります。

💡 まとめ

この論文は、**「予測コーディングという新しい AI の考え方は、従来の AI を完全に包み込む、もっと柔軟で強力な『親戚』である」**と宣言しました。

従来の AI が「一方向の道」しか走れなかったのに対し、予測コーディングは**「迷路のように入り組んだ、自由な道」**を走れるようになります。これによって、脳の仕組みに近づきつつ、より高度な AI を作れる可能性が広がったのです。

---

一言で言うと：
「従来の AI は、予測コーディングという『万能な AI』の、特別な形の一つに過ぎなかったんだ！」という発見です。

技術概要

論文「Predictive Coding Graphs are a Superset of Feedforward Neural Networks」の技術的サマリー

1. 概要と背景

この論文は、神経科学に着想を得た確率的潜在変数モデルである**予測符号化ネットワーク（Predictive Coding Networks: PCNs）を一般化した予測符号化グラフ（Predictive Coding Graphs: PCGs）が、従来のフィードフォワード人工ニューラルネットワーク（FNNs、多層パーセプトロン）**の数学的な超集合（Superset）であることを証明するものです。

従来の機械学習（ML）において、FNN はバックプロパゲーション（BP）によって訓練されますが、PCN は生物学的に妥当性が高い「推論学習（Inference Learning: IL）」を用います。これまでの研究では、PCN と FNN の関係性が直感的に理解されていましたが、数学的に厳密な包含関係が証明されていませんでした。本論文は、このギャップを埋め、PCGs が任意のグラフ構造（ループや非階層的構造を含む）を扱えることを示し、ML におけるネットワークトポロジーの重要性を再考させる枠組みを提供します。

2. 問題設定

• 背景: PCN は生物学的な妥当性、並列化の可能性、確率的生成モデルへの適応性から注目されています。さらに、[16] によって任意のトポロジーを持つ「PCG」が提案されましたが、PCG がどのように PCN や FNN と数学的に結びつくか（コスト関数やダイナミクスの観点から）は明確ではありませんでした。
• 課題:
  1. 推論（テスト）段階において、PCN が FNN と等価であることを厳密に証明すること。
  2. PCG が PCN の超集合であることを証明し、結果として PCG が FNN の超集合であることを示すこと。
  3. これらの関係性を踏まえ、万能近似定理（Universal Approximation Theorem: UAT）が PCN/PCG にも適用可能であることを示すこと。

3. 手法と証明の概要

著者は以下の 2 つの主要な洞察に基づいて証明を行いました。

3.1 洞察 1: 推論段階における PCN と FNN の等価性

• 定義: FNN の活動則（アクティベーション則）は $a^\ell_i = f(\sum w a)$ であり、PCN はエネルギー関数 $E_N = \sum (\epsilon^\ell_i)^2$ を最小化する活動則を持ちます（$\epsilon$ は予測誤差）。
• 証明: テスト（推論）段階では、PCN の活動則はエネルギー $E_N$ の最小化（$\arg\min_{a^\ell_i} E_N$）として定義されます。
  • 出力層（$\ell=L$）では、ラベル $y$ が固定されるため誤差 $\epsilon^L_i = 0$ となります。
  • この条件から、逆方向に帰納法（Backwards Induction）を用いると、すべての隠れ層において $\epsilon^\ell_i = 0$ となることが導かれます。
  • $\epsilon^\ell_i = 0$ は、定義上 $a^\ell_i = f(\sum w a)$ を意味するため、PCN の活動則はテスト時に FNN の活動則と完全に一致します。
• 意義: この等価性により、FNN が万能近似器であるという事実から、PCN もまた万能近似器であることが厳密に導かれます（これまでは PC 界隈で信じられていたが、形式的な証明は欠けていました）。

3.2 洞察 2: PCG が PCN の超集合であること

• 定義: PCG はノードと重み行列を任意のグラフ構造で定義し、エネルギー関数 $E_G$ を最小化します。
• 証明: PCG の重み行列を特定のブロック構造（階層的構造）に制限することで、PCN と完全に等価になることを示します。
  • ノードと重みを層ごとに分割し、PCG の重み行列 $\tilde{w}$ をブロック行列として表現します。
  • 特定のブロック（隣接する層間の重み）のみを非ゼロとし、それ以外をゼロに設定（マスク）することで、PCG のエネルギー $E_G$ は PCN のエネルギー $E_N$ と定数項の差のみで一致します。
  • 同様に、活動則と学習則も等価になります。
• 結論: PCG は重み行列の選択次第で PCN を再現できるため、PCN は PCG の特殊なケース（部分集合）です。

4. 主要な結果

1. 数学的包含関係の確立:
   • PCG $\supset$ PCN $\equiv$ FNN (テスト時)
   • PCG は FNN を含む数学的な超集合として定義されます。
2. 万能近似定理の適用:
   • PCN が FNN とテスト時に等価であるため、FNN の万能近似定理が PCN にも適用可能であることが初めて厳密に証明されました。
3. トポロジーの一般化:
   • PCG は、FNN にはない「後方接続（skip connections 含む）」「横方向接続（lateral connections）」「自己接続」を含む任意のグラフ構造を扱えます。
   • これらは BP では訓練が困難または不可能な構造ですが、IL（推論学習）を用いることで学習可能です。
4. ResNet との関連性:
   • 近年の ResNet などの成功要因である「スキップ接続」は、PCG の重み行列における特定のブロックとして自然に記述できます。
   • 同様に、後方接続や横方向接続も PCG の重み行列の一部として扱えるため、これらが ML タスクにどのような利益をもたらすかという新たな研究の道を開きます。

5. 考察と意義

• 理論的基盤の強化: 従来の実験的なアプローチに加え、PCN/PCG の数学的性質を厳密に定式化することで、理論的な正当性を提供しました。
• 生物学的妥当性と ML の融合: BP に代わる生物学的に妥当な学習アルゴリズム（IL）が、単なる FNN の代替ではなく、より一般的なグラフ構造を扱える強力な枠組みであることを示しました。
• 計算コストと将来展望:
  • 現在の PCG 実装では、非フィードフォワード接続を含むため、推論時の計算コスト（$O(N^2 T)$）が FNN（$O(LM)$）より高いという課題があります。しかし、スパース性を活用することで改善の余地があります。
  • 再帰性（Recurrence）の観点では、RNN が「データ時間」に再帰するのに対し、PCG は「推論時間」に再帰する（Hopfield ネットワークに近い）という重要な区別がなされました。
• 今後の方向性: 階層的構造以外の PCG（全結合など）が万能近似器として機能するかどうか、および非フィードフォワード接続が実際のタスクでどのような性能向上をもたらすかの実証的研究が期待されます。

6. 結論

本論文は、予測符号化グラフ（PCGs）がフィードフォワードニューラルネットワーク（FNNs）の数学的な超集合であることを形式的に証明しました。これにより、PCN は単なる生物学的に妥当な代替モデルではなく、任意のトポロジーを扱える汎用的な機械学習フレームワークとして再定義され、ネットワーク構造の重要性を研究するための新たな基盤を提供しています。