ReLU$^k$ Neural de Rham Complexes

あなたは、あらゆる建物、道路、川が全く同じ物理法則に従うデジタル都市を構築しようとしていると想像してください。数学とコンピュータサイエンスの世界において、これは数値解析という夢です。数値解析とは、熱がどのように流れるか、流体がどのように渦巻くか、あるいは電磁波がどのように伝わるかを記述する複雑な方程式を、コンピュータに解かせることを指します。これを行うために、科学者たちは世界を、画面上のピクセルのように、極めて小さな断片へと分解します。そして、チャットボットや画像生成AIを動かしているものと同じ種類のニューラルネットワークを用いて、そのパターンを学習させるのです。

しかし、そこには落とし穴があります。ニューラルネットワークが数字を推測するのが得意だからといって、それが「ゲームのルール」を理解しているとは限りません。物理学において、特定のルールは絶対的です。エネルギーを無から作り出すことはできませんし、ループに沿って経路を辿れば、その総変化量はゼロにならなければなりません。数学者はこれらのルールを**ド・ラム複体（de Rham complex）**と呼びます。これは、温度、風、圧力といった異なる種類の場（フィールド）が、不可能な「ゴースト」の力や論理の穴を生み出すことなく、完璧に適合することを保証するための、いわばマスター・ブループリント（設計図）のようなものです。もしコンピュータ・シミュレーションがこの設計図を無視すれば、見た目は正しくても、実際には目に見えないエラーを含んでいる――例えば、計算上の「隠れたひねり」を考慮しなかったために崩壊してしまう橋のような――結果を生み出すことになります。

Kaibo Hu、Jindong Wang、および Jinchao Xu によるこの論文は、この問題の特定の一形態に取り組んでいます。彼らは、単純な「オン／オフ」のスイッチ関数（数学的には「リッジ関数」として知られる）を用いるReLUニューラルネットワークを扱っています。これらのネットワークは曲線を近似することには非常に長けていますが、物理学の厳格なルールに関しては、通常、混沌とした配線の塊のように振る舞ってしまいます。著者たちはこう問いかけました。「単に優れた推測器であるだけでなく、設計段階でド・ラムの設計図を尊重する、ルールに従うことができるニューラルネットワークを構築できるだろうか？」

彼らが見出した答えは、明確に「イエス」ですが、そこには特定のひねりがあります。彼らは、試行錯誤を通じてネットワークにルールを教え込もうとしたのではありません。代わりに、ネットワークの構造そのものをルールに一致するように構築したのです。彼らは、「ニューロン」（ネットワークの構成要素）が固定された位置にある、あらかじめ配置されたセンサーのグリッドのような、新しい種類の数学的空間を作り上げました。これらのセンサーを注意深く配置し、それを微分形式と呼ばれる特定の数学と組み合わせることで、結果として得られるシステムが、完璧で途切れることのない論理の連鎖を形成することを証明しました。

彼らがどのように行い、何を発見したのかを以下に示します。

「ニューロン・バイ・ニューロン」のマジック・トリック

著者たちは、ルールを守らせるための秘訣が、ReLU関数の単純な性質にあることに気づきました。ReLU関数の微分（変化率）を取ると、それは消滅するのではなく、まるで梯子を下るように、一段階下のレベルへとステップダウンします。もし「ReLUの2乗」関数を持っていれば、その微分は「ReLUの1乗」の関数になります。

チームは、ネットワーク内のすべてのニューロンが、独立した自己完結的な宇宙として機能するようにシステムを構築しました。彼らは、各ニューロンについて、数学が完璧に機能することを証明しました。これは、**コシュル複体（Koszul complex）**として知られる単純な代数パズルのようなものです。ロシアのマトリョーシカ人形を想像してください。それぞれのドールが次のドールの内側に完璧に収まるようなものです。彼らのシステムでは、ニューロンの配置によって、数学の「外側」の層（ベクトル場）が「内側」の層（スカラー場）へと完璧に流れ込みます。

決定的なのは、ニューロンが「互いの足を踏まない」ように配置されている限り（これは線形独立と呼ばれる条件です）、数百万ものニューロンからなる巨大なネットワーク全体が、一つの巨大で完璧な連鎖として機能することを示した点です。ニューロンが独立していれば、システム全体は「完全（exact）」となります。そうでなければ、連鎖は壊れてしまいます。

彼らが証明したもの、そして証明しなかったもの

この論文は、この新しい構造が「完全（exact）」であるという数学的証明を提供しています。平易な言葉で言えば、これはシステムに「ゴースト」の解が存在しないことを意味します。もしコンピュータがある場が「閉じた（closed）」（つまり、源泉や吸収源を持たない）と判定した場合、システムはその場が前のステップの結果であることを保証します。隠れたエラーや「偽のモード（spurious modes）」（存在してはならない偽の解）は存在しません。

彼らはまた、これが実際にどのように機能するかを確認するために、数値実験を行いました。彼らは、この新しい「ニューラル・ド・ラム複体」を2つの古典的な問題でテストしました。

1. ポアソン問題： 熱や電気がどのように広がるかをテストするための標準的なテストです。彼らの手法は安定しており、ニューロンを追加するにつれて期待通りの速度で収束（精度が向上）することを見出しました。
2. ホッジ・ラプラシアン固有値問題： これは振動や形状に関するより難しいテストであり、ドラムが奏でる「音（固有値）」を見つける際によく用いられます。ここでは、違いは歴然でした。彼らの新しい、ルールに従うネットワークを使用したとき、コンピュータは正しい「音（固有値）」を見つけ、偽の音を回避しました。しかし、標準的な非構造化ニューラルネットワーク（「原始的定式化」）を使用したとき、コンピュータは混乱し、特に「L字型」の部屋のようなトリッキーな形状において、偽の音を生み出し、本物の音を見逃してしまいました。

結論

この論文は、AIや物理学のあらゆる問題を解決したと主張しているわけではありません。このネットワークが明日から既存のソフトウェアに取って代わる準備ができていると言っているわけでもありません。むしろ、これは**概念実証（プルーフ・オブ・コンセプト）**を提供しています。つまり、構造的に「構造保存型（structure-preserving）」であるニューラルネットワークを構築することは可能であるという設計図を示しているのです。

著者らは、これが単なる始まりに過ぎないと示唆しています。現在のモデルは単純で空虚な形状（可縮領域）に対しては完璧に機能しますが、現実世界の諸問題には穴やひねり（非自明なトポロジー）があり、それらを扱うには追加の「自由度」が必要になる可能性があると指摘しています。また、彼らの手法は、ニューロンが特定の形で固定されていることに依存しており、これは現代のほとんどのAIの学習方法とは異なることも述べています。

しかし、核心となる発見は揺るぎないものです。ニューロンを単なるデータプロセッサとしてではなく、幾何学的な構成要素として扱うことで、宇宙の基本法則を尊重する新しい種類のAIを作ることができるのです。それは、AIにただ道を見つけるよう放任するのではなく、コンパスと地図を与えるようなものです。実験は、この構造を与えたとき、AIは単に推測が上手くなるだけでなく、不可能な間違いを犯さなくなることを裏付けています。