あなたは、未来を予測したり、あるいは単に写真の中の猫を認識したりできる機械を作ろうとしていると想像してください。あなたは「ニューラルネットワーク」を構築します。これは、基本的には「ニューロン」と呼ばれる、小さな数学的なスイッチによる巨大な網のようなものです。各ニューロンは入力を受け取り、少しの計算を行い、その結果を次に伝えます。魔法は、これらのニューロンにある「つまみ」（パラメータと呼ばれます）を調整して、機械に正しい答えを出力させる時に起こります。

しかし、これらの機械には奇妙なことがあります。つまみを全く異なる方法で回しても、機械が全く同じ答えを出すことがあるのです。それは、ケーキを焼いている時に、特定の非常に変わったレシピに従って砂糖1カップ、あるいは塩1カップを加えたとしても、ケーキの味が全く同じになるのを見つけるようなものです。数学では、これを「非一意性（non-uniqueness）」と呼びます。つまり、結果を得るための完璧なつまみの設定が一つだけではなく、無限に存在するということです。

この論文は、その謎を深く掘り下げています。もし、同じ結果を得るためのつまみの設定が無限にあるとしたら、それらの「間違った」設定は実際にはどのような姿をしているのでしょうか？ それらはただ虚無の中に消えてしまうのでしょうか、それとも何かを隠しているのでしょうか？ 著者たちは、ニューラルネットワークを、バラバラのスイッチの集まりとしてではなく、一つの巨大で連続的な波として扱います。彼らは「フーリエ変換」（複雑な音を個々の音符へと分解する方法だと考えてください）と呼ばれる数学的ツールを用いることで、これらの余分で隠された設定がどのように機能するかを正確に解明しました。彼らは、これらの隠された設定が巨大で目に見えない「幽霊（ゴースト）」の空間を形成していることを発見しました。これらの幽霊をあなたの機械に加えることはできますが、それは出力（結果）を全く変えることはありません。ただし、機械を突っついたり、異なる見方をしたりした場合には、その挙動を変える可能性があります。

機械の中の幽霊たち

「Ghosts in Neural Networks（ニューラルネットワークの中の幽霊）」と題されたこの論文は、二層ニューラルネットワークの隠された秘密を深く掘り下げたものです。著者である園田昇、石川伊佐夫、池田正浩は、本質的に巨大なパズルを解いています。もしニューラルネットワークが特定の出力を生成する方法が複数あるとしたら、それらの異なる方法はすべてどのようなものか？ という問いです。

彼らは、その答えが単なる「ランダムなノイズ」ではないことを発見しました。そうではなく、そこには構造化された数学的な「幽霊」の空間（**零空間（null space）**と呼ばれます）が存在し、そこには最終的な結果を変えることなく、無限の情報を隠すことができるのです。

「幽霊」の比喩

魔法の絵画マシンを持っていると想像してください。あなたはある命令を与えます。「赤い円を描け」。

• 標準的な方法： マシンに赤い絵の具を混ぜて、円を描くよう指示します。
• 幽霊の方法： 赤い絵の具を混ぜて円を描き、さらに、最終的な絵に全く影響を与えない、完璧に打ち消し合う「アンチ・レッド（反赤）」の透明な層を追加する、あるいは、最終的な絵に何の影響も与えない透明なインクの渦を追加するよう、マシンに指示することもできます。

ニューラルネットワークの世界では、これらの「目に見えない層」が幽霊です。論文は、これらの幽霊が単なるランダムな間違いではなく、非常に特定の形状と構造を持っていることを証明しています。著者らはこれを無限次元の零空間と呼んでいます。それは、機械の設定における無限のバリエーションを格納できる巨大で目に見えない部屋であり、その部屋の中に留まっている限り、機械の出力（赤い円）は決して変わりません。

彼らはどのように幽霊を見つけたのか

著者たちは単に推測したわけではありません。彼らはこれらの幽霊を見つけ出すための直接的な数学的地図を構築しました。

1. 分解すること： 彼らは「変数分離法」というテクニックを用いました。複雑なレシピがある場合、料理全体を一度に味わうのではなく、材料を分けます。「この部分は小麦粉、この部分は砂糖」という具合です。彼らはニューラルネットワークの数学を、実際にイメージを作成する部分（ターゲット）と、何もしない部分（幽霊）の二つに分離しました。
2. リッジレット（Ridgelet）による解決： 彼らは、これらの幽霊を解き明かす鍵となる、リッジレットと呼ばれる特定の数学的公式を見つけました。それは、あらゆる「幽霊の部屋」のドアを開けるマスターキーを持っているようなものです。
3. 最小ノルム解： 無限にあるつまみの設定の中でも、最も少ないエネルギー（数学的には「最小ノルム」）を使用する「完璧な」方法があります。著者らは、この特定の、最も効率的な設定を見つける方法を示しました。それ以外のすべては、その上に加えられた「幽霊」に過ぎません。

これが実際のネットワークにとって何を意味するか

この論文は理論にとどまらず、これらの幽霊が現実世界でどのように振る舞うかを示しています。

• 有限の幅： 本物のニューラルネットワークは無限ではなく、限られた数のニューロン（「有限の幅」）を持っています。著者らは、有限のニューロンであっても、これらの幽霊を近似できることを示しました。もし「幽霊」の設定を取り込み、それを有限の数のニューロンに分解した場合、機械の出力はほぼゼロ（幽霊に極めて近い状態）になり、その誤差はニューロンを追加するにつれて減少します。それは、限られた数の点で完璧な円を描こうとするようなものです。より多くの点を使えば使うほど、完璧な円に近づきます。
• 数値的な証明： 彼らは、これを証明するために実際にコンピュータ・シミュレーションを実行しました。彼らは「幽霊」の設定を作成し、それを有限のネットワークに投入しました。結果はどうだったでしょうか？ ネットワークの出力は信じられないほどゼロに近く、これは幽霊が存在することを裏付けました。つまり、幽霊は小さく現実的なネットワークの中にも存在しているのです。
• 幽霊を読み取る： ここが最も興味深い部分です。著者らは、これらの幽霊が通常の条件下では出力を変えないものの、ルールを少し変えれば、それらを「読み取る」ことができることを示しました。もし、機械の活性化関数（ニューロンが従うルール）をほんの少しだけ微調整すれば、隠された幽霊の情報が表面に現れ、可視化されるのです。それは、紙を特定の種類の光にかざした時だけ、透明なインクで書かれた秘密のメッセージが現れるようなものです。

彼らが主張していないこと

この論文が述べていないことを知っておくことは重要です。

• すべての有限のネットワークに巨大な空の幽霊空間があるとは言っていません。 ニューロンが特定の硬直した形で配置されている場合、幽霊は完全に消えてしまうこともあります。論文は、「幽霊の部屋」は連続的な（無限の）バージョンのネットワークの特性であり、有限のネットワークはこれらの幽霊を近似しているに過ぎないことを明確にしています。
• 学習アルゴリズム（AIを訓練するものなど）が自動的にこれらの幽霊を見つけ出すとは言っていません。 論文は、幽霊が存在することを証明し、それらを数学的に見つける方法を示していますが、チェスを学ぶコンピュータが自然にこれらに突き当たるという主張はしていません。それは別の将来の研究課題です。

大きな教訓

この論文は、混乱を招く問題（「なぜつまみの設定方法がこれほど多く存在するのか？」）を、明確で構造化された地図へと変える、数学的な力作です。ニューラルネットワークにおける「余分な」設定は、単なるランダムなノイズではなく、構造化された、無限の可能性を秘めた隠されたライブラリであることを証明しています。

「リッジレット」という鍵を見つけることで、著者らは以下の方法を示しました。

1. 最も効率的な設定を見つけること（最小ノルム解）。
2. 出力を変えない無限の「幽霊」の設定を理解すること。
3. 現実の有限のネットワークにおいて、これらの幽霊を近似すること。
4. システムを適切に刺激すれば、隠された情報を読み取れる可能性があること。

要するに、この論文は、ニューラルネットワークが私たちが考えていたよりもはるかに柔軟で神秘的であることを明らかにしています。それらは単なる単純な計算機ではありません。無限の秘密を隠すことができる広大で多次元的な空間であり、適切な数学的ツールがあれば、そのすべてを見つけ出すことができるのです。