あなたは巨大なパズルを解こうとしていると想像してください。しかし、あなたには秘密の近道があります。完成した絵そのものを動かすのではなく、その絵を「構成する」ピースだけを動かすことが許されているのです。機械学習の世界では、これこそが「過剰パラメータ化（overparameterized）」されたモデルを訓練する際に起きていることです。これらは、最終的な答えを記述するために実際に必要なよりも、はるかに多くの「動かせるパーツ（パラメータ）」を持っている賢いアルゴリズムです。これは、完璧な円を描くために、千本の目に見えない糸を操っているようなものです。糸の持ち方には多くのバリエーションがありますが、それらはすべて同じ一つの円を描き出すことができます。科学者が問い続けてきた大きな問題は、コンピュータがこれらの糸を調整して学習していくとき、具体的にどの円を選択するのか？ 最も単純なものを選ぶのか？ 最もバランスの取れたものを選ぶのか？ それとも、ただランダムな形に辿り着くだけなのか？ ということです。

この論文は、「正の二次形式ネットワーク（positive quadratic networks）」と呼ばれる特定の種類のパズルを深く掘り下げています。これらは、入力（数値や数値のリストなど）を受け取り、それを巧妙な方法で二乗することで予測を行う、特殊な数学的マシンだと考えてください。研究者たちは、このマシンの「糸」を繋ぎ止めているものには、回転させても見た目が変わらない独楽（こま）のような、隠れた幾何学的構造があることに気づきました。彼らは、このマシンが（勾配降下法によって）学習する際、この回転する冗長な風景の中でどのように振る舞うのかを理解したいと考えました。問題を「冗長な動きが無視される曲面上の旅」として扱うことで、マシンがたださまよっているのではないことを発見しました。その結果、マシンは非常に具体的で予測可能な経路を辿っており、そこには隠れたバイアス（偏り）があることが明らかになりました。つまり、特定の数学的な意味において「小さい」解、多くの場合、総サイズ（トレース）が最小となる解や、エントロピーをユニークな形でバランスさせる解を選ぶ傾向があるのです。

冗長な糸の秘密のダンス

核心となる謎から始めましょう。天候を気温と湿度に基づいて予測するマシンを想像してください。このマシンを作るために、あなたはダイヤのような因子 $U$ を使用します。マシンの実際の予測 $Q$ は、これらのダイヤを二乗することによって作られます（$Q = UU^\top$）。ここでの落とし穴は、全く同じ予測 $Q$ を得るためのダイヤの設定方法が無数に存在するということです。もし特定のルールに従ってダイヤを回転させれば（直交行列を掛ければ）、予測 $Q$ は全く変化しません。これは、中心のパーツの色を変えずに、ルビックスキューブの面全体をひねることができるようなものです。

論文は、これが単なる偶然ではなく、根本的な幾何学的ルールであることを証明しています。すべての可能なダイヤの空間は膨大ですが、実際の予測の空間は、より小さく滑らかな表面である「商多様体（quotient manifold）」と呼ばれます。研究者たちは、標準的な手法（ユークリッド勾配流）を用いてマシンを訓練すると、ダイヤの動きがこの予測面の幾何学と完璧に一致することを示しました。「冗長な」回転運動は自然にフィルタリングされます。まるで学習アルゴリズムが、ダイヤの無意味な回転を無視して、予測を前進させることだけに集中する内部コンパスを持っているかのようです。

見えない地図と学習の速度

最も興味深い発見の一つは、マシンがいかに速く学習するかについてです。通常、アルゴリズムの収束速度を見る際、私たちはランドスケープの「曲率（景色のうねり）」、つまり丘がいかに急峻であるかに注目します。しかし、冗長なダイヤが存在するため、このランドスケープはある方向において奇妙に平坦に見えます。著者らは、「有効曲率（effective curvature）」と呼ばれる新しい種類の地図を考案しました。この地図は、平坦で無用な方向を無視し、予測を実際に変化させる方向の急峻さだけを測定します。

彼らは、この有効曲率がマシンの学習速度を完璧に予測することを発見しました。実験において、彼らは問題の「急峻さ」を変化させ、学習速度を観察しました。結果は完璧でした。マシンは、新しい地図が予測した通りに正確に減速したのです。それは、目に見えない路面の凹凸がある道を車で走っているようなものです。論文は、車の速度が決まるのは路面の表面によるのではなく、エンジンではなくステアリングホイールにのみ影響を与える、隠れた「凹凸の地図」によるものであることを解明しました。

「小さな」スタートとエントロピーによるタイブレーカー

さて、パズルが完全に解けていない場合はどうなるでしょうか。例えば、天候に関する手がかりはいくつかあるものの、正確な気温を知るには不十分な場合を想像してください。手がかりに適合する答えは無限に存在します。マシンはどれを選ぶのでしょうか？

論文は、魅力的なルールを明らかにしています：「どのように始めたか」が重要になります。 もしマシンを、ダイヤを非常に小さく一様な値に設定した状態（「小さな初期値」）からスタートさせた場合、マシンは最小トレースを持つ解を選ぶという強いバイアスを持ちます。簡単に言えば、「トレース」とは予測の総体的な「大きさ」や「エネルギー」を測る方法です。マシンは、データに適合する中で、最もコンパクトで最小の解へと自然に引き寄せられます。

しかし、もし複数の解がすべて等しく「小さい」場合、マシンはどうするのでしょうか？ マシンは単にランダムに一つを選ぶのではありません。マシンはエントロピー（無秩序さやランダムさの尺度）に基づいたタイブレーカー（決定ルール）を使用します。論文は、マシンが、最小の選択肢の中でも最も「バランスが取れた」あるいは「広がった」解を選ぶことを示しています。それは、砂の山をできるだけ小さくしたいとき、これ以上小さくできないなら、特定の粒が重くなりすぎないように、できるだけ均等に広げるようなものです。

研究者たちは、手がかり（測定値）がすべて「可換（commute）」である（つまり、互いに干渉することなく同時に解ける）特定のタイプの問題において、これを数学的に証明しました。このシナリオでは、学習プロセスは、特定の距離（ブレグマン・ダイバージェンス）を最小化する「ミラーフロー（mirror flow）」という高度な数学的ダンスと正確に等価になります。

理論と現実のギャップ

数学的には美しい一方で、この論文はその限界についても非常に正直です。著者らは、マシンが正しい答えを見つけることを保証するために必要なデータポイントの数に関する公式を導き出しました。しかし、彼らはこの公式が**極めて保守的（控えめ）**であることを認めています。それは、「この橋を渡るには、100万人が手をつないでいる必要がある」と言う安全マニュアルのようなものです。実際には、たった10人が手を繋いでいれば橋は耐えられるのですが。

実験において、マシンは理論が要求するよりもはるかに少ないデータポイントで、正解を学習し、正しい解を見つけることに成功しました。この理論は「十分条件（これだけあれば機能する）」としての保証であり、「必要条件（これ以下では不可能）」ではありません（もっと少なくても上手くいく可能性があります）。論文は、彼らのサンプルサイズの要件が最適ではないこと、および「ワーストケース」の分析に基づいていることを明記しています。また、彼らの整然としたエントロピーによるタイブレーキング・ルールは、手がかりが可換である場合にのみ機能することも指摘しています。より混沌とした非可換の問題においては、このルールは成立しない可能性があります。

有限のステップ：ダンスが途切れるとき

最後に、論文はマシンが滑らかな連続的な流れではなく、微小な離散的ステップ（ビデオゲームのキャラクターがフレームごとに動くような動き）を踏む場合に何が起きるかを調査しました。彼らは、マシンが選ぶ最終的な答えは、滑らかな連続的な答えに非常に近いものの、小さな誤差を伴うことを発見しました。この誤差はステップサイズ（$\eta$）に比例します。ステップを小さくすれば、答えは「完璧な」連続解に近づきます。それは標的に向かって歩いていくようなものです。大きな歩幅で進めば、目標を通り過ぎたり、わずかに外れた場所に降り立ったりするかもしれませんが、小さな歩幅で進めば、滑らかな経路が導く場所のほぼ正確な位置に到達できるのです。

まとめ

この論文は、単に「機械学習が機能する」と言っているのではなく、それが非常に具体的な幾何学的な方法で「なぜ」機能するのかを説明しています。問題の表現方法（ダイヤ）と、それを訓練する方法（勾配流）が深く結びついていることを示しています。マシンは単にエラーを最小化しているのではなく、自然に単純でバランスの取れた解へと導いてくれる、曲がった冗長なランドスケープをナビゲートしているのです。数学は、この旅のための厳格な地図を提供していますが、現実世界の実験は、マシンが「安全マニュアル」が示唆するよりもはるかに高い能力を持ち、より少ないデータとステップで正解を見つけ出すことを示しています。これは、隠れた幾何学、自然なバイアス、そしてマシンがいかに学習するかという驚くべきエレガンスの物語です。