現代の人工知能は、繊細なバランスの上に成り立っています。コンピュータに写真の中の猫を認識させたり、一貫性のある物語を書かせたりするためには、研究者は膨大な数学的システムを誤差の風景（ランドスケープ）の中へと導き、最も低い地点を見つけ出すために内部設定を絶えず調整しなければなりません。このプロセスは「学習（トレーニング）」と呼ばれ、この地形をナビゲートするために使われるツールが「オプティマイザ（最適化アルゴリズム）」です。長年、業界の標準となってきたのは、Adamと呼ばれるアルゴリズムです。これは、コードを書き、言語を翻訳し、会話を行う最も強力な言語モデルのデフォルトのエンジンです。しかし、その普遍性にもかかわらず、Adamの数学的基礎は不安定でした。約10年もの間、ある有名な理論的結果が、Adamは壊滅的な失敗を招き、単純な問題においてさえ制御不能に陥る可能性があることを示唆していました。これはパラドックスを生み出しました。最先端のAIを動かしているツールが、理論的には壊れているにもかかわらず、実際には完璧に機能しているという状況です。研究者たちは、なぜ理論が現実に一致しないのか、そして自分たちが頼りにしているツールが本当に安全なのかという疑問を抱いてきました。

中国科技大学（深圳）の張宇順による新しい博士論文は、問題を新鮮な角度から捉えることで、このパラドックスを解決しています。この研究は単に理論を修正するだけでなく、これらのモデルが解決する問題の本質そのものを再検証しています。研究者は、Adamが失敗するという懸念が、実際の学習が行われる様子を反映していない、特定の人工的な設定に基づいていることを発見しました。学習中に使用されるデータチャンク（塊）のサイズに焦点を当てるように視点を変えることで、本研究は、タスクに合わせて設定が正しく調整されていれば、Adamは確かに安全であることを証明しています。さらに重要なことに、この論文は現代のニューラルネットワークのデータの中に隠された幾何学的構造を明らかにしました。この構造こそが、複雑なタスク（大規模言語モデルの学習など）においてAdamがライバルを凌駕し、一方でより単純なタスクでは失敗する理由を説明しています。結局のところ、これらのモデルの内部的な風景は混沌とした混乱ではなく、むしろ明確で組織化されたブロックの集合体なのです。このパターンを認識したことで、研究者は、パフォーマンスを損なうことなく、巨大なモデルの学習に必要なメモリを半分に削減できる、Adam-miniと呼ばれる新しい、より効率的なオプティマイザを設計することができました。

物語は、Adamが信頼できるかどうかという長年の論争から始まります。長年、広く引用されているある論文は、Adamが「発散」する、つまり学習プロセスが落ち着く代わりに無限大へと暴走してしまう可能性があると主張してきました。この主張は、アルゴリズムの設定に応じてルールが変化する問題に対してアルゴリズムをテストした、特定の数学的な例に基づいたものでした。しかし現実の世界では、研究者はツールに合わせて問題を変化させるのではなく、問題を固定して、ツールをそれに合わせて調整します。張の研究は、実際の学習と同様に問題が固定されている場合、Adamは発散しないことを示しています。代わりに、それは明確な「相転移」を示します。つまり、設定が不適切であれば失敗することもありますが、正しく選ばれていれば安全に収束するのです。この安全性への鍵は、過去の情報にどれだけの重みを置くかを制御する特定のパラメータにあります。本研究は、より大きなデータセットに対しては、安定性を確保するためにこの設定を高くする必要があることを証明しています。この発見は、エンジニアが実践で観察してきたことと一致しています。すなわち、小さなバッチのデータを用いて大規模言語モデルを学習させる際、この設定を上げることで学習のクラッシュを防げるということです。本論文は、標準バージョンのAdamが適切に調整されていれば安全に使用できることを、修正なしで初めて厳密な数学的証明をもって示しました。

Adamが安全であることを確立した後、研究はより不可解な問いへと向かいます。なぜAdamは、Transformerのような複雑なモデルにおいて、主要な競合相手であるSGDよりもはるかに優れた性能を発揮する一方で、より単純なモデルでは劣る性能を示すのか、という問いです。これに答えるため、研究者は誤差のランドスケープの形状、具体的には、あらゆる方向における誤差の変化を記述する「ヘッセ行列（Hessian）」と呼ばれる数学的対象に着目しました。単純な問題において、このランドスケープは密度が高く絡み合っており、あらゆる経路が他のすべての経路と接続されている深い森のようなものです。このような環境では、各設定を個別に調整するというAdamの戦略は非効率的です。しかし、研究者が深層ニューラルネットワークとTransformerのヘッセ行列を調べたところ、驚くべきパターンが現れました。学習が進むにつれて、複雑で絡み合ったランドスケープは、明確に分離されたブロックの構造へと簡素化されていったのです。膨大なスプレッドシートを想像してください。すべてのセルが互いに影響を与え合うのではなく、影響が特定の行や列に限定されている状態です。これらのネットワークでは、特定の出力ニューロンや特定のアテンション・ヘッドを制御するパラメータが、それぞれ独立したグループを形成しています。

このブロック状の構造こそが、Adamの成功の秘訣です。ランドスケープが独立したブロックに分かれているため、各パラメータに固有の学習率を割り当てるというAdamの手法は非常に効果的になります。あるブロックの設定を調整しても、他のブロックの設定を誤って乱すことがありません。対照的に、SGDのようなより単純なオプティマイザは、システム全体に単一の学習率を適用するため、これらの異なるブロックの多様な速度やスケールを扱うのに苦労します。研究はさらに、このブロック構造が偶然ではなく、これらのネットワークが構築される方法、具体的には計算過程における大きな行列の連続的な乗算から自然に生じるものであることを明らかにしました。ネットワークが学習を進めるにつれて、システムの遠く離れた部分同士の接続は衰退し、後にこれらの方程式のクリーンで分離されたブロックが残されるのです。この洞察は、なぜAdamが現代のAIのエンジンとして選ばれるのかを説明しています。それが解決する問題には、オプティマイザの設計と完璧に一致する隠れた幾何学が存在するからです。

この隠れたブロック構造の理解に基づき、研究者はAdam-miniと呼ばれる新しいオプティマイザを開発しました。標準的なAdamアルゴリズムは、モデル内のあらゆる単一のパラメータに対して固有の学習率を保持するため、メモリを大量に消費します。巨大な言語モデルの場合、これはモデル自体の2倍のデータを保存することを要求し、学習を遅らせ、利用可能なハードウェアで実行できるモデルのサイズを制限するボトルネックとなります。新たな洞察は、パラメータがブロックに整理されているため、すべてのパラメータに対して固有の学習率を持つ必要はないということです。代わりに、各ブロック全体に対して一つの学習率を割り当てることができます。この単純な変更により、メモリ使用量は50パーセント削減されます。新しいオプティマイザであるAdam-miniは、パラメータをその自然なブロック構造に従ってグループ化します（ほとんどの層では行ごとに、特定のネットワーク部分ではアテンション・ヘッドごとにグループ化）し、各グループに単一の学習率を適用します。

この再設計の結果は、即座に実用的です。3,900万から10億のパラメータを持つモデルの学習テストにおいて、Adam-miniは標準的なAdamオプティマイザと同等の性能を維持しながら、半分のメモリしか使用しませんでした。この効率性により、研究者は同じハードウェアでより大きなモデルを学習させたり、既存のモデルをより速く学習させたりすることができます。このアプローチは、すでにDeepSeekやKimi K3モデルの開発チームを含む主要なAIラボによって採用されており、彼らは次世代のシステムを学習させるためにこの手法の変種を使用しています。また、本論文は、このブロック単位の学習率という原理が他の高度なオプティマイザにも適用可能であり、その核となるロジックを変更することなく効率を向上させられることも示しました。ニューラルネットワーク学習の隠れた幾何学を明らかにすることで、この研究は、この分野を不確実性と試行錯誤の場所から、原理に基づいた設計の場所へと進化させました。これは、人工知能にとって最も効果的なツールが、単なる幸運な推測ではなく、それらが解決する問題の特定の数学的構造に完璧に調整されたアルゴリズムであることを証明しています。