Criticality in Neural Network Function Space through Wilsonian Fixed Points and Finite-Width Corrections

ディープラーニングは、機械がどのように見て、話し、推論するかを変貌させたが、これらのシステムの背後にある数学的な仕組みは、依然として多くの人々にとってブラックボックスのままである。この謎の中核には、根本的な問いが存在する。すなわち、ニューラルネットワークが学習するとき、その内部で実際に何が起きているのかという問いである。伝統的に、科学者たちはこれらのシステムを、誤差を最小化するために調整可能な数値、すなわちパラメータの膨大な集合体として捉えてきた。しかし、より抽象的な視点が登場しており、ニューラルネットワークは、その内部設定によってではなく、それが生成し得る関数の確率分布によって理解されるべきであると示唆している。この観点では、ネットワークは可能性の生成器であり、その振る舞いは、どのつまみを回すかではなく、それが作り出す関数の形状によって定義される。この視点の転換により、研究者は統計物理学や量子場理論のツールを応用して、これらのシステム、特に極端に広い場合や安定性の境界に押し込まれた場合に、それらがどのように自己組織化するかを理解することが可能になる。

マコーリー大学とチャールズ・スタート大学の研究チームは、この抽象的な視点を取り入れ、ニューラルネットワークがなぜそのように振る舞うのかを説明するための新しいフレームワークを開発した。彼らは、これらのネットワークの振る舞いは、「臨界性（クリティカリティ）」という概念を通じて理解できると提案している。これは、物質が秩序と混沌の間に位置する物理系に見られる状態である。彼らの分析において、理想的な無限に広いニューラルネットワークは、穏やかで平坦な風景のような、単純で予測可能なベースラインとして扱われる。そして、ネットワークが有限のサイズである場合に何が起こるかを検証する。有限のサイズは、この単純さを乱す、小さく複雑な相互作用を導入するからである。研究者たちは、これらの有限サイズ効果は単に無視されるべき技術的なエラーではなく、むしろネットワークが複雑なパターンを学習し、豊かな振る舞いを表現するための源泉であると主張している。

彼らの研究の核心は、ネットワークのサイズと複雑性の関係を再解釈することにある。長年、この分野における支配的な直感は、パラメータを増やすほどシステムはより複雑になり、制御が困難になるというものであった。著者らはこれに異を唱え、関数の言語において、ネットワークを広くすることは、実際にはその振る舞いを単純化することを示す。ネットワークが無限に広くなるにつれ、その出力は完全に予測可能となり、ガウス過程として知られる単純な統計規則に従うようになる。この無限の極限において、ネットワークは本質的に「自由」であり、困難な現実世界の問題をモデル化するために必要な複雑な相互作用を欠いている。研究者たちは、ニューラルネットワークの真の力は、層の有限なサイズに由来しており、それがこれらの必要な相互作用を再導入するのだと示唆している。

これを理解するために、著者らは物理学から借用した手法である、異なるスケールからシステムを観察する「ウィルソン的アプローチ」を用いている。彼らは、無限幅の極限を、システムが向かう傾向にある安定した状態である「固定点」として特定している。現実世界のネットワークの有限の幅は、この完全な安定性からの小さな押し、すなわち「摂動」として機能する。研究者たちは、これらの押しを3つのカテゴリーに分類している。あるものはネットワークが広くなるにつれて消え去り、あるものはシステムを支配するように成長し、そして他のものは、臨界的な振る舞いを生み出すために調整可能な繊細な境界線上に位置する。彼らは、ニューラルネットワークの最も興味深く有用な特性、例えば、限られたデータから汎化する能力や、複雑な構造を学習する能力は、ネットワークがこの臨界境界付近で動作するときに現れることを見出した。

論文では、この振る舞いを測定するためのいくつかの具体的な方法が示されている。研究者たちは、ネットワークが広くなるにつれて、実際の出力と理想的な無限幅の予測との差が、特定の数学的な減衰に従って予測可能な形で縮小していくことを示している。彼らは、ネットワークの「連結された」部分、すなわち異なる入力間の複雑で非線形な相互作用を表す部分が、幅が増すにつれて弱まっていくことを実証している。これは、過剰パラメータ化（オーバーパラメトリゼーション）が、複雑さを増すプロセスであると考えられている一方で、実際にはこれらの相互作用を抑制し、システムをより単純なガウス状態へと移動させるプロセスであることを裏付けている。逆に、有限の幅を持つネットワークは、これらの相互作用を保持しており、それによって単純な統計規則から脱却し、現実のデータのニュアンスを捉えることができるのである。

本研究の鍵となる発見は、「混沌の縁（エッジ・オブ・カオス）」という概念の再定義である。これは、学習するには硬直すぎて、かつ制御するには混沌としすぎているネットワークの境界を表す概念である。著者らはこの境界を彼らのフレームワークにマッピングし、それが、入力と出力の間の相関が崩壊したり爆発したりすることなく、多くの層にわたって持続する臨界曲面に相当することを示した。この臨界に近い領域において、ネットワークは新しいパターンを学習できるほど敏感であり、かつ学習した内容を保持できるほど安定している。彼らは、ニューラルネットワークの訓練とは、実質的にその基礎となる統計的構造を変形させ、ランダムな出発点から、これらの臨界的な相互作用がバランスの取れた領域へと移動させるプロセスであると主張している。

研究者たちはまた、大規模なネットワークが、訓練例よりも多くのパラメータを持っているにもかかわらず、なぜ未知のデータに対して高い性能を発揮するのかという謎にも取り組んでいる。彼らのフレームワークは、訓練が訓練データに過剰に適合する特定のノイズの多い相互作用を抑制する一方で、現実世界に適用可能な、より広範で安定した構造を保持することで、汎化が起こることを示唆している。対照的に、過学習（オーバーフィッティング）は、ネットワークがこれらの特定の不安定な相互作用を増幅するときに起こる。有効場理論のレンズを通して見ることで、著者らは、有用な複雑さと有害なノイズを区別する方法を提供しており、最高の性能を発揮するネットワークは、有限幅の効果が表現力を維持するのに十分でありながら、不安定性を引き起こさないほど強くはない、制御された臨界領域に位置しているものであると示唆している。

最終的に、この研究は、パラメータの数から、それらが生成する関数の構造へと焦点を移すことで、ニューラルネットワークを理解するための新しい語彙を提供している。それは、ディープラーニングの魔法が、単に回すべきつまみを増やすことにあるのではなく、システムが学習するのに十分に複雑であり、かつ汎化するのに十分に単純であるという、適切なバランスを見つけることにあると示唆している。著者らは、将来の研究は、単に損失関数を追跡するのではなく、相関や相互作用が訓練中にどのように進化するかを直接測定することに焦点を当てるべきであると提案している。ニューラルネットワークを相互作用する物理系として扱うこのアプローチは、より体系的なAIの学習理解への道を開き、臨界性とスケールの基本原理に基づいた、より優れたアーキテクチャや訓練手法の設計への道を切り拓くものである。