📊 statistics

Canonical Regularisation of Wide Feature-Learning Neural Networks

本論文は、特徴学習ニューラルネットワークにおける標準的なリッジ正則化の限界を特定し、カーネル学習および特徴学習の両領域にわたる勾配流の暗黙的事前分布を一般化する標準的な「測地線リッジ」正則化子を導出するための、リーマン幾何学に基づく新たな枠組みを提案する。

原著者： George Whittle, Pranav Vaidhyanathan, Juliusz Ziomek, Natalia Ares, Maike A. Osborne

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： George Whittle, Pranav Vaidhyanathan, Juliusz Ziomek, Natalia Ares, Maike A. Osborne

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文を簡単な言葉と日常的ななぞなぞを用いて説明します。

全体像：2 つの学習方法

ニューラルネットワーク（ある種の AI）を、粘土で作られた巨大で柔軟な彫刻だと想像してください。それを訓練するとは、特定の形（データ）に合うように粘土を押し引きすることです。

この論文は、長年科学者たちがこれらの彫刻を非常に単純な規則を用いて研究してきたと主張しています。「粘土は実際には形を変えず、ただ平らなテーブルの上を滑るだけだ」というものです。これをカーネル領域（Kernel Regime）と呼びます。この世界では数学が簡単であり、粘土を押し込む「最良の方法」はよく理解されています。

しかし、現代の AI は実際には異なる世界、すなわち特徴学習領域（Feature-Learning Regime）で機能しています。ここでは粘土は実際に形を変えます。彫刻は学習するにつれて曲がり、ねじれ、湾曲します。粘土を押し込むための古い規則はここではもう機能しませんが、人々はしばしば悪い結果を招きながらも、それを使い続けてきました。

問題：間違った「押し方」

古い平らな世界（カーネル領域）では、彫刻を導く最良の方法は、アンカー付きリッジ（Anchored Ridge）と呼ばれる特定の種類の「押し方」を使うことです。これは彫刻の開始位置に結ばれたゴムバンドだと考えてください。彫刻を目標まで押し進めると、ゴムバンドがそれをスタート地点に戻そうと引っ張り、行き過ぎるのを防ぎます。これは平らなテーブル上では完璧に機能します。

この論文の主な発見： 曲がった世界（特徴学習領域）では、この同じゴムバンドは危険です。

なぜなら、「テーブル」（彫刻が通る道）が今やローラーコースターの軌道のように曲がっているため、ゴムバンドは間違った方向に引っ張るからです。それは彫刻をまっすぐにスタート地点へ戻そうとしますが、軌道はそこから曲がっています。これにより「幻影の力」が生じ、彫刻を軌道から外れて虚空へと押しやってしまいます。

結果： 彫刻は訓練データ上では良く見える場所に到達しますが、実際には新しい未見のデータに対しては壊れています。スタート地点に結ばれたロープで横から引っ張られながら、綱渡りをしようとするようなものです。そうすればロープから転落してしまいます。

これにより、現代の AI が正しく学習できない場合や、事前学習で得た「知恵」を失う（「破滅的忘却」または劣化した転移学習として知られる問題）理由が説明されます。

解決策：「測地線」による押し方

著者たちは問いかけました。「もしテーブルが曲がっているなら、彫刻をスタート地点に戻す正しい引き方は何か？」

彼らは、曲がった表面上では 2 点間の最短距離が直線（弦）ではなく、表面に沿った曲線であることを発見しました。数学的にはこれを**測地線（Geodesic）**と呼びます。

彼らは**測地線リッジ（Geodesic Ridge）**と呼ばれる新しい規則を提案しました。

空をまっすぐに引っ張るゴムバンドの代わりに、曲がった軌道に完璧に接着されたスライドレールを想像してください。
このレールは、彫刻をスタート地点へ曲線に沿って引き戻します。
これにより、彫刻は軌道上にとどまり、AI が特徴を学習する自然な方法が維持されます。

実用的なショートカット：「アークリッジ」

一つ注意点があります。正確な「スライドレール」（測地線リッジ）を計算することは、巨大な AI モデルにとって信じられないほど難しく、時間がかかります。まるで一歩ごとに山道の正確な曲率を計算しようとするようなものです。

そこで、著者たちは**アークリッジ（Arc Ridge）**と呼ばれる巧妙なショートカットを見つけました。

なぞなぞ： あなたが山を登っていると想像してください。どれくらい歩いたかを知るために、地球の正確な曲率を計算する必要はありません。歩数を数えるだけで十分です。
仕組み： アークリッジは、訓練中に彫刻が移動した総距離を単に測定します。
魔法： この論文は、この単純な「歩数計」が複雑な「スライドレール」と全く同じように機能することを証明しています。彫刻が軌道から外れるのを防ぎますが、計算は信じられないほど簡単です。

なぜこれが重要なのか（論文によると）

「バイアス」の修正： 古い手法（標準リッジとアンカー付きリッジ）は、わずかな正則化を使っているつもりでも、AI を密かにバイアスし、悪い場所へ強制してしまいます。新しい手法はこのバイアスを除去します。
「早期停止」との関連： この論文は、この「歩数計」（アークリッジ）を使用することが、数学的には完璧なタイミングで訓練を停止すること（早期停止）と等価であることを示しています。何歩歩いたかを知っていれば、別々のテストセットを必要とせずに、最良の結果を得るためにいつ停止すべきかが正確に分かります。
実証： 著者たちは画像認識（顔から年齢を予測）とテキスト分析（レビューのスコアを予測）でこれをテストしました。その結果、古い手法を高い正則化で適用すると AI の性能が低下することが分かりました。一方、新しい「アークリッジ」手法を使用すると、AI は安定し、はるかに優れたパフォーマンスを発揮しました。

まとめ

古い見方： AI の学習は平らな床を滑るようなものです。私たちはまっすぐなゴムバンドでそれを引き戻します。
新しい現実： AI の学習は曲がったローラーコースターを滑るようなものです。まっすぐなゴムバンドはあなたを軌道から引き離します。
解決策： 曲線に沿う「スライドレール」（測地線リッジ）を使用します。
ハック： レールを作る必要はありません。歩数を数える（アークリッジ）だけで、同じ仕事を完璧にこなします。

この論文は、なぜ古い規則が現代の AI で失敗するのかの数学的証明を提供し、それを修正するためのシンプルで実用的なツールを提供しています。

技術的サマリー：広幅特徴学習ニューラルネットワークの標準的正則化

問題提起

特徴学習レジーム（ネットワークが固定カーネル機械として振る舞うのではなく、能動的に表現を学習する領域）で動作する広幅ニューラルネットワークは、現代の深層学習の原動力である。しかし、これらのネットワークに対する理論的理解は、ニューラルタンジェントカーネル（NTK）によって形式化されたカーネルレジームに比べて著しく遅れている。勾配流トレーニングによって誘発される暗黙的正則化と関数空間事前分布に関する重要なギャップが存在する。

カーネルレジームでは、勾配流が初期化からのパラメータ空間距離（アンカー型リッジ、 $\|\theta - \theta_0\|^2$ ）を最小化する一意の解を選択することはよく確立されている。この性質はニューラルネットワークとガウス過程（NN-GP）の対応の根幹を成し、原理的なノイズモデリングと不確実性の定量化を可能にする。しかし、実務家はしばしば、デフォルトで特徴学習ネットワークに対して標準的な重み減衰（ $\|\theta\|^2$ ）やアンカー型リッジを適用する。本論文は、これらの正則化子が特徴学習レジームにおいて幾何学的に整合性を欠いており、特に事前学習された特徴が有用な転移学習のシナリオにおいて、ネットワークの帰納的バイアスを歪める「沈黙」するバイアスを引き起こすと主張する。

手法と理論的枠組み

著者らは、一様ヤコビアン条件付けの仮定（仮定 2.1）を満たす過剰パラメータ化ネットワークのパラメータ空間ダイナミクスを特徴づける幾何学的枠組みを開発した。この仮定は、補間解の近傍においてヤコビアン $J(\theta)$ の特異値がゼロおよび無限から離れて有界であることを示唆する。

1. 幾何学的分解

著者らは、補間解を中心としたパラメータ空間 $\Theta$ を 3 つの主要な対象に分解する：

フロー軌道（ $O_{flow}$ ）： 初期化 $\theta_0$ から勾配流によって到達可能なすべてのパラメータの集合。特徴学習レジームでは、これは高次元のサブリーマン多様体となり得る。
ゲージ固定フロー多様体（ $M_{flow}(\theta_0)$ ）： フロー軌道内の特定の $n$ 次元部分多様体であり、実現された勾配流の軌道を含む。これは補間解近傍の関数空間に対するパラメータ空間のチャートとして機能する。
出力ファイバー（ $\Theta(c)$ ）： 訓練予測 $g(\theta)$ が一定に保たれるが、未見の入力に対する予測は劇的に変化し得る、フロー多様体に横断的な方向。

2. リッジ正則化の病理

本論文は、特徴学習レジームにおいて、フロー多様体 $M_{flow}(\theta_0)$ がカーネルレジームのアフィン部分空間とは異なり曲がっていることを証明する。

アンカー型リッジの失敗： アンカー型リッジの勾配 $-2(\theta - \theta_0)$ はユークリッド空間の弦である。曲がった多様体上では、この勾配は出力ファイバー（フロー方向に直交）に沿った成分を獲得する。
帰結： 正則化強度 $\lambda \to 0$ となっても、解は正則化されていない勾配流の極限 $\theta^*$ に収束しない。代わりに、正則化勾配がファイバーに沿ってパラメータを引きずり、暗黙の事前分布を歪め、事前学習中に学習された有用な帰納的バイアスを破壊する可能性がある。これは定理 3.1において形式化されている。

3. 標準的正則化子の公理的導出

これを解決するため、著者らは標準的な関数空間エネルギーを、勾配流ダイナミクス下でネットワーク出力を初期化から目標へ輸送するために必要な最小制御理論的エネルギーとして公理化する。

一意性： 等長不変性と直交加法性の公理を課すことにより、カーネルレジームにおいてこのエネルギーが一意に平方 RKHS ノルムに対応し（アンカー型リッジを回復する）、証明される。
一般化： このエネルギーを定義 4.3を通じてパラメータ空間に持ち上げることで、測地線リッジ正則化子が導かれる：
$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$
これは、フロー多様体に沿った平方測地距離と、出力ファイバーに沿った測地距離の和を測定する。
暗黙の事前分布： 対応する関数空間事前分布は、曲がった幾何学へ NTK ガウス過程を一般化するリーマン・ギブス過程として同定される。

4. アークリッジ：実用的な代理

測地距離の計算は大規模では非現実的であるため、著者らはミニマックス頑健な代理としてアークリッジを提案する。

定義： アークリッジとは、訓練軌道の全経路長の二乗である： $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$ 。
性質： これは測地線リッジを上から抑え、実現された勾配流方向における「バイアスなし」の性質を保持し、正確な勾配流の下では早期停止と形式的に等価である。これは二次情報不要であり、訓練中に経路長という単一のスカラーのみを累積する。

主要な結果

標準的正則化子のバイアス： 本論文は、標準リッジとアンカー型リッジの両方が、特徴学習レジームにおける勾配流の極限にバイアスをかけることを証明する（定理 3.1）。このバイアスは正則化強度が消失しても持続し、訓練損失には見えない出力ファイバーに沿って解がドリフトする原因となる。
標準解としての測地線リッジ： 著者らは、特徴学習ネットワークの幾何学と整合する唯一の正則化子として測地線リッジを導出し、正則化強度消失極限が正則化されていない勾配流解を回復することを保証する（定理 4.2）。
アークリッジの等価性： アークリッジは測地線リッジに対する緊密で扱いやすい上界であることが示される。重要なのは、正確な勾配流の極限において早期停止と等価であることが証明されていること（命題 F.4）であり、これは幾何学を考慮した正則化手法としての早期停止に理論的根拠を与える。
実証的検証： 転移学習タスク（ResNet18 を使用した UTKFace の年齢回帰、DistilBERT を使用した Yelp のレビュースコア回帰）の実験は、以下のことを示す：
- 高い正則化強度において、標準リッジとアンカー型リッジは事前学習された事前分布の破壊により、テスト性能の著しい低下を引き起こす。
- アークリッジは、良性の過少学習と一致する軽度の低下しか示さない。
- 低い正則化強度において、すべての手法は収束する。これは早期停止がバイアスを支配するためである。

意義と主張

本論文は、広幅特徴学習ネットワークにおける勾配流の暗黙的バイアスを理解し修正するための最初の原理的枠組みを提供すると主張する。その主な貢献は以下の通りである：

幾何学的洞察： ユークリッド空間に基づく正則化子（アンカー型リッジなど）が特徴学習レジームで失敗する根本原因を、フロー多様体の曲率として特定する。
理論的統合： リーマン・ギブス過程を標準的な事前分布として、測地線リッジを標準的な正則化子として同定することにより、NN-GP 対応を特徴学習レジームに一般化する。
実用的解決： 訓練の幾何学と整合するスケーラブルでミニマックス頑健な代替手段としてアークリッジ（経路長の二乗）を提案する。これは早期停止と標準的正則化の間の、以前は形式化されていなかった深い関係性を明らかにし、早期停止が単なるヒューリスティックではなく、幾何学を保存する正則化戦略であることを示唆する。

著者らは、彼らの理論が一様ヤコビアン条件付けを仮定していること（付録 H で実証的に検証済み）を強調しつつ、この幾何学的直観が、ファインチューニング中の事前学習表現の劣化や「グロッキング（grokking）」現象といった現象を説明し、深層学習におけるより頑健な正則化戦略への道を開くことを述べている。