The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

技術的要約：設計行列のゼロ・パターンが過剰パラメータ化回帰における多重降下を駆動する

問題提起
過剰パラメータ化線形回帰は広く研究されてきたが、既存の理論的枠組みの多くは、共変量が独立であること、およびその共分散行列が非退化（正定値）であるという2つの制約的な仮定に依存している。これらの条件下では、予測リスクは通常、設計行列がランクを失う単一のスペクトル事象によって駆動される、補間閾値（$\gamma = p/n = 1$）における単一のピークを持つ「ダブル・ディセント（二重降下）」曲線を示す。

本論文は、アーキテクチャのチューニングや、分離された特徴量ブロック、あるいは異なるカーネルスケールに依存することなく、データ自体の構造のみから、いかにして、そしてなぜマルチプル・ディセント（多重降下）——複数のリスクピークの出現——が生じるのかという理解における空白を埋めるものである。著者らは、リッジ最小二乗法（ペナルティ $\lambda_n \downarrow 0$）について、比例的レジーム（$p/n \to \gamma \in (0, \infty)$）において、以下の2つの特定の緩和条件下で調査を行っている：

1. 不均質性（Heterogeneity）: 各観測値は独立であるが、個別の、潜在的にランク不足な共分散行列を持つ。
2. 依存性（Dependence）: 有限ランクの可分成分（例：データ拡張）を通じて観測値が相関している。

手法
本研究の核心となる手法的な革新は、不均質および依存的なガウス設計の両方を、分散プロファイル・モデルへと還元することである。データを共有された固有基底（共分散が同時に対角化可能な基底）へと回転させることにより、著者らは問題を、独立な成分を持ちつつも不等な分散を持つガウス行列の解析へと変換している。分散プロファイル行列 $S \in \mathbb{R}^{n \times p}$ によって定義される。

1. 分散プロファイルの還元:

   • モデル1（不均質）: $X_i = \Sigma_i^{1/2} Z_i$ の場合、プロファイル $S$ は個々の共分散の固有値から構成される。
   • モデル2（依存）: $X = \sum (\tilde{\Sigma}^{(m)})^{1/2} Z^{(m)} (\Sigma^{(m)})^{1/2}$ の場合、プロファイル $S$ はサンプル共分散成分と座標共分散成分の積の固有値から導出される。
   • 極めて重要な点は、$S$ のゼロ・パターン（$S_{ij} = 0$ となる箇所）が、どの観測値がどの座標方向を「見ることができないか」を符号化しており、これが構造的な退化を表していることである。

2. 局所法則による決定論的等価物:
   著者らは、消失リッジ・レジームにおける予測リスク（バイアスと分散）の決定論的等価物を導出している。これには、スペクトル・パラメータがゼロに近づく過程（$\lambda_n \downarrow 0$）を明示的に追跡するために、局所法則（特に[4]からの拡張）を拡張することが必要である。これにより、小さな固有値が集積するスペクトルの「ハード・エッジ（硬い端）」の解析が可能となる。

3. 組合せ論的特徴付け:
   リスクの挙動は、$S$ のサポート（分散グラフ）に関連する二部グラフのドゥルマージュ・メンデルソン（DM）分解と結びついている。

   • バイアス・サポート: 分散グラフにおける最大マッチングによって「一致させられないまま残される」可能性がある列の集合（$J_S$）によって決定される。これらは、推定量がバイアスを保持し続ける方向に対応する。
   • 分散のピーク: 残差グラフ（退化した列とその隣接列を除去した後）における「スイッチング条件」によって決定される。ピークは、残差グラフが「列側の強ホール特性（column-side strong Hall property）」を失い、最小の非ゼロ固有値をハード・エッジへと強制したときに発生する。

主要な貢献と結果

1. 多重降下のメカニズム:
   本論文は、単一の設計行列と単一の推定器が、複数のリスクピークを生み出し得ることを示している。これらのピークは特定のアーキテクチャの副産物ではなく、共分散構造のゼロ・パターンに起因するスペクトル退化に内在するものである。

   • バイアス: 構造的に観測不可能な座標（DM分解において不一致となる座標）において持続する。
   • 分散: 残差設計が「正方（square）」になる（スイッチング条件を満たす）特定の漸近比において発散し、リスクのスパイクを引き起こす。
     これは、データ拡張（モデル2）や不均質な部分空間（モデル1）のような例において、異なるブロックがサンプルサイズに対して正方行列となるにつれて、複数の閾値が現れることによって示されている。

2. ピーク位置の厳密な規則:
   著者らは、ピークの数と位置を予測するための厳密な組合せ論的規則を提供している：

   • バイアス・サポートは、退化した列の集合 $J_S$ によって固定される。
   • 分散のピークは、残差部分設計（$J_S$ を除去した後）が、列側の強ホール・スラック（slack）を持つ状態から、それを失う状態へと遷移する $\gamma$ の値において発生する。

3. 正定値設計との対比:
   本論文は、ランク不足の共分散と正定値の共分散を区別している。

   • 共分散が正定値である場合（たとえ不均質で非可換であっても）、ゼロ・パターンは空である。著者らは、シミュレーションに裏付けられた推測として、そのような設計は単一の古典的なピーク（$\gamma = 1$ におけるもの）のみを保持すると考えている。
   • 多重降下は、単なる不均質性や回転ではなく、共分散におけるゼロ（ランク不足）によって駆動される。

4. 頑健性と普遍性:

   • 理論的結果は、ガウス分布に限らず、独立な成分と一致する分散プロファイルを持つ設計にも適用される（備考1）。第3モーメントが無限大である Student-$t_3$ 分布を用いたシミュレーションにより、ピーク構造が維持されることが確認されている。
   • このメカニズムは、事前学習済みトランスフォーマーからのテキスト埋め込みにガウスノイズを加えたものといった、現実世界の退化した設計にも適用可能であり、経験的なテストにおいて多重降下を示すことが確認されている。

意義
本論文は、多重降下の現象が複雑なマルチコンポーネント・モデルに限定されるものではなく、単一の、不均質または依存的な設計における構造的なゼロ・パターンから生じ得ることを主張している。分散プロファイルのサポートのドゥルマージュ・メンデルソン分解を通じてリスクのピークを特徴付けることで、著者らは、どこでリスクのスパイクが発生するかを予測するための決定論的な規則を提供している。これは、過剰パラメータ化回帰の理解を、純粋なスペクトル的視点（漸近比に基づくもの）から、構造的視点（座標の観測可能性に基づくもの）へとシフトさせ、共分散における退化が多重降下の主要な駆動要因であることを明らかにしている。

また、本研究は、構造的なゼロが存在する場合のスペクトルのハード・エッジの解析を可能にする、消失リッジ・レジームへの局所法則の技術的な拡張を導入しており、これはランダム行列理論にとっても独立した関心事となるツールである。