技術的概要：構造化高次元回帰のためのニューラル適応的縮小（Nash）

1. 問題定義

本論文は、共変量が構造的性質を示すか、あるいは異質なソースに由来する高次元データ（$p \gg n$）において、従来の疎な線形回帰手法（Lasso、Ridge など）が抱える限界に対処する。古典的手法は通常、すべての共変量に一様なペナルティを適用するが、予測変数が異なるタイプ（例：異なる遺伝子モダリティ）や構造的関係（例：空間的近接性、グラフ接続性、グループ所属）を持つ場合、これは最適ではない。

共変量のサイド情報を活用しようとする既存のアプローチ（Group Lasso、Fused Lasso、IPF-Lasso など）は、主に以下の 2 つの欠点に悩まされている：

1. アプリケーション固有の硬直性： 特定のグループ化やグラフトポロジーなどの事前定義されたペナルティ構造に依存しており、データ内の複雑な非線形依存関係を捉えきれない。
2. 計算的非効率性： 経験ベイズ（EB）を介してサイド情報を組み込む手法は、ハイパーパラメータ選択に交差検証を必要とするか、変分推論の場合、計算的に扱いにくくなる。具体的には、ニューラルネットワークベースの事前分布と組み合わせた標準的な座標上昇変分推論（CAVI）は、1 スイープあたり $O(p)$ のニューラルネットワークの逆伝播を必要とし、大きな $p$（例：$10^4$ の予測変数）に対して実用的ではない。

目標は、交差検証を必要とせず、共変量固有のサイド情報に基づいてペナルティの形式と正則化の量を自動的に学習し、かつ計算のスケーラビリティを維持する統一フレームワークを開発することである。

2. 手法：ニューラル適応的縮小（Nash）

2.1 モデル定式化

Nash は、応答変数 $y$ と予測変数 $X$ をガウス線形モデルを通じてモデル化する：
$$y | X, \beta, \sigma^2 \sim \mathcal{N}(X\beta, \sigma^2)$$
重要なのは、回帰係数 $\beta_j$ の事前分布が固定されるのではなく、$j$ 番目の共変量に関連するサイド情報 $d_j$ に依存することである：
$$\beta_j \sim g(d_j, \theta)$$
ここで、$g(\cdot, \cdot)$ はサイド情報 $d_j$ を事前分布にマッピングする柔軟な関数（$\theta$ によってパラメータ化される）である。サイド情報 $d_j$ は、ニューラルネットワークで処理可能な任意のデータ（グループ指標、連続インデックス、グラフ行列、または画像など）となり得る。

2.2 分割変分経験ベイズ（Split VEB）

核心的なアルゴリズム的貢献は、新しい**分割変分経験ベイズ（Split VEB）**アプローチである。ターゲットモデルに直接適用される標準的な CAVI は、事前分布の学習（$\theta$ の更新）と事後分布の推論（$\beta$ の更新）を結合している。もし $g$ がニューラルネットワークを介してサイド情報に依存する場合、$\theta$ の更新には各座標 $j$ ごとに事後分布を再評価する必要があり、1 スイープあたり $p$ 回のニューラルネットワークパスが必要となる。

これらのステップを分離するために、Nash は潜在変数 $b_j$ を持つ拡張モデルを導入する：

1. $\beta_j | b_j \sim \mathcal{N}(b_j, \sigma_0^2)$
2. $b_j \sim g(d_j, \theta)$

この「ガウスボトルネック」により、証拠下限（ELBO）を 2 つの分離されたステップに分割できる：

• ステップ 1（事後分布更新）： 現在の事前分布パラメータを用いて、変分事後分布 $q(\beta)$ と $q(b)$ を更新する。このステップは単純な共役更新（OLS 類似の計算）を含み、ニューラルネットワークを必要としない。
• ステップ 2（事前分布学習）： 現在の事後分布の平均 $\bar{\beta}_j$ に基づく潜在変数 $b_j$ の周辺尤度を最大化することにより、ニューラルネットワークのパラメータ $\theta$ を更新する。これは**共変量調整経験ベイズ正規平均（cEBNM）**問題として定式化される。

主要な効率性の向上： 事前分布学習ステップ（ステップ 2）は、個々の座標ではなく集約された十分統計量（$\bar{\beta}_j$）上で動作するため、ニューラルネットワークは 1 回の座標上昇スイープあたり1 回のみ、単一のバッチ化された順伝播・逆伝播パスを通じて更新される。これにより、M ステップの計算複雑性は $O(p)$ の逐次パスから $O(1)$ のバッチ化パスに削減され、$p \in [10^2, 10^4]$ の範囲で直接 CAVI に対して 74 倍から 106 倍の高速化を実現する。

2.3 事前分布の柔軟性

このフレームワークは、さまざまな事前分布ファミリー $g$ をサポートする：

• 混合密度ネットワーク（MDN）： 混合重み、平均、分散が $d_j$ の関数であるガウシアン混合（スパイク・アンド・スラブ）を出力する。これにより、適応的な縮小パターン（例：異なるグループに対する異なる疎性レベル）が可能となる。
• グラフニューラルネットワーク（GNN）： グラフ構造化のサイド情報に対して、Nash はグラフトポロジーに基づいて滑らかさや疎性を促進するペナルティを学習できる（例：Fused Lasso を模倣するか、複雑なグラフに拡張する）。
• 一般的な確率モデル： 周辺尤度と事後分布のモーメントが計算可能なモデルであれば、すべて統合可能である。

3. 主要な貢献

1. 初のニューラルネットワークベースのペナルティ学習： 著者の知る限り、Nash は、共変量のサイド情報の任意の関数として回帰効果の事前分布をパラメータ化する、初の線形回帰フレームワークである。
2. Split VEB アルゴリズム： 事前分布学習と事後分布推論を分離するための潜在ガウス層の導入。これにより、ニューラルネットワークベースの事前分布を高次元回帰で扱い可能にし、M ステップのコストを $O(p)$ から単一のバッチ化更新に削減する。
3. 統一フレームワーク： Nash は既存の手法（Group Lasso、Fused Lasso、IPF-Lasso）を一般化し、ペナルティ形式の明示的な指定や交差検証を必要とせずに、非線形でデータ駆動型のペナルティ構造を処理できるように拡張する。
4. モジュール性： 本手法はモジュール式であり、ユーザーは選択した事前分布ファミリーに対する cEBNM 問題のソルバーを供給するだけでよく、多様な機械学習アプローチ（例：XGBoost、GNN）の統合を可能にする。

4. 実験結果

4.1 シミュレーション研究

• ベースライン比較： Nash は、さまざまなシミュレーション設定（疎性、信号対雑音比、次元、相関の変動）において、7 つの手法（Mr.ASH、Elastic Net、Lasso、Ridge、SCAD、MCP、L0Learn）と比較された。
• 性能： Nash はほぼすべての設定で最先端手法（Mr.ASH）と同等の性能を示し、いくつかの相関予測変数のシナリオではそれを上回った。異質な信号プロファイルを持つ設定では、古典的手法を大幅に上回った。
• サイド情報実験： 既知のグループと連続インデックスを持つ合成実験において、サイド情報を用いた Nash（Nash-mdn）は、サイド情報を用いない手法（Nash-no-cov）や従来の手法（Group Lasso、IPF-Lasso）を大幅に上回った。
  • アブレーション： ニューラルネットワークを線形マッピングに置き換えた場合（Nash-linear）、連続インデックス設定での性能が低下し、複雑な構造に対する非線形モデリングの必要性が確認された。
  • ロバスト性： サイド情報をシャッフルした場合（Nash-shuffled）は、サイド情報がない場合と同等の性能となり、モデルがノイズに過剰適合していないことが確認された。

4.2 計算効率

• 高速化： 実験により、M ステップにおいて直接 CAVI に対して $p=100$ で 74 倍、$p=10,000$ で 106 倍の高速化が示された。
• スケーラビリティ： Nash の M ステップは $p$ に対してほぼ線形にスケーリングする（単一のバッチ化パス）のに対し、直接 CAVI は逐次処理のため超線形にスケーリングする。$p=10,000$ において、直接 CAVI は 1 つの M ステップに 4 分以上を要し実用的ではなかったのに対し、Nash は約 2.5 秒で完了した。

4.3 実データ応用

Nash は、サイド情報を持つ 4 つのデータセットで評価された：

1. SNP500： 業界セクターをサイド情報として使用し、AAPL のリターンを予測。
2. Airpassenger： 時間インデックスを使用して乗客数を予測。
3. GSE40279： プローブ注釈を使用してメチル化データから年齢を予測。
4. TCGA： KEGG パスウェイを使用して BRCA1 発現を予測。

• 結果： Nash（特に Nash-mdn）は、ベースライン（Mr.ASH、Lasso、Ridge、XGBoost、MLP）およびサイド情報なしの Nash と比較して、一貫して低い RMSE を達成した。特に、GSE40279 データセット（$n=679, p=489,503$）において、Nash は Mr.ASH（5.25）や Ridge（7.21）と比較して最低の誤差（5.03）を達成した。

4.4 画像ノイズ除去（MNIST）

Nash は、ピクセルの隣接性をモデル化するためにグラフニューラルネットワーク（GNN）でパラメータ化された「Fused」事前分布を用いて、MNIST 画像のノイズ除去に適用された。

• 性能： Nash-fused は、RMSE の点で古典的なノイズ除去手法（Fused Lasso、Total Variation、Non-Local Means）および Noise2Self を上回った。
• 効率性： GNN ベースのアプローチは、CNN ベースの Noise2Self モデルよりも大幅に高速であった。

5. 意義と主張

本論文は、Nash がサイド情報を活用する高次元回帰のための統一され、表現力豊かで計算的に効率的なフレームワークを提供すると主張している。

• 適応性： ペナルティ構造をデータから直接学習することにより、交差検証の必要性を排除する。
• 一般性： 単一の確率的フレームワーク内で、さまざまな既存の正則化手法（Ridge、Lasso、Group Lasso、Fused Lasso）を特殊ケースまたは近似として包含する。
• スケーラビリティ： Split VEB アルゴリズムにより、複雑なニューラルネットワークベースの事前分布を、従来の変分アプローチでは計算的に不可能であった数万件の予測変数を持つ問題に適用可能にする。

認められた限界：

• 現在の実装はガウス尤度に限定されている。
• 選択した事前分布ファミリーに対して計算可能な cEBNM ソルバーが必要であり、周辺対数尤度に対して閉形式の解または高速な近似が必要となる。これはすべての確率モデルで利用可能とは限らない。