GEMSS: A Variational Method for Discovering Multiple Sparse Solutions in Classification and Regression Problems

技術要約：GEMSS – 複数の疎な解を発見するための変分法

1. 問題提起

低次元回帰および分類問題（特徴量数 $p$ がサンプル数 $n$ を大幅に上回る場合、または特徴量間に高い共線性がある場合）において、予測性能が同等となる、互いに異なる複数の疎な特徴量サブセットが存在することがよくあります。この現象は**予測的多様性（predictive multiplicity）またはラショモン効果（Rashom effect）**として知られており、科学的発見における課題となっています。従来の疎な選択手法（例：LASSO）は、通常、単一の任意の解を返すため、統計的に妥当な代替の説明を覆い隠してしまいます。

目標は**支援された発見（assisted discovery）**です。すなわち、単一の点推定値を提供するのではなく、ドメインエキスパートに対して、高性能で互いに異なる特徴量セットの「メニュー」を提供することです。この問題に対する既存のアプローチは、一般に以下の3つのカテゴリーに分類されます：

1. ヒューリスティックな再サンプリング・アンサンブル：（例：Randomized LASSO）データを摂動させて再解法を行うが、事後分布の保証を欠いている。
2. 事後分布ブートストラップ・サンプリング：（例：BB-SSL）尤度を再重み付けして事後分布をサンプリングするが、計算コストが高いことが多い。
3. 専用の多重性手法：（例：Enumeration LASSO、ALFESE）制約や列挙を通じて多様性を強制するが、必ずしも真の高確率な事後分布のモードを標的としているわけではない。

2. 手法：GEMSS

著者らは、複数の疎なサポートのマルチモーダルな事後分布を直接近似するように設計された、統一された変分推論手法であるGEMSS (Gaussian Ensemble for Multiple Sparse Solutions) を提案しています。

• 確率的定式化： GEMSSは、非ゼロ係数の数を正確に $D$ に固定する**構造化スパイク・アンド・スラブ事前分布（Structured Spike-and-Slab prior）**を用いた一般化線形モデルを仮定します。係数に関する事後分布はマルチモーダルであり、各モードは個別の、近似的に同等の特徴量サブセットに対応します。
• 変分近似： GEMSSは、$K$ 個の対角ガウス分布のパラメータ混合を用いて、事後分布 $p(\beta | X, y)$ を近似します：
  $$q(\beta) = \sum_{k=1}^{K} \alpha_k \mathcal{N}(\beta; \mu_k, \text{diag}(\sigma_k^2))$$
  モデルは、確率的勾配降下法（Adam）による証拠下界（ELBO）の最大化によって最適化されます。
• 組み込まれた反発作用： GEMSSの鍵となるメカニズムは、ELBO内のKLダイバージェンス成分に含まれる**混合エントロピー項（mixture entropy term）**です。この項は反発力として機能します。2つの混合成分を同じモードに配置すると、サンプルに対する尤度は増加しますが、エントロピー項によってペナルティが課されます。その結果、最適化は自然に各成分を異なるモードへと押し込み、単一の解への崩壊を防ぎます。
• 欠損値の処理： 本手法は、観測された座標のみで尤度を評価することで、補完や行の削除を必要とせずに欠損データをネイティブに扱います。
• 解の抽出： 各混合成分 $k$ は候補となる解をもたらします。特徴量の選択は、固定サイズのベンチマークでは平均ベクトル $\mu_k$ の大きさに基づき、実世界の可変サイズサポートではzスコアの外れ値検出を介して行われます。

3. 主な貢献

1. GEMSSアルゴリズム： 1回のフィットから複数の異なる疎な解を返し、マルチモーダルな性質を明示的にモデル化する、単一の整合した変分モデル。
2. 再利用可能なベンチマーク・フレームワーク： 著者らは、解の集合とその構造的重複が構成上既知である合成データ生成器を導入しています。これにより、「集合レベルの回復（Union-F1）」および「構造的忠実度（Dissimilarity）」の厳密な評価が可能になります。
3. 包括的な実証的評価： 6つのベースライン（Enumeration LASSO、ALFESE、Randomized LASSOアンサンブル、BB-SSL、およびマスキング）との制御された比較を提供しています。これらは、特徴量の重複、次元数、ノイズ、および欠損の度合いに応じて行われます。
4. 実世界での検証： 代謝物学および食品科学のデータセットへの適用により、構造的に異なり、かつ予測性能の高い複数の解が生成されることを示しています。
5. オープンソースの公開： Pythonパッケージ gemss、ベンチマークリポジトリ、およびアクセスの民主化のための無料のノーコード・オンラインアプリケーション（Hugging Face Spaces）のリリース。

4. 実験結果

評価は6つのリサーチクエスチョン（RQ）に焦点を当てています：

• RQ1 (重複の回復): GEMSSは、様々な程度の特徴量の重複において、全ての競合手法を上回って有効な解の集合を回復しています。解が互いに離れている場合は差は小さいですが、重複が増えるにつれてその差は顕著になります。特筆すべきは、Randomized LASSOアンサンブルの再試行予算を増やしても（最大30,000回の再試行）、GEMSSとの差を埋めることはできなかった点です。
• RQ2 (実世界の予測能): 実データ（Diabetes, PCOS）において、GEMSSは構造的に異なり（高いdissimilarity）、かつ予測性能が高い（高いF1）解を生成します。Enumeration LASSOのような競合手法は、ほぼ同一の解を返すことが多く、一方でマスキング手法は多様性を強制する代わりに予測性能を犠牲にします。
• RQ3 (計算予算): GEMSSは計算効率が高いです。単一のフィットは〜2,000イテレーションでプラトーに達し、〜3,400イテレーションまでに収束し、すべての解を同時に返します。これは、アンサンブル手法に大幅に多い計算予算を与えた場合でも、その性能を上回ります。
• RQ4 (次元数): GEMSSは、次元が増大しても（$p$ が5,000以上）性能のリードを維持しますが、アンサンブル手法はより急速に劣化します。
• RQ5 (堅牢性): GEMSSは、高いノイズや欠損データの下でも緩やかに劣化します。ALFESE（欠損データを扱えない）や補完を必要とする手法とは異なり、GEMSSのネイティブな尤度処理により、他が失敗する場面でも回復指標を維持できます。
• RQ6 (容量): 最適な混合成分数 $K$ は、問題の重複構造に依存します。解が離れている場合は高い $K$ が有益であり、重複が激しい領域では低い $K$ が断片化を防ぎます。

5. 意義と主張

本論文は、GEMSSが特徴量選択における重要なギャップ、すなわち「最良の単一モデルを見つける」ことから「妥当なモデルのランドスケープを発見する」ことへの移行の必要性に対処していると主張しています。

• 定理よりもメカニズム： 著者らは、本手法の成功を、全てのモードを見つけるという理論的保証ではなく、実用的なメカニニズムとして控えめに位置づけています。GEMSSの優位性は、ELBOに固有の**変分反発（variational repulsion）**に起因しており、これが構成上コンポーネントを分離させます。これは、近接する事後分布のモードを解決するのに苦労する独立した再サンプリング手法（Randomized LASSOなど）とは対照的です。
• 実用的有用性： 主要な意義は**支援された発見（assisted discovery）**です。統計的に競争力のある、互いに異なる解のメニューを提供することで、GEMSSはドメインエキスパートが、アルゴリズムによる恣意的な選択を受け入れるのではなく、生物学的特異性や実用性、あるいはその他のドメイン上の制約に基づいて判断を下せるようにします。
• 限界： 著者らは、ベンチマークが（真の正解を得るために）合成的なものであることを認めています（これは必要不可欠なことです）。また、高い重複の優位性は特定の生成器ファミリーにおいて観察されることも述べています。また、GEMSSは線形モデルを使用していますが、特徴量エンジニアリング（相互作用項の追加）を通じて非線形問題にも適用可能であるものの、それは次元数の増大を招くことも指摘しています。

結論として、GEMSSは高次元データにおける「ラショモン効果」を明らかにするための、堅牢で効率的、かつアクセシブルなツールとして提示されており、高い相関やサンプル不足を伴うシナリオにおいて、ヒューリスティックなアンサンブルや専用の多重性ラッパーに対する優れた代替手段を提供します。