技術要約：一般化シュタインの補題による十分次元削減

1. 問題設定

本論文は、多変量応答（$y \in \mathbb{R}^q, q > 1$）を扱う文脈において、サンプルサイズが限られ、信号対雑音比（SNR）が低い状況における**十分次元削減（Sufficient Dimension Reduction: SDR）の課題に取り組んでいる。目標は、予測因子 $x \in \mathbb{R}^p$ のうち、$x$ が与えられたときの $y$ の条件付き分布を完全に捉える最小の部分空間である中心部分空間（Central Subspace: CS）**を特定することである。

既存の手法は、このような設定において重大な限界に直面している：

• 逆回帰（例：SIR, MSIR）： 強力な分布仮定（線形性条件）に依存しており、また $p \times p$ の共分散行列の逆行列を必要とするため、$n \ll p$ の場合には不安定になる。多変量応答への拡張では、深刻なスライス・スパース性（slice sparsity）が生じる。
• 順回帰（例：MAVE, csOPG）： 計算負荷の高い非パラメトリック平滑化に依存する。多変量応答の設定では、コストは $q$ に比例してスケールし、多変量応答に対する理論的根拠も欠けていることが多い。
• ディープラーニング的手法： 安定した推定を実現するために大量のラベル付きデータを必要とし、ラベルが乏しいシナリオには適さない。

本論文は、線形性条件、行列の逆行列計算、または反復的な平滑化に依存することなく、ラベルなしデータを利用して安定性を向上させつつ、CS（仮定されたモデルの下で中心平均部分空間と一致するもの）を推定するための統一的な枠組みを対象としている。

2. 手法

2.1. 理論的基礎：一般化シュタインの補題

提案手法は、一般化シュタインの補題に基づいている。多変量応答・マルチインデックス・モデルを以下のように仮定する：
$$y = F(B^\top x) + \epsilon, \quad \epsilon \perp\!\!\!\perp x$$
ここで、$B \in \mathbb{R}^{p \times r}$ は次元削減行列（$r \ll p$）、$F$ は未知の滑らかなリンク関数である。

この補題は、多変量応答 $y$ と予測因子の周辺スコア関数 $s(x) = -\nabla_x \ln p(x)$ との間の関係を確立する：
$$E\{y s(x)^\top\} = B E\{\nabla_z F(B^\top x)\}$$
ここで $M = E\{y s(x)^\top\}$ とする。行列 $M$ は $M = B M_1$ と分解できる。ここで $M_1$ はリンク関数の勾配の期待値を含んでいる。極めて重要な点は、応答成分が十分に多様であり、$M_1$ がフル行ランク $r$ を持つ場合、SVD（特異値分解）を通じて $B$ の列空間（すなわちCS）を復元できることである。

このアプローチには以下の利点がある：

• 逆回帰が要求する線形性条件を回避できる。
• 行列の逆行列計算や反復的な平滑化を回避できる。
• 多変量応答の多様性条件が満たされる限り、単一応答の設定でよく用いられる二次の手法よりも効率的な、一次のシュタイン恒等式を利用している。

2.2. 推定フレームワーク

真のスコア関数 $s(x)$ は未知であるため、本手法ではプラグイン推定量を用いる：
$$\hat{M}_n = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \hat{s}(x_i) y_i^\top$$
ここで $\hat{s}(\cdot)$ はデータに基づいて学習されたスコア推定量であり、$n_\ell$ はラベル付きサンプル数である。CSは、$\hat{M}_n$ の上位 $r$ 個の左特異ベクトルによって推定される。

本論文では、2種類のスコア推定量を探求している：

1. ティコノフ正則化推定量（TRE）： 再生核ヒルベルト空間（RKHS）内において、**カールフリー（curl-free）**な逆マルチクアドラティック（IMQ）カーネルを使用する。これは強力な構造的事前分布と、点ごとの誤差境界に関する理論的保証を提供する。
2. ディープニューラルネットワーク（DNN）： 複雑な非線形性を捉えることが可能な高度にパラメータ化された推定量であるが、大規模なデータセットを必要とする。

2.3. 半教師あり構成

本フレームワークは、限定されたラベル付きデータ（$T_\ell$）と豊富なラベルなしデータ（$T_u$）が存在するシナリオを明示的に扱う。スコア推定量 $\hat{s}$ の学習方法に基づき、3つの構成を提案している：

• $S_{split}$： $\hat{s}$ を $T_u$ のみで学習し、モーメントを $T_\ell$ で計算する。推定量と評価点の独立性を確保する。
• $S_{sup}$： $\hat{s}$ を $T_\ell$ のみで学習する。
• $S_{full}$： $\hat{s}$ を $T_\ell \cup T_u$ で学習する。

理論的分析によれば、TREについてはすべての構成が扱いやすく、$S_{sup}$ と $S_{full}$ が競争力のある性能を示す。DNNについては、現時点では $S_{split}$ のみが厳密な理論的保証を持つが、実証的な比較には結合された構成も含まれている。

2.4. ランク選択

既知の情報なしにCSの次元 $r$ を推定するための実用的なアルゴリズムを提案する：

• 重い裾を持つ共変量： $\hat{M}_n$ の特異値に対するエネルギー基準（累積分散比率）を使用する。
• 軽い裾を持つ共変量： **置換テスト（permutation test）**を用いて特異値の帰無分布を確立し、観測された値を置換されたスペクトルの $\alpha$ 分位点と比較する。

3. 主な貢献

1. 新しいSDRフレームワーク： 一般化シュタインの補題に基づき、応答とスコア関数の間のクロスモーメント行列を構築し、線形性の仮定や行列の逆行列計算なしにSVDを通じてCSを復元する手法を導入した。
2. 一次の多変量戦略： 多変量応答の多様性により、一次のシュタイン恒等式の使用が可能であることを示し、収束の遅い二次の手法を回避できることを実証した。
3. 半教師あり適応： スコア推定のためにラベルなしデータを活用する柔軟な枠組みを提案し、ラベルが乏しい状況における安定性を大幅に向上させた。
4. 理論的保証： データ分割構成に対する有限サンプル誤差界と、結合されたTRE構成に対する漸近収束率を確立した。また、特異値のハード閾値処理が、正則条件の下で真のランクを一貫して復元することを証明した。
5. 適応的ランク選択： 共変量の裾の挙動に適応する、実用的かつデータ駆動型のランク選択アルゴリズムを開発した。

4. 結果

4.1. シミュレーション研究

$p=100, q=10$、および異なるラベル付きサンプルサイズ（$n_\ell \in \{50, 100, 300, 500\}$）を用い、4種類の共変量分布（等方的ガウス分布、AR(1)ガウス分布、対数正規分布、Exp-trans AR(1)）の下で広範なシミュレーションを実施した。

• 性能： 提案手法（特に $S_{sup}^{TRE}$ および $S_{full}^{TRE}$）は、すべての設定において、特に低SNRおよび小サンプルサイズのシナリオにおいて、既存のベースライン（SIR, csOPG, KSIR, MLP）を一貫して上回った。
• 堅牢性： TREベースの手法は、DNNと比較して重い裾を持つ分布の下で優れた安定性を示した。
• ランク選択： 提案されたランク選択手順は、特に従来のメソッドが失敗する重い裾の設定において、競合手法で使用される交差検証やエネルギー基準と比較して、ランク推定の絶対誤差が有意に低かった（例：SIRは最大ランクを選択してしまう）。

4.2. 実データへの適用

手法を M1 Patch-seq データセット（$n=1213$ ニューロン、$p=1000$ 遺伝子、$q=16$ 電気生理学的特性）に適用した。

• 予測性能： TREベースの手法は、すべての競合手法の中で最も低いテスト平均二乗誤差（MSE）を達成した。
• ランク推定： ベースライン手法は、ランクを過大評価（SIR, MLP）するか、過小評価（csOPG, KSIR）するかのいずれかであり、結果として予測性能が最適ではなくなった。提案手法は、固定された参照ランクである10と同等のMSEをもたらすランク8〜9を推定しており、これは簡潔な構造の復元に成功していることを示唆している。
• データ効率： ラベル付きデータの割合（$\gamma$）を増やすことで顕著な利点が得られたが、総サンプルサイズ（ラベルなしデータ経由）を増やしても、この特定の現実世界の環境においては効果は限定的であった。ただし、手法自体は堅牢であった。

5. 意義と限界

意義

本論文は、高次元、低SNR、およびラベル付きデータの不足という特徴を持つ、困難で現実的なシナリオにおける多変量SDRに対する堅牢な解決策を提供すると主張している。部分空間の推定とリンク関数の推定を切り離し、スコア関数の構造を活用することで、ディープラーニングのような計算負荷の高い要求や、古典的な逆回帰のような制約的な仮定を課すことなく、高い精度を達成している。

限界

著者は主に2つの限界を指摘している：

1. ランク欠損： 本手法は行列 $M_1$ がフル行ランクを持つことに依存している。もし応答成分が高度に相関しているか、あるいは勾配情報を打ち消すような対称性を持っている場合、有効ランクが $r$ 未満になり、過小評価につながる可能性がある。
2. 連続共変量： シュタインの恒等式は $\ln p(x)$ の微分可能性を必要とするため、本フレームワークは連続的な予測量を想定している。現在は離散的またはカテゴリカルな共変量を扱えないが、著者らは離散的なシュタインの手法（例：Concrete Score Matching）を用いた将来の拡張を示唆している。