技術要約：高次元回帰におけるバイアスを考慮した外部モデル支援推論

問題設定

現代の統計学の実践は、しばしば情報の非対称性に直面している。すなわち、豊富な共変量は利用可能であるが、専門家によるアノテーションや実験のコストにより、ゴールドスタンダードとなるラベル付き応答（正解データ）は極めて希少である。同時に、機械学習による予測器（転移学習や基盤モデルによるものが多い）は、不完全ではあるものの、欠損している応答を安価に補完することができる。推論上の課題は、これら豊富なラベルなし共変量と外部予測器を活用しつつ、予測器のバイアスを継承することなく、ターゲット・パラメータに関する結論を精緻化することである。

PPI（Prediction-Powered Inference）やそのパワーチューニング版であるPPI++といった既存のフレームワークは、少数のラベル付きサンプルを用いて予測器の出力を修正する「レクティファイア（整流器）」を用いて予測器を補正しようと試みる。しかし、本論文は線形回帰におけるPPIの構造的な弱点を指摘している。すなわち、ワーキングモデルと予測器の両方が線形である場合、レクティファイアは予測器の寄与を完全に打ち消してしまう。その結果、PPIおよびPPI++は、予測器の質に関わらず、ラベル付きデータのみを用いた通常の最小二乗法（OLS）へと退化してしまう。さらに、予測器が推定値であり、かつ真の関数に近い場合、レクティファイアはノイズを注入し、分散をラベルのみの場合の底以上に増大させる可能性がある。したがって、高次元設定における真の効率性の向上は、予測の整流化以外のメカニズムから生じなければならない。

手法：DEAL 推定量

著者らは、予測の整流（レクティファイア）を通じてではなく、デバイアス（偏り除去）推定量の分散を通じて、ラベルなしのデザインから効率性を抽出するために設計された4段階の手順である**DEAL（Debiased External-model-Assisted Lasso）**を提案する。

1. バイアスを考慮した初期化:
   手順は、外部推定量 $\hat{\beta}_{ext}$（転移学習からのものを含む）から始まる。この推定量 $\hat{\beta}_{ext}$ を直接使用するのではなく、DEALはラベル付きデータに基づいて「ワンステップ補正」$C$ を構築する。データ駆動型の収縮レベル $\hat{t} \in [0, 1]$ は、別のチューニング用サブサンプルを用いて推定される。この収縮は、補正を未知のバイアスベクトルに対するノイズを含む観測値として扱う。初期化子は $\tilde{\beta}_{init} = \hat{\beta}_{ext} + \hat{t}C$ として形成される。

   • 外部推定量が情報を持たない場合、$\hat{t} \to 0$ となり、ターゲットのみのアプローチに回帰する。
   • 推定量がオーラクル（真の値）に近い場合、$\hat{t} \to 0$ となり（ノイズ注入を避けるために補正をオフにする）、補正を停止する。
   • 推定量がバイアスはあるが情報を持っている場合、$\hat{t} \to 1$ となり、補正を利用する。

2. 疑似ラベルの補完:
   初期化子 $\tilde{\beta}_{init}$ を用いて、ラベルなし共変量 $\tilde{X}$ に対して疑似ラベル $\tilde{f} = \tilde{X}\tilde{\beta}_{init}$ を補完する。

3. スタックド・ラッソ（Stacked Lasso）:
   元のラベル付きデータ $(X_0, y_0)$ と疑似ラベル付きデータ $(\tilde{X}, \tilde{f})$ からなるスタックされたデータセットに対して、Lasso推定量を適合させる。このステップは、サンプルサイズ（$n_0 + N$）を拡大することで、より鋭い初期適合と、より安定した精度行列の推定を実現する。

4. 最終的なデバイアス:
   近似的な逆共分散行列（Javanmard-Montanari法またはノードワイズLasso法を用いて構築）を用いて、スタックド・ラッソ推定量の標準的なデバイアス・ステップを適用する。これにより、漸近正規性と妥当な信頼区間が回復される。

主要な適応策:

• 分散バランス規則: ラベルなしサンプルサイズ $N$ は固定されるのではなく、先行するノイズ分散の減少と、導入される残留バイアス分散のバランスを取るようにデータから選択される。
• 共変量シフトの処理: ターゲットよりも分散が大きい（シフトアップ）ラベルなし共変量分布においても、被覆率（coverage）を回復させるための、デバイアス行列に対する一方向の置換ルールが導入されている。
• 非線形ラベルラー: 本フレームワークは、非線形ラベルラーにも拡張可能である。これは、バイアスを考慮したステップがモデルの誤設定下でも有効であるよう、ターゲットの周辺分布から抽出された補助サンプル上で予測器を線形化することで実現される。

主要な貢献と理論的結果

1. PPIの構造的限界: 論文は、正しく指定された線形モデルの下では、PPIのレクティファイアが予測器の寄与を無効化することを証明している（Proposition 1）。これにより、線形設定において効率性がレクティファイアの平均から得られることはないことが確立された。
2. 分散チャネルの効率性: DEALは、ラベルなしの共変量をデバイアス推定量の分散へとルーティングする。理論的分析によれば、線形ラベルラーの下で、DEALはターゲットのみのデバイアスLassoよりも厳密に短い信頼区間を達成する。漸近分散比は、$G(\kappa, t_0) = (\frac{1+t_0\kappa}{1+\kappa})^2$ で与えられる（ここで $\kappa = N/n_0$）。外部推定量が情報量を持つ場合（$t_0 < 1$）、この比は厳密に1未満となる。
3. 誤設定および非線形性への堅牢性:
   • モデルの誤設定下において、DEALは母集団の最小二乗投影パラメータ $\beta^*_{proj}$ に関する妥当な推論を提供する。
   • 非線形ラベルラーの下では、DEALはフル・ラベルなし飽和時において最適化されたPPI++を厳密に圧倒する。一方、PPI++は削減不可能なラベルノイズによって制限される。
4. 共変量シフトの妥当性: 本論文は、ラベルなし共変量がターゲットよりも大きな共分散を持つ分布（シフトアップ）から抽出されている場合でも、公称被覆率を維持するシフト対応の修正手法を導入している。これは、標準的な統合推定法が失敗する領域である。
5. 適応的収縮: データ駆動型の収縮パラメータ $\hat{t}$ は、外部推定量（外部モデル）の質に適応し、情報を持たない状態からオーラルに近い状態までのあらゆるレジームにおいて妥当性を保証する。

実証結果

著者らは、モンテカルロ・シミュレーションと、天文学、材料化学、プロテオミクス、腫瘍学にわたる6つの実データアプリケーションを通じて理論を検証している。

• シミュレーション: 高次元設定（$p \gg n_0$）において、DEALの信頼区間は、公称被覆率においてターゲットのみのデバイアスLassoの区間長の0.49から0.87の間であった。対照的に、PPIおよびPPI++の区間は、デバイアスLassoのベースラインに近い（比率 $\approx 1.0$）ままであった。
• 実データへの適用: 6つの多様なアプリケーション（LLMをゼロショット・オーラクルとして使用したものを含む）において、DEALは一貫して信頼区間をタイトにした。DEALの区間とデバイアスLassoの区間の中央値比は、0.23から0.53の範囲であった。
  • 再現性: DEALが選択した有意な座標は、デバイアスLasso（選択頻度 0.26–0.63）やPPI++（0.26–0.61）と比較して、高いブートストラップ安定性（選択頻度 0.66–0.97）を示した。
  • 汎化性能: 銀河形態学やバンドギャップのようなアウト・オブ・サンプル適合（out-of-sample fit）を伴うアプリケーションにおいて、DEALによる発見は正のサンプル外 $R^2$ を達成したが、他の手法は負またはゼロに近い $R^2$ を示した。
• ラベルラーへの独立性: 極めて重要な点として、外部ラベルラーの予測精度が非常に低い場合（例：プロテオミクスにおける相関 $\approx 0.09$）でも、効率性の向上が観察された。ラベルラーを置換（情報を持たないサロゲートへ変更）した場合、DEALの区間はデバイアスLassoのベースラインへと崩壊した。これは、得られた利得がラベルラーの正確さからではなく、ラベルなしのデザインによる精度行列の精緻化から生じていることを裏付けている。

意義と主張

本論文の主要な貢献は、外部モデルの役割の再定義にあると主張されている。すなわち、予測器の役割を（レクティファイアを介した）「平均」から、「分散」へと移行させたことである。この転換により、線形モデルにおける構造的な相殺というPPIの性質を回避することが可能となった。

著者らは、DEALがファウンデーションモデルや合成データの時代において特に重要であると強調している。なぜなら、アナリストは外部予測器の較正（キャリブレーション）を制御したり監査したりすることが困難な場合が多いからである。DEALは外部モデルを「ブラックボックス」として扱い、バイアスに対する収縮ガードレールを通じて推論を保護することで、制御不能なラベルラーを無害または有益なツールへと変換する。本手法は、高次元の疎な線形レジームにおいて特に鋭いツールであり、PPIが改善を見せられない場面において、妥当な推論と厳密に短い信頼区間を提供する。

論文は、その適用範囲についても謙虚な姿勢を保っており、以下の点を認めている：

• 誤設定下では、真の非線形条件付き平均ではなく、最良の線形投影を推論するものであること。
• 効率性の向上は、ラベル付きのデザインが制約となっている場合に限定される。ラベル付きサンプルが既に十分に大きい、あるいは良条件である場合、恩恵は減少する。
• 本手法は、高次元の疎線形メカニズム（デバイアスLasso、ノードワイズLasso）に依存しており、PPIのような汎用的なM推定量ではないこと。