技術要約：相互作用のための分布的外挿（DExtrI）

1. 問題定義

本論文は、**組合せ的外挿（combinatorial extrapolation）という課題に取り組んでいる。これは、訓練中に共同で観測されなかった共変量の組み合わせに対して、結果を予測することである。具体的には、著者らは訓練データが軸に沿った（axis-aligned）**設定、すなわち各サンプルが単一の活性な共変量のみを含む（例：薬理学における単剤応答やゲノミクスにおける単一遺伝子摂動）状況に焦点を当てている。一方で、テスト時の入力は複数の共変量が同時に活性化している（例：薬物併用療法やハイパーパラメータの同時構成）。

ニューラルネットワークや経験的リスク最小化（ERM）を含む標準的な機械学習モデルは、このレジームにおいてしばしば失敗する。なぜなら、それらは訓練分布の凸包（convex hull）の外側へと一般化することに苦慮するためである。著者らは、完全な組合せデータを取得することは極めてコストがかかる場合が多いことを指摘しており、周辺的かつ軸に沿った観測から相互作用効果を推論できる手法を必要としている。

2. 手法：DExtrI フレームワーク

著者らは、応答変数 $Y$ を加法成分と特定のノイズ構造を持つ相互作用項の和としてモデル化する生成回帰フレームワーク、DExtrI（Distributional Extrapolation for Interactions）を提案している。

2.1 モデル構造

モデルは以下のように定義される：
$$Y = \sum_{j=1}^p f_j(X_j) + \sum_{k=1}^K g_k(\beta_k^\top X + h_k(\varepsilon))$$
ここで：

• $f_j$ は、個々の共変量に対する単変量加法関数である。
• $g_k$ は、相互作用を表す非線形リッジ関数である。
• $\beta_k$ は、相互作用の方向を定義する係数ベクトルである。
• $h_k(\varepsilon)$ は、**前加法的ノイズ（pre-additive noise）**項であり、ここで $\varepsilon \sim \mathcal{N}(0, 1)$ は共有された潜在ノイズ変数である。

2.2 核となるメカニメント：前加法的ノイズ

核心となる革新は、標準的な後加法的ノイズではなく、前加法的ノイズ（相互作用関数 $g_k$ の引数の内部に加算されるノイズ）の使用である。

• 生成論的解釈： このモデルは、低次元の潜在ノイズ変数 $\varepsilon$ の決定論的な変換として、完全条件付き分布 $Y|X=x$ を規定する。
• 外挿の論理： $h_k(\varepsilon)$ は $\mathbb{R}$ 全体にサポートを持つため、たとえ $X$ が軸に沿ったサポートに制限されていたとしても、引数 $\beta_k^\top X + h_k(\varepsilon)$ は $\mathbb{R}$ 全体をスパンする。これにより、モデルは $\varepsilon$ の変動を通じて、相互作用関数 $g_k$ の挙動をその全領域にわたって「見る」ことが可能になる。これは、訓練データが $X$ の特定の周辺的なスライスしかカバーしていない場合でも同様である。

2.3 推定

DExtrIは、**エネルギー・スコア（Energy Score）**を最小化することでモデルの構成要素を推定する。エネルギー・スコアは、確率分布に対する厳密に適切なスコアリング・ルールである。

• 目的関数： 観測された条件付き分布とモデルの生成分布との間の期待エネルギー・スコアを最小化する。
• 実装： 各構成要素 $f_j, g_k, h_k$ はニューラルネットワークを用いてパラメータ化される。最適化にはAdamアルゴリズムを使用する。
• 利点： 点ごとの二乗誤差を最小化するERMとは異なり、エネルギー・スコアはペアワイズの距離を通じて分布を一致させる。著者らは、これが低サンプルサイズの設定においてより堅牢であり、軸に沿ったデータから構造的成分を特定するために重要であると主張している。

3. 理論的貢献

本論文は、モデルの**識別可能性（identifiability）と外挿可能性（extrapolability）**に関する厳密な理論的保証を確立している。

3.1 識別可能性

著者らは、特定の構造的仮定（例：$g_k$ は非多項式指数多項式である、$h_k$ は異なる漸近的成長次数を持つ厳密な単調関数である、および相互作用のサポートが互いに異なる）の下で、モデルが軸に沿ったデータから識別可能であることを証明している。

• 結果： もし二つのパラメータ化が軸に沿った訓練サポート上で同一の条件付き分布を誘導する場合、それらは自明な不定性（$\beta_k$ と $h_k$ のスケーリング、および加法定数）を除いて等価でなければならない。
• 意義： これは非自明な結果である。なぜなら、訓練サポートは内部が空（軸上にのみ存在する）であり、相互作用の方向を特定するための標準的な混合微分を用いることができないからである。前加法的ノイズと単調性の仮定は、リッジの方向とプロファイルを分離するために必要であることが示されている。

3.2 外挿可能性

識別可能性の結果に基づき、本論文は、学習されたモデルが周辺サポートの直積（$X_{test}$）に対して決定論的に外挿可能であることを証明している。

• 定理： モデルが識別可能であれば、学習された関数 $\tilde{T}$ は、真の関数 $T$ と、分布としてだけでなく、固定されたノイズ実現に対して点別（pointwise）においても、全テストサポート $X_{test}$（およびその先）で一致する。
• 含意： この手法は、観測された周辺範囲の直積内にテストポイントが存在する場合、未知の共変量の組み合わせに対する完全な応答曲面を復元できる。

4. 実証結果

著者らは、合成データおよび実世界のデータセットを用いて、DExtrIをNeural Additive Models (NAM)、標準的なERM (MLP)、およびEngression（関連する分布回帰手法）と比較評価した。

4.1 合成ベンチマーク

既知の正解を持つ高次元合成設定（$p=40$）において、DExtrIは一貫してベースラインよりも大幅に低いテスト平均二乗誤差（MSE）を達成しており、しばしば数桁の差をつけている。ベースラインは周辺データから相互作用効果を復元できず、DExtrIは入力空間の内部へと正常に一般化している。

4.2 実世界の応用

• 薬物併用スクリーニング（O'Neil および ALMANAC データセット）： この手法は、単剤の訓練データのみを使用して、細胞株の薬物併用下での生存率を予測する。DExtrIはO'Neilデータセットにおいてベースラインを凌駕し、ALMANACにおいても競争力のある性能を示し、未テストの薬物併用を予測する有用性を実証した。
• ハイパーパラメータ最適化（HPOBench）： この手法は、個々のハイパーパラメータの周辺スイープに基づき、MLP構成の検証エラー率を予測する。DExtrIは8つのタスク中7つで最低のテストMSEを達成し、ハイパーパラメータの結合相互作用をモデル化する優れた能力を示した。
• 近似的に軸に沿ったデータ： 共変量が厳密に軸に沿ってはいないが、軸の近くに集中しているデータセット（例：Seoul Bike Sharing, Gas Turbine）についてもテストを行った。DExtrIは、ERMやNAMを上回る高い性能を維持し、堅牢な性能を示した。

5. 意義と主張

本論文は、DExtrIが、単なる予測の課題としてではなく、識別可能な統計的問題として組合列表現を可能にすると主張している。

• 情報の含有量： 主要な含意は、「一因子ずつ（one-factor-at-a-time）」（軸に沿った）実験は、正しい構造的仮定と分布的モデリングが適用される限り、一般的に想定されているよりも大幅に多くの相互作用に関する情報を含んでいるということである。
• 実用的な影響： この手法は、創薬やハイパーパラメータチューニングのような領域において、網羅的な組合せ実験のコストを削減するための道筋を提供する。
• 限界： 著者らは、この手法が特定の構造的仮定（例：非多項式プロファイル、ワープの異なる成長次数）に依存していることを認めている。これらの仮定が違反された場合（例：追加の制約なしの多項式プロファイル）、識別性が失われる可能性があると述べている。また、本論文は、任意の分布や周辺の直積の外側にあるサポートに対する外挿を解決すると主張しているわけではない。

要約すると、DExtrIは、分布的回帰と前加法的ノイズを活用して、限定的な軸に沿ったデータから相互作用効果を復元する、理論的根拠に基づいたフレームワークを提供し、未知の共変量の組み合わせに対して成功的に一般化することを実証している。