Traceable Spectral Inference via Influence Functions: Efficient Data Attribution and Error Proxies for the Ariel Mission

技術要約：影響関数を用いた追跡可能なスペクトル推論

問題提起
機械学習（ML）モデルは、欧州宇宙機関（ESA）のArielミッションのような、系外惑星の大気データを分析する科学的な宇宙ミッションへの導入が進んでいます。しかし、これらのモデルの複雑性が増すにつれ、解釈可能性が損なわれることが多くなっています。Arielのような運用環境では、飛行中の観測に対するグラウンドトゥルース（正解ラベル）が得られないため、モデルの挙動を検証したり、出力の物理的な妥当性を理解したりすることができず、それが信頼性の制限やエラー評価の困難さを招いています。既存の説明可能なAI（XAI）手法は、特徴量アトリビューション（どの入力変数が予測を駆動しているかを特定すること）に焦点を当てていますが、**学習データ・アトリビューション（TDA）**には決定的なギャップが存在します。具体的には、特定の訓練サンプルがモデルの予測をどのように形成したのかを特定し、有害なデータのアーティファクトを検出し、正解ラベルなしで予測誤差を推定するための効率的なメカニズムが必要です。

手法
著者らは、運用中の分光パイプラインに適応させた**影響関数（influence functions）**に基づく、追跡可能なスペクトル推論のためのフレームワークを提案しています。この手法は、以下の3つの核心的な技術的柱に基づいています。

1. 予測のための再定式化（ラベルフリー）:
   従来の典型的な影響関数は、訓練ポイントが「テスト損失」に与える影響を推定します。しかし、ミッション運用中にはグラウンドトゥルースが入手できないため、本研究では、特定の訓練インスタンスによって予測値（$f(x_{test})$）がどのように変化するかを定量化するように影響関数を再定式化しました。この転換により、ラベルフリーでの展開が可能となり、観測不可能なエラー指標ではなく、モデルの出力応答曲面に焦点を当てることができます。

2. 極限学習マシン（ELM）による効率的な計算:
   Leave-One-Out（LOO）による再学習の計算負荷を回避するため、本研究では**極限学習マシン（ELM）**を採用しています。ELMでは、入力重みは固定かつランダムであり、出力重みはリッジ回帰を通じて学習されます。この構造により、凸目的関数と閉形式の解が得られます。決定的なのは、二乗誤差のヘッセ行列（$H$）が一定であり、隠れ層の活性化と正則化項のみに依存することです。これにより、反復的な近似なしに、逆ヘッセ行列（$H^{-1}$）を迅速かつ正確に計算でき、効率的な影響計算が可能になります。

3. 影響に基づくエラープロキシと有害性:
   本フレームワークは、影響感度を通じて訓練残差を伝播させることで、保守的なエラープロキシを導出します。

   • 予測への影響: $I(z_i, x_{test}) = \phi_{test}^T H^{-1} (\phi_i \cdot r_i)$ として計算されます。ここで、$\phi$ は隠れ層の活性化、$r_i$ は訓練残差を表します。
   • 有害性指標: クックの距離（Cook's Distance）を応用し、「有害性」は絶対的な影響度と訓練残差の積（$|I \cdot r|$）として定義されます。これにより、予測に対して高いレバレッジを持ちながら、同時にモデルへの適合性が低い（高い誤差を持つ）サンプルを特定します。
   • エラープロキシ: 無限小ジャックナイフ（infinitesimal Jackknife）に着想を得たスコアが、波長チャネル全体にわたる二乗残差重み付きの影響を集計し、予測振幅で正規化することで、スケール不変な観測レベルのリスクスコアを作成します。

主な貢献
本論文は、運用上の分光法のために3つの具体的な貢献を導入しています。

1. ラベルフリーの影響: 影響関数を損失ベースから予測ベースへと再定式化し、グラウンドトゥルースが未知のシナリオにおけるアトリビューションを可能にしました。
2. 閉形式による効率性: ELMのリッジ回帰ソリューションを活用することで、深層ニューラルネットワークで必要とされるヘッセ行列ベクトル積の近似を回避し、無限小の予測影響を効率的に計算することを実現しました。
3. 保守的なエラープロキシ: 訓練残差を影響感度を通じて伝播させ、予測の不確実性を推定し、バイアスやアーティファクトを導入する可能性のある「有害な」訓練サンプルを特定する手法を導出しました。

結果
Ariel Data Challenge 2021（トランジット光度曲線から透過スペクトルへのマッピング）のシミュレーションスペクトルを用いて評価した結果、提案されたフレームワークは以下の成果を示しました。

• 誤差との強い相関: 影響ベースのエラープロキシは、実現されたスペクトル誤差と強いスペアマン順位相関係を示しました。具体的には、Spectral Angle Mapper（SAM）（形状ベースの誤差）と0.81、Root Mean Squared Percentage Error（RMSPE）（スケールベースの誤差）と0.69の相関を示しました。
• 影響力のあるサンプルと有害なサンプルの識別: t-SNE可視化により、最も影響力のある訓練サンプルは、特徴空間における幾何学的な最近傍ではないことが明らかになりました。影響力のあるサンプルはクエリのスペクトル形状にはよく一致していましたが、絶対的なスケールにおいては大きく乖離していました。
• LOOとの比較検証: 実際のLOO再学習との比較により、影響関数が再学習効果の方向と相対的な大きさを捉えていることが確認されました。LOO再学習はサンプルを完全に除去することによる増幅効果を示しましたが、影響推定値は非常に正確な一次近似を提供しました。
• 計算効率: 全ての交差検証フォールド（約6,810個の訓練点）にわたって影響行列を計算するのに、1分15秒かかりました。対照的に、同じデータセットに対して完全なLOO再学習を実行した場合、約24時間を要したと推定されます。
• 汎用性: 本フレームワークは勾配ブースティングELM（GB-ELM）にも適用され、エラー指標（SAMで0.83）との強い相関を維持しており、単一のモデルアーキテクチャを超えた適応性を示しました。

意義と主張
著者らは、このアプローチが宇宙ミッションにおける科学的機械学習のための実行可能な運用フレームワークを提供すると主張しています。最も影響力のある、あるいは潜在的に有害な訓練サンプルを特定できるようにすることで、本手法は特定の予測を駆動しているデータに対して透明な説明を提供します。これにより、天文学者によるターゲットを絞ったデータ検査が可能になり、リスクの高いスペクトルを特定して除去または再重み付けを行うことができます。さらに、導出されたエラープロキシは、ラベルフリーの堅牢な運用リスク評価メカニズムとして機能し、グラウンドトゥルースにアクセスできない状況下でも、モデルが正しい物理構造を学習することを保証します。本研究は、影響関数が、複雑なMLモデルと、厳格な検証要件を伴う科学的宇宙探査との間の溝を埋めることができることを示唆しています。