論文要約：機械学習モデルが極端な値を体系的に過小評価する理由 II：LatentNN による修正方法

著者: Yuan-Sen Ting (オハイオ州立大学、マックス・プランク天文学研究所)
日付: 2026 年 3 月 26 日版（プレプリント）

1. 問題提起：減衰バイアス（Attenuation Bias）

現代の天文学は、スペクトルから恒星パラメータを推定したり、画像から光度赤方偏移を推定したりする際、ニューラルネットワーク（NN）に依存するようになっています。しかし、これらのモデルは入力データに含まれる測定誤差を無視して訓練されることが多く、これが「減衰バイアス（Attenuation Bias）」と呼ばれる体系的な誤差を引き起こします。

• 現象: 入力変数に測定誤差がある場合、回帰係数は真の値よりもゼロ寄りにバイアスされます。その結果、予測値の動的範囲が圧縮され、高い値は過小評価され、低い値は過大評価されます。
• 原因: 入力 $x$ の観測値 $x_{obs}$ が真の値 $x_{true}$ にノイズ $\delta x$ を加えたもの ($x_{obs} = x_{true} + \delta x$) であるにもかかわらず、機械学習モデルは $x_{obs}$ を真の値として扱って訓練するためです。
• 特徴:
  • このバイアスはサンプルサイズを増やしても解消されません。
  • 出力 $y$ のノイズには依存せず、入力 $x$ のノイズと信号の範囲の比 ($\sigma_x / \sigma_{range}$) によって決まります。
  • 天文学では信号対雑音比（SNR）が 10 程度であることが多く、このバイアスが数％〜50％に達する可能性があります。
  • ニューラルネットワークの複雑さ（多層化など）や正則化（L2 正則化など）ではこのバイアスは修正されません。

2. 手法：LatentNN

著者は、統計学における「誤差を含む変数（Errors-in-Variables）」問題に対する古典的な解決策である潜在変数アプローチをニューラルネットワークに拡張した「LatentNN」を提案します。

• 基本概念:

  • 観測された入力 $x_{obs}$ を直接モデルに入力するのではなく、真の入力値 $x_{latent}$ を未知の潜在変数として扱い、モデルパラメータ $\theta$ とともに最適化します。
  • これはデミング回帰（Deming Regression）のニューラルネットワーク版とみなせます。

• 最適化問題:

  • 目的関数（損失関数）は、観測値と真の値の尤度、およびモデルの予測尤度を最大化する形で定義されます。
  • 負の対数尤度を最小化する損失関数 $J$ は以下のようになります：
    $$J(\theta, \{x_{latent,i}\}) = \sum_{i=1}^N \frac{(y_{obs,i} - f_\theta(x_{latent,i}))^2}{\sigma_{y,i}^2} + \sum_{i=1}^N \frac{(x_{obs,i} - x_{latent,i})^2}{\sigma_{x,i}^2}$$
  • 第 1 項は予測誤差、第 2 項は観測値からの離脱に対するペナルティ（潜在尤度）です。
  • 両者のバランスは、入力誤差 $\sigma_x$ と出力誤差 $\sigma_y$ の比によって制御されます。

• 実装:

  • 現代の自動微分フレームワーク（PyTorch, JAX など）を使用し、$x_{latent}$ を学習可能なパラメータとして宣言します。
  • 初期値は観測値 $x_{obs}$ に設定し、勾配降下法で $\theta$ と $x_{latent}$ を同時に更新します。
  • 過学習を防ぐため、ネットワークパラメータ $\theta$ に対してのみ L2 正則化（重み減衰）を適用します。

3. 主要な結果

著者は、一次元回帰、相関のある多変量入力、そして恒星スペクトルへの応用において LatentNN を検証しました。

1. 一次元回帰:

   • 真の関数 $y=2x$ に対して、標準的な MLP は入力 SNR が低い場合（例：SNR=1）、予測の勾配が真の値の半分程度（$\lambda_y \approx 0.5$）に圧縮されました。
   • LatentNN は、SNR が 1 の極端なノイズ環境下でも、バイアスを修正し $\lambda_y \approx 1$ を達成しました。

2. 多変量入力（相関特徴）:

   • 天文学的なスペクトルデータのように、入力特徴間に関連性がある場合、次元数 $p$ が増えるとバイアスは緩和されますが、依然として存在します。
   • LatentNN は、$p \ge 10$ の場合、SNR $\ge 2$ で高い精度を維持しました。
   • 中間的な次元数（$p=3$）では修正が難しい傾向がありましたが、それでも標準的な MLP（$\lambda_y \approx 0.2$）に比べ LatentNN（$\lambda_y \approx 0.7$）は大幅に優れていました。

3. 恒星スペクトルへの応用:

   • 金属量 [M/H] の推定タスクにおいて、実際の観測ノイズをシミュレートしました。
   • 情報量の少ないピクセル数（3 ピクセル）や高いノイズレベル（10%）でも、LatentNN は標準的な MLP が示す強い過小評価（金属不足の星を金属豊富と誤判定する傾向）を大幅に改善しました。
   • 特に、スペクトル特徴が限られる元素（K, V など）の推定において、このバイアス修正は重要です。

4. 貢献と意義

• 理論的貢献: ニューラルネットワークも線形回帰と同様に減衰バイアスに苦しむことを実証し、統計学の潜在変数アプローチが NN に直接拡張可能であることを示しました。
• 実用的ツール: 任意の微分可能なアーキテクチャに適用可能な実用的なフレームワーク「LatentNN」を提供し、コードを公開しています。
• 天文学への影響:
  • 低 SNR 環境（天文学的観測の多く）における推定の信頼性を向上させます。
  • 金属量分布関数（MDF）の金属不足尾部や、恒星の年齢・距離の推定など、極端な値が重要な科学的発見に直結する領域での体系的誤差を排除します。
  • 従来の「より多くのデータ」や「より複雑なモデル」では解決できない問題に対し、入力誤差を明示的にモデル化するという統計的なアプローチの重要性を再認識させました。

5. 限界と今後の課題

• 計算コスト: 訓練サンプル数 $N$ に対して $N \times p$ 個の追加パラメータ（潜在入力）が必要となるため、大規模データセットや高次元入力ではメモリ使用量が増加します（ただし、重要な特徴のみを選択することで現実的な範囲に収められます）。
• 誤差の指定: 入力誤差 $\sigma_x$ と出力誤差 $\sigma_y$ を事前に指定する必要があります。これらが不正確だと修正が不完全になります。
• 最適化の複雑さ: 潜在変数が多数あるため、損失関数の地形が複雑になり、初期値やハイパーパラメータ（特に重み減衰）に依存する可能性があります。

結論

LatentNN は、入力データに測定誤差が含まれる場合のニューラルネットワーク推定における根本的な問題（減衰バイアス）を解決する強力な手法です。これは、天文学のような低 SNR 領域において、データ駆動型の推論の精度と信頼性を飛躍的に高める可能性を秘めています。