Robust Heteroskedastic Matrix Factorization: A Generalization of PCA that Flags Outliers and Handles Missing Data

技術要約：ロバスト・ヘテロスケダスティック行列分解 (RHMF)

問題提起
現代の恒星分光法は、恒星スペクトルが物理パラメータ（有効温度や表面重力など）によって定義される低次元多様体上に存在するという仮定に基づいています。主成分分析（PCA）は、この多様体を復元するための標準的なツールですが、現実世界のサーベイデータに適用する場合、決定的な限界があります。標準的なPCAは、完全な長方形のデータであり、同分散（等分散）の不確かさを持ち、すべてのデータポイントを等しく重要であると扱うことを前提としています。その結果、外れ値（宇宙線、検出器の欠陥、または稀な天体など）に対して非常に敏感であり、欠損データセグメントやヘテロスケダスティック（信号対雑音比がピクセルごとに異なる）な測定不確かさを扱うことができません。反復再重み付け最小二乗法（IRLS）やロバストPCAといった手法は存在しますが、欠損データやヘテロスケダスティシティを同時に扱い、かつ外れ値特定のための原理的な確率論的解釈を提供できるものとしては不足していることが多いのが現状です。

手法
著者らは、ヘテロスケディastic 行列分解（HMF）およびPCAの一般化である**ロバスト・ヘテロスケダスティック行列分解（RHMF）**を提案しています。RHMFは、データ行列 $Y$ を、オブジェクト係数を含む $A$ と基底ベクトルを含む $G$ の低ランク積に、ノイズと外れ値を加えてモデル化します。

核心となる手法の革新性は以下の通りです：

1. 厚い裾を持つ尤度（Heavy-Tailed Likelihood）: RHMFは、残差の二乗を最小化する（ガウス尤度）代わりに、Student-t尤度から導出されたコスト関数を最小化します。これにより、小さな残差に対する二次的なペナルティを大きな残差に対する対数的なペナルティに置き換え、外れ値の影響を軽減します。
2. 階層的確率解釈: Student-t尤度は、各データ点 $y_{ij}$ が逆ガンマ分布から描かれる潜在的な分散 $\tau^2_{ij}$ を持つ階層ベイズモデルと等価であることが示されています。これにより、モデルはすべてのデータ点に対して「ロバストな重み」を暗黙的に推論することが可能になります。
3. 反復再重み付けアルゴリズム: モデルは、以下の4つのステップを循環する主要化最大化スキーム（IRLSアプローチ）を用いて適合されます：
   • w-step: 現在の残差に基づいてロバストな重み $w^{robust}_{ij}$ を更新し、外れ値をダウンウェイトします。
   • a-step: 固定された基底ベクトルと更新された重みを用いて、オブジェクト係数 $A$ を解きます（重み付き最小二乗法を使用）。
   • g-step: 固定された係数と更新された重みを用いて、基底ベクトル $G$ を解きます（重み付き最小二乗法を使用）。
   • Rotation-step: 基底ベクトルの直交性を強制し、縮退を解消します。
4. データの不完全性の処理: このフレームワークは、欠損データ（重みをゼロに設定することで対応）およびヘテロスケダスティシティ（既知の測定不確かさ $\sigma_{ij}$ を逆分散重みとして組み込むことで対応）をネイティブにサポートしています。
5. ハイパーパラメータ選択: モデルには、ランク $K$（基底ベクトルの数）と、二次的なペナルティと対数的なペナルティの遷移を制御するソフトな外れ値閾値 $Q$ という2つのハイパーパラメータが必要です。著者らは、保持されたデータに対する交差検証を用い、重み付き残差が単位正規分布にどの程度近いかを測定するカルバック・ライブラー（KL）ダイバージェンススコアを用いてこれらを選択することを推奨しています。

主な貢献

• 統合されたフレームワーク: RHMFは、単一の目的関数内でヘテロスケダスティシティ、欠損データ、および外れ値へのロバスト性を同時に扱う、初めて発表されたロバスト行列分解手法です。
• 自動異常検知: 明示的に疎な外来行列を学習する手法（例：Robust PCA）とは異なり、RHMFは推論されたロバストな重みを使用して、特徴ごとおよびオブジェクトごとの「外れ値らしさ」の連続的な尺度を提供します。これにより、不良なデータ（ピクセル）と興味深い天体異常（恒星）の両方の識別が可能になります。
• スケーラブルな実装: 著者らは、GPU/TPU加速をサポートし、分光サーベイの規模にもスケールする高速なオープンソースのJAX実装であるRobusta-HMFを提供しています。
• 確率論的基礎: 本手法は、重い裾を持つ最尤推定、あるいは潜在変数を持つ階層モデルとしての明確な確率論的解釈を提供しており、アドホックな $\sigma$ クリッピング手法とは一線を画しています。

結果
著者らは、RHMLを2つのデータセットで検証しました：

1. トイ・データセット: ガウスノイズ、欠損セグメント、および様々なタイプの外れ値が注入された8,000個のスペクトルの合成データセット。
   • 標準的なPCAは外れ値の混入と欠損データにより失敗しましたが、RHMFは基礎となる低ランク構造を正常に復元しました。
   • RHMFは、ヘテロスケダスティシティと欠損データ領域の処理において、Robust PCA (RPCA) よりも優れた性能を示しました。
   • 交差検証スコアは、真のランク（$K=5$）と最適な閾値（$Q=5$）を正しく特定しました。本手法は、ピクセルレベルおよびオブジェクトレベルの両方の外れ値を特定する上で高いF1スコアを達成しました。
2. Gaia DR3 RVS スペクトル: Gaiaの放射速度分光器（RVS）データセットにおける主系列星に適用。
   • モデルは、低いオブジェクトごとのロバストな重みによって、異常な星を特定しました。
   • ケーススタディ1: 主系列の多様体に捉えられていない広いパッシェン線のため、既知のBe型連星（88 Her）を強力な外れ値として正しく特定しました。
   • ケーススタディ2: M矮星のCa II トリプレット線における微細な放射を検出しました。ある事例では、その放射は深さが1%未満であり、生のスペクトルでは目視不可能でしたが、RHMLによる再構成と比較することで明確に識別可能となり、本手法の微細な異常に対する感度を実証しました。

意義と主張
論文は、RHMFがサーベイ規模において望ましい特性の「パッケージ」を提供すると主張しています。すなわち、潜在的な分散を露出する確率論的定式化、ピクセルおよびオブジェクトレベルでの一貫した変分ダウンウェイト、そしてヘテロスケダスティシティと欠損データへのネイティブなサポートです。著者らは、個々の要素（IRLS、Student-t尤度、HMF）自体は新しいものではないものの、それらをこの特定のフレームワーク内で組み合わせたことが新規であると強調しています。

著者らは、手法の限界についても謙虚に述べています：

• ハイパーパラメータへの感度: 外れ値の特定精度は、$K$ と $Q$ の選択に依存します。もし外れ値がインライア（正常値）と低ランク構造を共有している場合、それらはフラグ立てされるのではなく、基底の中に吸収されてしまう可能性があります。
• 重みの解釈: 不確かさが完全に既知でガウス分布に従わない限り、ロバストな重みは厳密な統計的な「外れ値らしさ」の尺度ではありません。これらは、人間による検査の優先順位付けを行うためのガイドとして最適に機能します。
• 局所解: 非凸最適化と同様に、解は初期化（通常はSVD）に依存しますが、外れ値が稀である場合には一般に効果的です。

結論として、論文はRHMFが、ヘテロスケダスティックなデータの低ランク記述を復元しながら同時に異常をフラグ立てするための、実用的なデフォルト手法であり、大規模な天文学的サーベイにおける標準的なPCAに対する重要な改善であると結論付けています。