Tabular foundation models for the estimation of probabilistic quasar photometric redshifts in S-PLUS

宇宙を、星や銀河がそれぞれ一冊の本である巨大な宇宙の図書館だと想像してみてください。宇宙の物語——どのように成長し、どれほどの年齢で、その中の星々がどのように振る舞うのか——を理解するためには、それぞれの本が空間と時間のどこに位置しているのかを正確に知る必要があります。天文学において、この位置は「赤方偏移（レッドシフト）」と呼ばれます。これは一種の宇宙のバーコードのようなものです。銀河が私たちから遠ざかる速度が速ければ速いほど、その光は引き伸ばされ、虹の赤い端の方へとシフトしていきます。このシフトを測定することで、天文学者はその天体がどれほど遠くにあり、その光が旅を始めてからどれほどの時間が経過したのかを知ることができるのです。

しかし、この「バーコード」を完璧に読み取ることは非常に困難です。最も正確な方法は、光を詳細な虹へと分解する高解像度の「分光（スペクトロスコピー）」写真をとることです。しかし、このプロセスは、すべての本を一冊ずつ読むために熟練の司書を雇うようなもので、膨大な時間がかかり、非常にコストもかかります。そのため、現代の空のサーベイ（観測調査）における数十億もの天体に対して、天文学者はより単純な「測光（フォトメトリック）」写真、つまり異なる色のフィルターを通した数枚のスナップショットに基づいて、赤方偏移を推測しなければなりません。問題は、この推測は、低解像度のぼやけた写真からその人の年齢を推測しようとするようなものであり、異なる年齢が驚くほど似て見えることがあるため、混乱を招く複数の答えを導き出してしまうことです。

ここで、この問題を解決するために、新しい種類のAIが登場します。科学者たちは、「基盤モデル（ファウンデーション・モデル）」——すでに数百万の他の例からデータのルールを学習済みの、非常に賢い事前学習済みAIシステム——が、宇宙の距離を推測するための即席の、既製品の専門家として機能するかどうかをテストしています。大きな疑問は、これらの一般的なAIツールが、クエーサー（遠方の銀河の中心にある極めて明るい核）について特別に教えられていないにもかかわらず、現実世界の複雑で混乱した空のデータに対して、過去10年間に天文学者が構築してきた専門的なツールよりも優れた処理ができるかどうか、という点です。

この論文において、著者らはこのアイデアを、南天の空を12種類の異なるカラーフィルターでマッピングする大規模プロジェクトであるS-PLUSサーベイのデータを用いて検証しました。彼らは、クエーサーに焦点を当てました。なぜなら、クエーサーは色が非常に欺瞞的であり、全く異なる距離にあっても色が似通ってしまうことがあり、「色と赤方偏移の縮退（デジェネラシー）」、つまり一つの色のセットが複数の異なる距離を意味し得る状況を作り出すため、特に厄介だからです。チームは、3つの新しい「表形式基盤モデル（具体的にはTabPFN 2.5、RealTabPFN 2.5、およびTabICL）」を、8つの伝統的な専門特化型機械学習手法と比較しました。

伝統的な手法を、クエーサーだけを長年研究してきた専門の徒弟だと考えてください。一方で、基盤モデルは、図書館のあらゆる本を読んできたものの、クエーサーについてはまだ具体的に勉強していないジェネラリストの天才のようなものです。研究者たちは、これらのジェネラリストがデータに目を通し、単なる一つの数字を推測するのではなく、クエーサーがどこにある可能性があるのかという完全な「確率マップ」を即座に生成できるかどうかを確認したかったのです。これは、論文でも述べられているように、単一の推測はしばしば間違っているため重要です。確率マップは、「おそらくここにあるが、あそこにいる可能性もわずかにある」と教えてくれます。これにより、将来の宇宙研究における壊滅的なエラーを回避することができます。

結果は驚くほど明確でした。基盤モデル、特に TabPFN 2.5 は非常に優れた性能を示し、多くの場合、最高の専門ツールに勝るか、あるいは並ぶ結果を出しました。最も印象的な部分は、データが乏しい場合にこれらのジェネラリスト・モデルが最も輝いたことです。チームが学習用にわずか500個のクエーサーを与えたとき（天文学の用語では極めて微量です）、基盤モデルは専門的なツールよりもはるかに優れており、専門的なツールはこのような小さなサンプルからは学習できず苦戦しました。12万1,000個を超える膨大なデータセットを用いた場合でも、TabPFN 2.5はトップクラスの候補であり続け、高度に較正された（キャリブレーションされた）高精度な確率マップを生成しました。これは、彼らの「推測」における不確実性が、誠実で信頼できるものであることを意味します。

また、この研究は「共変量シフト（コベリエート・シフト）」と呼ばれる巧妙な問題にも取り組みました。例えば、晴れた日のデータだけで気象予報士を訓練した後に、雨の予測を頼んだとします。条件が異なるため、彼らは失敗するかもしれません。同様に、天文学者が容易に研究できるクエーサー（訓練セット）は、彼らが実際に研究したい数十億の暗いクエーサー（ターゲット集団）よりも明るく、見えやすい傾向があります。論文では、モデルがこれらの暗く、観察が困難な天体に対してどのように機能するかをシミュレートするために、巧妙な重み付け手法が使用されました。このストレス・テストの下でも、TabPFN 2.5は踏みとどまり、一部の専門的なツールが過信して間違いを犯す中で、安定性を維持しました。

どの特徴量が推測に利用されているかを分析することで、著者らは、モデルがS-PLUSの光学的な色だけでなく、WISE赤外線望遠鏡（具体的にはW1およびW2バンド）とGALEX紫外線望遠鏡からのデータに大きく依存していることを発見しました。それはまるで、AIが、これらの宇宙の灯台の真の距離を知るためには、可視光だけでなく、赤外線や紫外線からも見る必要があると気づいたかのようです。

しかし、論文は実用的な課題についても指摘しています。これらのモデルは強力ですが、計算資源を大量に消費します。12万件以上の訓練用クエーサーのフルデータセットを使用して予測を行うには、かなりのコンピュータメモリと時間を必要とします。著者らは、将来の巨大なサーベイに向けて、プロセスを高速化するために、これらのモデルを「蒸留（ディスティル）」するか、より小さなデータセットを使用する必要があるだろうと示唆しています。

結論として、この論文は、TabPFN 2.5 が、特にデータが限られている場合や、不確実性を正確に把握することが極めて重要な場合に、クエーサーの距離を推定するための強力で信頼できる「デフォルト」の選択肢であることを示唆しています。これは、常にゼロからカスタムツールを構築する必要はなく、時には、学習済みの汎用的なAIが、専門家と同等か、あるいはそれ以上に優れた仕事ができることを証明しています。これは、将来の天文学的サーベイにおいて、より精密に、そしてより少ないエラーで宇宙をマッピングするために、これらの強力な基盤モデルを活用できる道を開くものです。