gp2Scale: A Class of Compactly Supported Non-Stationary Kernels and Distributed Computing for Exact Gaussian Processes on 10 Million Data Points

あなたは、天気を予測したり、住宅価格を予測したり、ロボットの経路を予測しようとしていると想像してください。しかし、あなたには数百万ものデータポイントという膨大なデータがあります。データサイエンスの世界には、**ガウス過程（Gaussian Process: GP）**と呼ばれる強力なツールがあります。ガウス過程を、非常にスマートで柔軟な「ゴムシート」だと考えてください。このシートには、実際のデータ（温度の読み取り値や住宅価格など）がある特定の地点で、指で突きます。すると、シートはそれらの点に完璧にフィットするように伸びたり曲がったりします。これは「確率的」なツールであるため、単一の数値を推測するのではなく、データの周囲に「起こりうる形状の雲」を描き出し、答えが何であるかだけでなく、その答えに「どれほど自信があるか」までも教えてくれます。この「不確実性」は、新薬の開発や気候変動の予測など、大きな決断を下す科学者にとって極めて重要です。

しかし、問題があります。長い間、このゴムシート・ツールは非常に動作が遅く、メモリを大量に消費してきました。数千のデータポイントであればうまく機能しますが、数百万のポイントに対してこのシートを広げようとすると、数学的な計算が爆発してしまいます。これは、都市の1,000万人のすべての人々の間のつながりを一度に計算しようとするようなもので、コンピュータはメモリ不足に陥り、クラッシュしてしまいます。これを解決するために、ほとんどの科学者は「近似法」を使用することを余儀なくされてきました。これは、簡単に言えば、時間を節約するためにゴムシートの細かいディテールを無視した、より安価で精度の低いバージョンを使用することです。しかし、これでは、このツールを特別なものにしている真の理由、つまり「完璧に正確で高度にカスタマイズできる能力」を失ってしまうことになります。

ここで、新しい研究が登場します。この研究は、この「完璧なゴムシート」を、コストを抑えつつ大規模なデータセットに対して機能させる方法を提案しています。マーカス・M・ノアック（Marcus M. Noack）氏とその共同研究者らによるこの研究は、gp2Scaleと呼ぶ手法を紹介しています。彼らの画期的なアイデアは、問題はデータそのものではなく、ゴムシートを伸ばすための「ルール」にあるという点です。伝統的なルールでは、すべての点が他のすべての点とつながっていると仮定するため、重厚で密な数学のウェブが作成されます。チームは、もしルールを「非定常（場所によってルールが変わること）」かつ「コンパクト・サポート（各点が持つ相関の範囲を制御すること）」に変更すれば、この巨大なウェブが突然、疎（スパース）で軽量な骨組みに変わることに気づきました。これにより、特定のデータセット間における遠く離れた地点同士の相関関係を維持しつつ、計算を効率化できるのです。

これらの新しい柔軟なルールを使用することで、研究者たちは1,000万個のデータポイントに対して「厳密な（exact）」ガウス過程を実行することができました。彼らはショートカットや近似を使って「ズル」をしたわけではありません。単に、ほとんどの接続を計算する必要がないことを理解させるほど、数学をスマートにしただけなのです。彼らは、単純な1次元のうねる線から、アメリカ全土の3次元温度マップに至るまで、さまざまなテストを行いました。その結果、彼らの手法は、多少の計算パワーを必要とするものの、より高い精度を実現し、あらゆる特定の問題に対して高度にカスタマイズできることが示されました。それは、スケッチから高精細な写真へとアップグレードするようなものです。処理には時間がかかりますが、ディテールは本物であり、影の中に何があるかを推測する必要もありません。

コアとなる問題： 「密な」ウェブ

なぜこれが大きなニュースなのかを理解するために、小さな町の友情ネットワークをマッピングしていると想像してみてください。もし全員が全員を知っているなら、すべてのペアの間に線を引かなければなりません。町に100人がいれば管理可能ですが、もし1000万人がいて、全員が全員とつながっているとしたら、100兆本の線を引く必要があります。従来のガウス過程がこれを行っているのです。彼らはすべてのデータポイントが他のすべてのデータポイントと接続されていると仮定し、コンピュータが扱うには重すぎる「密な」行列を作成します。

長年、解決策は「よし、一部の人は互いを知らないことにしよう」とか、「代表的な数人を選んでグループ全体を代表させてもらう」と言うことでした。これらが、論文で比較されている近似法（SVGP、Vecchia、SKIなど）です。これらは高速ですが、霧がかかった窓越しに写真を見ているようなものです。大まかな印象は掴めますが、鋭いエッジや細かいディテールは失われてしまいます。さらに悪いことに、これらはしばしば、特定の硬直したタイプのルール（カーネル）を使用することを強いることになります。

gp2Scaleの解決策： 「スマート・マスク」

論文の著者であるgp2Scaleは、「密な」ウェブは不適切なルールによって作り出された錯覚であると主張しています。彼らは、新しいクラスのカーネル（ゴムシートがどのように伸びるかを定義する数学的ルール）を提案しています。彼らの秘訣は、「非定常でコンパクト・サポートされた」カーネルです。

比喩を使って説明しましょう。あなたが巨大な壁画を描いていると想像してください。

• 従来の方法: すべての筆致が壁の他のすべての部分に影響を与えると仮定します。全体を描くために、あらゆる平方インチに対して他のあらゆる平方インチとの色の混ざり方を計算しなければなりません。それは不可能です。
• 近似法: いくつかの主要なスポットだけを描き、残りは推測することにします。これは速いですが、絵はぼやけてしまいます。
• gp2Scaleの方法: データの構造に基づいた「スマート・マスク」を使用します。これにより、計算のパターンはデータによって駆動され、特定のデータセット間における遠く離れた地点同士の相関関係を保持しながらも、不要な接続を排除できます。結果として、巨大な接続のウェブが消え去り、計算が劇的に軽量化されます。

論文では、距離ベースのカットオフとして機能するウェンドランド・カーネル（Wendland kernels）や、接続のオン・オフスイッチとして機能するバンプ関数（Bump-function）カーネルを含む、いくつかのタイプの「マスク」を紹介しています。これらのマスクにより、コンピュータは不要な計算の大部分を無視できるようになり、永遠に終わらないような問題を、数千台のコンピュータに分散して処理できる問題へと変貌させました。

実験： うねる線から1,000万のポイントまで

チームは単に数学的な計算を行っただけでなく、それが実際に通用するかどうかを確認するために、現実世界のシナリオでテストを行いました。

1. 1次元のうねる線: 彼らは単純で複雑な波形から始めました。彼らは、近似法が鋭い、うねったディテールを滑らかにしてしまい、曲線が丸くなりすぎていることを見出しました。しかし、gp2Scaleは鋭いエッジを完璧に保持し、「正解（グラウンド・トゥルース）」とほぼ正確に一致させました。
2. アメリカの地形: 彼らは20,000個のポイントを使用して、アメリカの地形の高さをマッピングしました。地形は激しく変化するため、データは「非定常」です。標準的な手法は苦戦しましたが、gp2Scaleは地形に合わせてルールを適応させ、最も誤差の少ない、最も正確なマップを作成しました。
3. カリフォルニアの住宅価格: 彼らは8次元空間における住宅価格の予測を試みました。ここでは、データは疎（パターンを見つけるのが難しい）でした。gp2Scaleは非常に優秀で、この特定の高次元で疎なケースにおいても、他の近似法を上回る優れたパフォーマンスを示しました。これは重要なニュアンスです。著者らは、彼らの手法があらゆる状況における魔法の杖ではないことを認めていますが、データが密で複雑な場合には真価を発揮すると述べています。
4. MNIST数字: 彼らは有名な画像認識タスク（手書き数字の識別）を回帰問題へと変換しました。gp2Scaleは28x28ピクセルのグリッドを難なく処理しましたが、他の手法は失敗するか、過度な調整を必要としました。
5. 1,000万ポイントの挑戦: グランドフィナーレです。彼らはアメリカ全土の1,000万個の温度測定値を取り扱いました。これを行うために、彼らは1,024基のA100 GPU（大規模なスーパーコンピュータ構成）を使用しました。彼らはモデルを約100イテレーション実行しました。結果はどうだったでしょうか？彼らは最大の競合相手であるVecchiaを僅差で上回り、厳密なガウス過程が実際に数百万のポイントにスケールできることを証明しました。彼らは、ゼロからのフル実行には約1週間かかるだろうと指摘していますが、これは今日の大型AIモデルのトレーニングと比較しても同等の時間です。

結論： 厳密さ vs スピード

この論文は明確な区別をしています。gp2Scaleは、最も速い手法になろうとしているのではありません。もしコンピュータのパワーが限られており、単に「十分に良い」素早い答えが必要な場合は、従来の近似法が依然として最善の選択肢です。

しかし、精度と柔軟性が譲れないものである状況において、gp2Scaleはゲームチェンジャーとなります。もしあなたが気候変動をモデリングしたり、新素材を設計したり、あるいは間違った予測が危険を招く可能性がある自律実験を行っている科学者であるなら、近似法の「霧がかかった窓」では足りません。高精細な視界が必要です。

著者らは、これらの新しい柔軟なカーネルを使用することで、ついに大規模なデータセットに対して「厳密な」バージョンのガウス過程を実行できると結論づけました。モデルをカスタマイズする能力や、不確実性の推定の精度を犠牲にする必要はありません。トレードオフは、単にそれを実行するために、より多くの計算パワーが必要になるということです。しかし、論文が示唆するように、強力なスーパーコンピュータやGPUの台頭により、そのトレードオフは私たちがようやく支払えるものになりつつあります。

要約すれば、gp2Scaleは、厳密なガウス過程の「不可能」な数学は、実は不可能ではないことを証明しました。ただ、データをよりスマートに見る方法が必要だっただけなのです。すべての点が他のすべての点と対話する必要はないという事実に気づくことで、彼らは1,000万ポイントのモンスターを、管理可能で非常に正確な未来のツールへと変えたのです。