🤖 machine learning

Lightweight Gaussian Process Inference in C++ on Metal and CUDA

本論文は、GPyTorch などの既存の Python ベースのフレームワークに対して、幅広いデータセットサイズにおいて大幅な高速化を実現するために、最適化された CPU、Metal、および CUDA バックエンドを活用する軽量で依存関係のない C++17 ライブラリである LightGP を紹介する。

原著者： Yu-Hsueh Fang

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yu-Hsueh Fang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1 週間先の天気を予測しようとしていると想像してください。膨大な量の過去のデータがあり、それを予測するために「ガウス過程（GP）」と呼ばれる「賢い電卓」を使いたいとします。この電卓は、非常に正確であることと、その答えに対する自信の度合いを示してくれることで有名です。

しかし、ここには落とし穴があります。この電卓は驚くほど重たいのです。伝統的には、これを動かすために、1 つのブレンダーを使うために、ありとあらゆる家電を備えた巨大で肥大化したソフトウェアスイート（フルキッチン）をロードする必要があります。現在の人気ツールである GPyTorch はまさにこれです。これらはギガバイト単位の容量を占め、余分なステップで処理を遅くする巨大な深層学習フレームワークの上に構築されています。

LightGP の登場です。

この論文の著者たちは、この電卓の新しい、超軽量バージョンを構築しました。フルキッチンではなく、**マルチツール（スイスアーミーナイフ）**のようなものです。これは軽量で効率的な言語（C++）で書かれており、実行するために巨大なソフトウェアスイートは必要ありません。2GB の余分な荷物をダウンロードすることなく、スマートフォン、ラップトップ、またはサーバーに収めることができます。

以下は、日常の比喩を用いて説明した LightGP の仕組みです。

1. 4 つの異なる「経路」

この論文によると、LightGP はデータの大きさによって、問題を解決する 4 つの異なる方法を提供します。

正確な経路（Cholesky 分解）： 数学の問題を、すべてのステップを完璧に書き出して解くようなものです。非常に正確ですが、数字が多すぎると（100 万ピースのパズルを解こうとするように）、非常に遅くなり、メモリを大量に消費します。
「試行錯誤」経路（共役勾配法）： パズル全体を書き出す代わりに、この方法は賢いショートカットを取ります。「これを試したら、近づいているか？」と問いかけ、調整します。まるで、地図をすべて描くのではなく、壁を触って迷路をナビゲートするようなものです。これにより、膨大なメモリを節約できます。
「サンプリング」経路（疎変分法）： 100 万枚の猫の写真を持っているが、猫の姿を学ぶために必要なのはそのうちの 200 枚だけだと想像してください。この方法は、重労働を行うためにいくつかの「代表的な」データポイントを選び、残りは無視します。
「高速転送」経路（FFT を用いた SKI）： これは、大まかな全体像を瞬時に見るために、ある種の数学的なトリック（魔法のレンズのようなもの）を使って、詳細をある程度ぼかすものです。これにより、巨大なデータセットに対して信じられないほど高速になります。

2. 競走：LightGP 対巨人たち

著者たちは、LightGP を 2 つの異なるトラック、つまりApple M4 ラップトップとNVIDIA RTX 3060 グラフィックカード上で、巨人たち（GPyTorch）と競走させました。

Apple ラップトップ上では： LightGP はマラソンランナーに対するスプリンターのようなものでした。Apple のチップには非常に高速に数学処理を行う特別な「アシスタント」（AMX と呼ばれる）が搭載されているため、LightGP はそれを直接活用しました。一方、GPyTorch は、アシスタントに助けを求めたとしても、長い Python のマネージャーやディスパッチャーの列を通過しなければなりませんでした。
- 結果： 標準的なタスクにおいて、LightGP は2.6 倍から 8.7 倍高速でした。
NVIDIA グラフィックカード上では： LightGP は小〜中規模のタスク（約 2,000 個のデータポイントまで）でも速かったです。しかし、非常に大規模なタスクでは、巨大なデータストリームをよりよく処理する組み込み機能を持つ「巨人」（GPyTorch）が追い上げ始めました。
- 結果： 小規模なジョブでは LightGP が2.3 倍から 6.7 倍高速でしたが、非常に大規模なジョブでは GPyTorch が勝利しました。

3. 「魔法」のトリック

この論文は、LightGP が使用する 2 つの特定の「魔法のトリック」を強調しています。

見えない行列： 通常、数学を行うためには、多くのメモリを占有する巨大な数字のグリッド（行列）を書き留める必要があります。LightGP には、グリッドを一度も書き留めることなく結果を計算するというトリックがあります。まるで、紙にすべてのアイテムの価格を書き留めることなく、買い物の総額を計算するようなものです。これにより、メモリが限られたコンピュータでも膨大な量のデータを処理できます。
速度向上： Apple コンピュータ上では、著者たちは、特定の重い数学タスクにおいて、「GPU」（グラフィックカード）よりも「CPU」（メインの脳）を使用する方が実際には速いことを発見しました。これは、CPU には GPU が勝てない特別なアシスタント（AMX）が搭載されていたためです。LightGP は、時間を節約するために CPU に切り替えるタイミングを自動的に知っています。

4. 結論

LightGP は、高度な統計予測を行うために巨大で重たいソフトウェアフレームワークは不要であることを証明する新しいツールです。

高速： 多くのデバイスで、人気のある代替手段よりも 2 倍から 8 倍高速に動作します。
軽量： 重たい依存関係がなく、単一のコマンド（pip install lightgp）でインストールできます。
柔軟： Apple と NVIDIA の両方のハードウェアで動作します。

著者たちは、多くの日常的なデータサイズ（10 万ポイントまで）において、この軽量ツールが、古い重たいツールの肥大化なしに、特に Apple デバイス上で正確な予測を得るための最も効率的な方法であると結論付けています。

技術概要：LightGP

問題定義

ガウス過程（GP）推論は、較正された不確実性を持つ回帰のための原理的なベイズフレームワークであるが、その計算コスト（正確な推論では $O(N^3)$ 、メモリでは $O(N^2)$ ）は歴史的に小規模データセットへの応用を制限してきた。スケーラブルな近似手法（誘導点法、共役勾配法、構造化カーネル補間など）はこれらの限界を数十万点まで拡張してきたが、GPyTorch や GPflow などの支配的な実装は、PyTorch や TensorFlow といった大規模な深層学習フレームワークに依存している。これらのフレームワークは、しばしば 2GB を超える大きな依存関係のフットプリント、操作ごとの無視できない Python ディスパッチオーバーヘッド、およびモバイルや組み込み環境への展開における限定的なサポートを課す。さらに、既存のライブラリは、フレームワークの肥大化なしに Apple Metal や NVIDIA CUDA といった特定のハードウェアアクセラレータを活用できる、依存関係のないネイティブ C++ 実装を欠いていることが多い。

手法

LightGP は、これらの制限に対処するために設計された依存関係のない C++17 ライブラリである。これは Python バインディングを提供するが、PyTorch や TensorFlow を必要としないネイティブ C++ コア上で動作する。ライブラリは 4 つのレイヤに構造化されている：

テンソルと BLAS: 行優先の float32 データを格納する Tensor クラス。行列乗算を macOS 上の AMX コプロセッサを使用した Apple Accelerate、または Linux 上の OpenBLAS にディスパッチする。コレスキー分解は LAPACK の spotrf を利用する。
カーネル: 抽象的な Kernel ベースクラスは、演算子（+、*、Scale）による合成をサポートする。具体的な実装には、RBF、Matérn、Periodic、Linear カーネルが含まれる。
GPU バックエンド:
- Metal (Apple Silicon): タイル化されたカーネル行列の構築、融合された行列フリーのカーネル - ベクトル積、タイル化されたスレッドグループメモリ GEMM を用いたブロック化コレスキー分解、および三角方程式の求解を実装する。
- CUDA (NVIDIA): cuBLAS、cuSOLVER、および行列フリー操作のためのカスタムカーネルを使用して、Metal の機能と同等のものを実現する。
- 自動選択: Backend::Auto ヒューリスティックは、問題のサイズと次元性に基づいて CPU または GPU を選択する。
推論モデル:
- GPExact: 3 つのソルバーをサポートする：正確なコレスキー分解（ $O(N^3)$ ）、確率的ランチョス対数行列式を伴う共役勾配法（CG）（行列フリー、 $O(N^2k)$ ）、および FFT による構造化カーネル補間（SKI）（ $O(N \log N)$ ）。
- GPSparse: 最遠点誘導初期化と Adam 最適化による Titsias の変分自由エネルギー（VFE）を実装する。反復フィット時に再初期化をスキップする「warm-refit」機能を含む。

このライブラリは、外部依存関係がゼロの単一の静的ライブラリとしてコンパイルされ、pip install lightgp 経由でインストール可能である。

主要な貢献

ネイティブ C++ 実装: 4 つの GP 推論パス（正確、CG、疎 VFE、SKI）の完全な実装。合成可能なカーネルを備え、Python やフレームワークの依存関係なしに展開可能。
ハードウェア最適化カーネル: Apple Silicon 向けのハンドチューニングされた Metal 計算シェーダーと、NVIDIA GPU 向けの CUDA カーネル。特に、PyTorch の Metal バックエンドではネイティブにサポートされていない機能である、 $O(N)$ メモリ推論を可能にする融合された行列フリーのカーネル - ベクトル積を導入している。
FFT 加速 SKI: Apple Accelerate の vDSP と cuFFT を使用した SKI の実装により、大規模な $O(N \log N)$ 行列 - ベクトル乗算を実現。
クロスプラットフォームベンチマーク: Apple Silicon において、CPU ベースの AMX コプロセッサ（Accelerate 経由）が、密なコレスキー分解において Metal よりも大幅に優れていることを示す体系的な評価。この知見はバックエンド選択ヒューリスティックに反映されている。
依存関係ゼロの Python バインディング: pybind11 による完全な API 公開と NumPy 相互運用性により、深層学習フレームワークの重いフットプリントなしにインストール可能。

結果

ベンチマークは、Apple M4 (Metal 3) と、Intel i7-12700 および NVIDIA RTX 3060 (CUDA 12.0) を搭載した Linux デスクトップで行われた。

GPyTorch に対するパフォーマンス:
- Apple M4 (CPU): 正確な GP 推論において LightGP は GPyTorch より2.6〜8.7 倍高速であり、疎 GP においてもテストされたすべてのスケールで約 1.5 倍高速である。この高速化は、Python と PyTorch のディスパッチオーバーヘッドを排除したことに起因する。
- Linux (CUDA): 正確な GP において、 $N=2,048$ まで LightGP は GPyTorch より2.3〜6.7 倍高速である。 $N=4,096$ では、GPyTorch は融合された autograd パイプラインによるオーバーヘッドの償却により差を縮める。疎 GP については、 $N=10,000$ で LightGP が 1.7 倍高速であるが、 $N=50,000$ では永続的なデバイステンソルとコンパイルされた勾配計算により GPyTorch が優位となる。
行列フリー操作: Apple M4 において、融合された Metal 行列フリーのカーネル - ベクトル積は、 $N=20,000$ で明示的な CPU パスに対して32 倍の高速化を達成し、16 GB メモリでは $N=30,000$ を超えると唯一の実用的な選択肢となる。Linux において、CUDA は $N=10,000$ で最大259 倍の高速化を達成する。
メモリスケーリング: 行列フリーの CG、疎 VFE、および SKI は $O(N)$ のメモリ使用量を維持する。対照的に、正確なコレスキー分解（ $O(N^2)$ ）は、Mac 上では $N \approx 42,000$ 〜45,000 で 16 GB RAM を枯渇させ、Linux 上では $N \approx 35,000$ で 12 GB VRAM を枯渇させる。
精度: CPU および GPU バックエンドからの予測は、標準データセット（Motorcycle、Mauna Loa、kin40k）において、平均と分散ともに $10^{-5}$ 以内で一致する。

意義

LightGP は、ネイティブ C++ による GP 推論が、外部依存関係ゼロでフレームワークベースのライブラリと同等かそれ以上のパフォーマンスを達成し得ることを実証している。Python と深層学習フレームワークのディスパッチオーバーヘッドを排除することで、LightGP は一貫したパフォーマンス向上を提供し、特に AMX コプロセッサを直接活用する Apple Silicon において顕著である。このライブラリは、 $O(N)$ メモリを持つ行列フリー手法と FFT 加速 SKI を通じて、 $N > 100,000$ という、従来の消費者向けハードウェアでは非現実的だった規模での GP 推論を可能にする。

本論文は、重要なハードウェアの洞察を浮き彫りにしている：Apple Silicon において、コレスキー分解のような密な線形代数タスクでは、GPU（Metal）よりも CPU（Accelerate/AMX 経由）が優れていることが多く、LightGP のヒューリスティックはこの微妙な違いを自動的に管理する。GPyTorch は、成熟した autograd と永続的なテンソルインフラストラクチャにより、CUDA 上で非常に大規模なスケール（ $N \ge 50,000$ ）では競争力があるか優位であるが、LightGP はフルの深層学習スタックの負担なしに、軽量、高性能、かつ展開可能な GP 推論というニッチを埋めるものである。