Meganeura: Portable GPU Training and Inference through Vulkan and Metal
Meganeuraは、VulkanおよびMetalを利用したコンパクトなネイティブコンパイラが、多様なコンシューマ向けGPUにおいて学習と推論の両フェーズを効果的に横断し、PyTorchと比較して競争力のあるパフォーマンスと大幅に高速なコンパイル時間を達成しつつ、カーネルの網羅性とスケジューリングが主要な残存ボトルネックであることを特定していることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。あなたは、猫を認識したり、車を運転したり、物語を書いたりすることを学習する、超スマートなロボットの脳を持っています。通常、この脳の仕組みには、大きな、乱雑な「隔たり」が存在します。まず、巨大なデータセンターへ行き、大企業しか持っていない強力なツールを使って学習（トレーニング）を行います。その後、あなたのスマートフォンや玩具で実際に動かすためには、それを縮小し、新しい言語に翻訳し、それでも正しく動作することを祈らなければなりません。それはまるで、プロの厨房で巨大なケーキを焼き、その後、そのレシピをピクニック用の小さなランチボックスに詰め込み、ケーキが崩れないことを祈るようなものです。
この論文は、コンピュータサイエンスの世界、具体的には「機械学習」（コンピュータにデータから学習させること）と「グラフィックス・プログラミング」（コンピュータチップに絵を描かせる方法を伝えること）の領域に位置しています。ここでの鍵となるアイデアは、あなたのビデオゲームやスマートフォンの画面を動かしている同じコンピュータチップが、非常に強力な数学計算能力を持っているという点です。この論文はシンプルな問いを投げかけています。この面倒な「翻訳ステップ」をスキップできるのではないか？ つまり、巨大なデータセンターや、その間にあるPythonというコンピュータ言語を介さずに、ロボットの脳を「学習」させ、そのままデバイス上で「実行」するための単一の「レシピ」を使うことはできるのではないか？ もしこれが実現すれば、データをサーバーに送り返すことなく、あなたのデバイスがその場ですぐに新しい技術を習得できるようになるはずです。
研究者たちは、この検証のためにMeganeuraと呼ばれる新しいツールを構築しました。Meganeuraを、ユニバーサルな翻訳機であり、かつ熟練したシェフを兼ね備えた存在だと考えてください。通常の重厚なツール（AIの学習における標準的な「厨房」であるPyTorchなど）を使う代わりに、Meganeuraは、ビデオゲームエンジンがすでに話している標準的な言語であるVulkanとMetalを使用します。これらは、グラフィックスカードが3Dの世界を描画するために使用する言語です。チームは、学習（トレーニング）と実行（推論）の両方を、現代的なほぼすべてのコンピュータチップ上で実行できる、たった一つのプログラムを書くことができるかどうかを確かめたいと考えました。
彼らはMeganeuraを、強力なNVIDIAおよびAMDのグラフィックスカード、ノートパソコンに内蔵されたAMDチップ、Intelグラフィックスチップ、そしてAppleのシリコンという、5種類の異なるデバイスに対してテストしました。そして、画像の認識から音声の理解まで、5つの異なるAIタスクを実行しました。
良いニュース：
Meganeuraは機能します！ 多くの場合、それは重厚な標準ツールと同じくらい速く、時にはそれよりも速い結果を出しました。AMDデバイスにおいては、競合よりも速いことがよくありました。例えば、AMDのグラフィックスカードにおいて、Meganeuraはあるモデルの学習を標準ツールより最大1.3倍速く行いました。AppleのM3チップにおいても、競争力のある結果を出しましたが、時として少し遅くなることもありました。最も素晴らしい点は、Meganeuraが非常に小さいことです。プログラム全体はわずか13 MiB（高品質な写真数枚分程度のサイズ）であり、標準的なツールはインストールに数ギガバイトのソフトウェアを必要とします。また、新しいタスクのコンパイルも、数分ではなく、わずか数秒（0.1〜2.4秒）で行えます。
「状況による」ニュース：
あらゆる場面で完璧な勝利というわけではありません。NVIDIAカードやAppleチップでは、特にディープラーニングモデルの学習のような複雑なタスクにおいて、Meganeuraは時として遅くなることがありました。研究者たちは、速度の差はグラフィックス言語（Vulkan/Metal）が弱いせいではなく、Meganeuraの「厨房」に、大企業が長年作り上げてきたような個別の専門ツール（カーネル）がすべて揃っていないためであることを見出しました。例えば、NVIDIAカードにおいて、最も遅かった部分は畳み込み（画像処理の一種）のための特定の数学演算であり、一部の加速モードにおいてMeganeuraは約4.6倍遅くなっていました。
「実世界」でのテスト：
これが単なるラボの中のトリックではないことを証明するために、彼らはVRヘッドセット（Meta Quest 3）向けのDinoVisionという実際のアプリを構築しました。彼らはコンピュータ上でデコーダーを学習させて「脳」を保存し、それをMeganeuraを使用してヘッドセット上で直接実行しました。これは完璧に動作し、ゲームのレンダリングと同じグラフィックスキューを共有していました。これは、サーバーを介することなく、同じデバイス上で学習と展開が可能であることを証明しました。
注意点：
研究者たちは非常に慎重でした。彼らは、結果が標準的なツールと完全に一致しない2つの特定のケースを発見しました。彼らは、これらの特定のケースにおいては標準ツール側にバグがある可能性が高いと考えていますが、第三者の意見なしには100％確信することはできませんでした。また、Meganeuraは大規模な分散学習を行うための巨大なデータセンター用ツールに取って代わるためのものではなく、すべてを一つのコンパクトなパッケージにまとめたい、より小規模でポータブルなアプリケーション向けに設計されていることも指摘しています。
結論：
Meganeuraは、あなたのデバイスでAIを学習・実行するために、必ずしも大規模で特化したデータセンターを必要としないことを示しています。ゲームを動かしているグラフィックス言語を使用することで、あらゆる現代的なチップ上で学習と実行ができる、小さく持ち運び可能なシステムを作ることができます。現時点ではすべてのシナリオで最速というわけではありませんが、「学習して展開する（train-and-deploy）」スタックが可能であることを証明しており、デバイスがポケットの中で直接学び、適応していくための扉を開いています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。