A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

人工知能の世界において、最も目に見える突破口はしばしばソフトウェアからもたらされますが、それを動かすエンジンはハードウェアです。コンピュータに写真の中の猫を認識させたり、文章を別の言語に翻訳させたりするためには、エンジニアは複雑な数学的モデルを訓練しなければなりません。この訓練プロセスは非常に負荷が高く、コンピュータが極めて短い時間で数十億回の計算を行う必要があります。このワークロードを処理するために、研究者たちはグラフィックス・プロセッシング・ユニット（GPU）と呼ばれる専用のチップに頼っています。これは、多くのタスクを同時に処理するように設計されています。しかし、単にこれらの強力なチップを追加すれば、必ずしも作業が速くなるわけではありません。大きな作業チームであっても、オフィスが狭すぎたり道具の共有が不適切だったりするとプロジェクトが停滞してしまうのと同様に、GPUを追加することで、チップが実際に作業するよりもデータの到着を待っている時間の方が長くなってしまうというボトルネックが発生することがあります。科学者やエンジニアにとっての課題は、スピードとシステムのコストおよび複雑さのバランスを取りながら、ハードウェアを効率的に使用できる「スイートスポット」を見つけ出すことです。

バレアレス諸島大学の研究チームは、このパズルを解くための新しい方法を開発しました。彼らは、ResNet-50として知られる普及した画像認識モデルの訓練に使用される様々なコンピュータ構成を精査する方法を作り出しました。単にどのシステムが最も早く作業を完了したかを見るのではなく、彼らはどのシステムが最も効率的であるかを理解したいと考えました。彼らは、これらのマシンの性能を一つの風景のように扱い、チップの数が増えるにつれて、訓練時間、速度、およびリソースの使用量がどのように変化するかというパターンを探りました。類似したシステムをグループ化して比較することで、彼らは、最も強力なセットアップが必ずしも最も多くのチップを備えたものとは限らないことを発見しました。

研究者たちは、まずMLPerf Trainingベンチマークと呼ばれる、広く使用されている業界標準からデータを収集することから始めました。このデータセットには、多くの組織が同じ画像認識タスクに対して自社のハードウェアをテストした結果が含まれています。チームは、使用されているグラフィックス・チップのタイプ、設置数、訓練にかかった時間、およびシステムが1秒間に処理できる画像数など、各システムの具体的な詳細を調査しました。次に、コンピュータ技術を用いて、どの詳細が最も重要であるかを測定しました。利用可能なデータを分析することで、彼らはシステムのパフォーマンスと効率性に大きな影響を与える一連の変数、特に測定可能なスケーラビリティの主要な要因を特定しました。その結果、チップの数と得られる速度の関係は直線ではないことが分かりました。理想的な世界では、チップの数を2倍にすれば、訓練時間は半分になります。現実には、システムが大きくなるにつれて、新しいチップから得られる追加の速度向上が減少していく様子を研究者たちは観察しました。

この複雑なデータを理解するために、研究者たちはパフォーマンスに基づき、異なるコンピュータ構成を5つの明確なカテゴリーに分類しました。その中で、彼らは一つの特定のグループが最も効果的であることを発見しました。これらのシステムは、最新世代のグラフィックス・チップを通常4個から16個という適度な数使用し、強力な中央演算処理装置（CPU）と組み合わせていました。これらの構成は、驚くべきバランスを実現していました。つまり、モデルを非常に迅速に訓練しながら、リソースを高い効率で活用していたのです。対照的に、数千個のユニットを使用するような最大規模のチップを備えたシステムは、作業を絶対的に最短の時間で完了させましたが、効率性ははるかに低くなっていました。これらの大規模なセットアップでは、チップがデータや他のチップを待っているために、チップが最大限に働けておらず、高価なハードウェアの多くがアイドル状態になっていました。

この研究は、人工知能モデルの訓練における最善のアプローチは、単に問題を解決するためにハードウェアを大量に投入することではないことを示唆しています。むしろ、最も効果的なシステムは、異なるコンポーネントが調和して機能するシステムです。研究者たちは、最適なセットアップには、チップ間の高速接続と、遅延なくデータを供給するための強力なプロセッサが使用されていることを見出しました。これにより、グラフィックス・チップが常に稼働し、生産的であり続けることが可能になります。この知見は、小さく適切に調整されたシステムが、しばしば巨大でバランスの取れたシステムを凌駕することを示しています。これらのシステムを構築する組織にとって、これは、可能な限り最大のハードウェア・クラスターを購入することよりも、厳選された数のトップティアのチップに投資し、それらを適切に接続することを確実にすることが、より賢明な選択である可能性があることを意味しています。この研究は、効率性とパフォーマンスは規模の大きさではなく、バランスを通じてこそ最適に達成されることを示しており、適切なツールを選択するための明確なガイドを提供しています。