MLCC: A Congestion Control Technique to Accelerate ML Training
本論文は、ネットワーク伝送レートを計算期間に合わせることでフローのインターリービングを実現し、それによって混雑を大幅に軽減してジョブ完了時間を改善する、共有GPUクラスターにおけるDNN学習を加速させる完全分散型輻輳制御技術であるMLCCを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
巨大でハイテクなキッチンを想像してみてください。そこでは、数十人のシェフが同時に複雑な料理を作ろうとしています。このキッチンでは、「材料」はデータであり、「調理」は強力なコンピュータ（GPUと呼ばれるもの）が行う実際の数学的な計算です。そして、「材料の受け渡し」はコンピュータ間で移動するネットワークトラフィックです。長年、このキッチンのルールは単純で公平なものでした。もし2人のシェフがカウンター越しにボウルを渡す必要があるなら、彼らは平等に交代で行うというルールです。しかし、ここには落とし穴があります。料理は単にボウルを渡すことではなく、「タイミング」の問題なのです。あるシェフは野菜を切っている（計算している）こともあれば、配送を待っている（通信している）こともあります。もし全員が全く同じ瞬間にボウルを渡そうとすれば、カウンターは詰まり、ボウルは衝突し、全員が待機することになります。これが、巨大なAIモデルが構築されている機械学習（ML）トレーニングの世界です。問題は、多くのAIジョブが同時に実行されると、しばしば交通渋滞に陥り、高価なコンピュータがデータの到着を待つ間、アイドル状態（何もしていない状態）になってしまうことです。目標は、これらのジョブを混沌とした乱闘ではなく、よく練習されたダンスのように調和して働かせることです。
ここで、MLCCという、これらAIキッチンのためのスマートな交通整理員として機能する賢い新技術が登場します。全員に平等に順番を待たせる代わりに、MLCCはデータフローが互いに「滑るように（スライドして）」通り過ぎる方法を教えます。これは、トラック上のランナーのグループを想像してみてください。従来の方法では、もし2人のランナーが並走していれば、衝突を避けるために両者が減速します。MLCCはルールを変えます。もし一人のランナーがちょうどラップの終盤（データの送信完了直前）に差し掛かっているなら、そのランナーが先頭を切って駆け抜けるためのわずかなブーストを与え、一方で走り始めたばかりのもう一人のランナーには、少し待つように優しく促します。これにより、一方が「調理（計算）」している間に、もう一方が「配送（通信）」するというリズムが生まれ、決して衝突することがありません。この論文は、コンピュータ同士が通信する方法の既存のルール（混雑制御）を、わずか数行のコードで調整するだけで、これらのAIジョブが自律的にこのリズムを学習できることを示しています。テストでは、このシンプルな手法によって、最も遅いケースではトレーニングが最大2.7倍速くなり、平均では1.9倍速くなり、混沌とした交通渋滞をスムーズに流れる高速道路へと変貌させました。
問題点：巨大なAI交通渋滞
なぜMLCCがこれほど重要なのかを理解するために、まずAIトレーニングがどのように行われるかを見る必要があります。コンピュータが学習するとき、それは一つのサイクルを繰り返します。数字を処理し（計算）、次に学んだことをチームメイトと共有する必要があり（通信）、そしてまた数字を処理する……といった具合です。これは何千回も繰り返されます。共有データセンターでは、こうした多くのトレーニングジョブが同時に実行されています。
ネットワークトラフィックを扱う従来の方法は、「公平性」のために設計されていました。もしジョブAとジョブBの両方がデータを送りたい場合、ネットワークは帯域幅を50/50に分割します。しかし、これはAIにとっては最悪です。AIジョブには厳格なリズムがあるため、帯域幅を分割してしまうと、彼らが全く同時にデータを送ろうとしてしまうことがよくあるからです。それは、狭いドアを同時に通り抜けようとする二人の人のようなものです。彼らはぶつかり合い、荷物を落とし、後退しなければなりません。これが「混雑（コンジェスチョン）」を引き起こし、データパケットがドロップされたり遅延したりすることで、高価なコンピュータがデータの到着を待つ間、アイドル状態になってしまうのです。
旧来の解決策：なぜそれらは完全には機能しなかったのか
MLCCが登場する前、研究者たちは主に2つの修正策を試みました。
- 圧縮（Compression）： 送信する必要のあるデータ量を減らすために、データを小さくすることです。これは効果がありますが、タイミングの問題は解決しません。
- 中央集権型スケジューラ（Centralized Schedulers）： すべてのシェフを監視し、いつ動くべきかを正確に指示する超知能的なマネージャーを想像してください。これは理論上はうまく機能しますが、実際には遅すぎて複雑すぎます。もし一人のシェフが予想より少し遅れた（「ストラグララー／遅延者」となった）場合、計画全体が崩壊し、マネージャーはすべてを再計算しなければなりません。これは、演奏者がテンポを変え続けるオーケストラを指揮しようとしているようなものです。指揮者はついていくことができません。
MLCCによる解決策：「滑る」ダンス
MLCCは異なるアプローチを取ります。中央のマネージャーを用意する代わりに、トラフィック自体に少しの「常識」を与えます。具体的には、コンピュータがデータの送信速度を決定するために使用する標準的なルールを修正します。
その秘訣は、MLCCはネットワークを、スマートなやり方で「不公平」にすることです。
一車線の道路を走る車Aと車Bを想像してください。
- 従来の方法： 両方の車が同じ速度で走行します。もし近づくと、両方が減速します。
- MLCCの方法： システムは車を観察します。もし車Aが現在の「ラップ（データ送信）」のゴールに到達しようとしているなら、MLCCは車Aが素早く完了できるように小さなブーストを与えます。同時に、車Bに対しては、少しスピードを落とすよう優しく伝えます。
なぜこれが役立つのでしょうか？ 車Aがデータの転送を終えると、すぐに「調理（計算）」に戻り、道路を使用しなくなるからです。速度を落とされた車Bは、その後、道路を独占して自分のラップを完了できます。車Bが完了する頃には、車Aは次のラップを開始する準備ができているのです。彼らは自然に「インターリーブ（交互に配置）」された行程を実現しています。一方が運転している間に、もう一方が調理しているのです。
これは固定されたスケジュールではありません。ダイナミックなダンスです。もし一つのジョブが遅れた（ストラグララーが発生した）としても、システムは自動的に速度を再調整して、再び同期を取ります。それは、もしあなたが躓いたとしても、リズムを崩さないようにステップを調整してくれるダンスパートナーのようなものです。
実践における仕組み
研究者たちは、新しいハードウェアを構築したり、巨大な中央コンピュータを設置したりする必要はありませんでした。彼らは、データフローを制御するソフトウェア（混雑制御アルゴリズム）を、わずかな追加コード――一部のシステムでは60行未満――で更新しただけです。
彼らは、それぞれ強力なNVIDIA A100 GPUを搭載した12台のサーバーを用いた実世界のセットアップでこれをテストしました。そして、Llama2、GPT-2、BERTといった人気のAIモデルを実行しました。
- 結果： ジョブはすぐにリズムを掴みました。約30回のトレーニングイテレーション（これはジョブ全体の時間のほんの一部に過ぎません）以内に、ジョブはスムーズなインターリーブ・パターンに落ち着きました。
- スピードアップ： トレーニングステップを完了するまでの平均時間は大幅に減少しました。最も遅いワーストケース（99パーセンタイル）では、トレーニング時間は最大2.7倍短縮されました。平均では1.9倍高速化しました。
- エラーの減少： トラフィックがスムーズに流れたため、ドロップされるデータパケットも大幅に減少しました。あるテストでは、エラーの数は29倍近く減少しました。
異なるジョブの場合はどうなるのか？
「もしジョブのサイズが違ったら？ 片方が巨大なモデルで、もう片方が極めて小さい場合は？」と疑問に思うかもしれません。論文によれば、MLCCはこれにも対応しています。たとえジョブが完璧に一致していなくても（現実には滅多に一致しませんが）、この「スライディング」効果は依然として機能します。システムは、完璧に同期していなくても、互いに衝突を回避できる「部分的インターリーブ」の状態を見つけ出します。
彼らはまた、288個のGPUを用いた大規模なシミュレーションでもテストを行いました。ネットワークが非常に混雑している（オーバーサブスクライブされている）状況下でも、MLCCはトラフィックを流し続け、標準的な手法と比較してスループットを1.35倍向上させました。
結論
MLCCは、最高の解決策とは、より大きく複雑な機械を作ることではなく、既存の機械がいかに協力し合えるかを教えることである、ということを思い出させてくれます。AIジョブがスペースを奪い合うのではなく、時間の中で互いに「滑るように」通り過ぎることを許容することで、AIトレーニングをより速く、より効率的にすることができます。それは、混沌とした交通渋滞を、巧みに振り付けされたダンスへと変え、スマートなタイミングが大きな違いを生むことを証明しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。