Do Co-Located AI Training Jobs Synchronize? Load-Dependent Throttling as a Coupling Mechanism for Phase-Locking Behind a Shared Power Cap

巨大な都市を想像してみてください。そこでは、思考することを学ぶために協力し合う、数千体の飢えた巨大なロボットたちが働いています。これらは普通のロボットではありません。AIトレーニング・クラスターであり、驚くほど電力を消費します。彼らが「思考」している（計算を行っている）とき、マラソンランナーが水を飲むかのように電気を飲み込みます。しかし、進捗を共有するために互いに「会話」しなければならないとき、彼らは一時停止して息をつき、電力消費を非常に少なく抑えます。これが何度も繰り返され、数秒ごとに増減するエネルギー需要のリズミカルな脈動を生み出します。

この電力網を、巨大で繊細なトランポリンだと想像してください。もしロボットが1体跳ねれば、トランポリンは少し弾みます。もし1,000体のロボットがバラバラのタイミングで跳ねれば、その跳ねは互いに打ち消し合い、トランポリンは比較的穏やかな状態を保ちます。しかし、もし奇妙な事故によって、すべてのロボットが全く同時に跳ねることに決めたらどうなるでしょうか？ トランポリンは単一のジャンプの1,000倍の力で激しく沈み込み、スプリングを壊してしまうかもしれません。これがデータセンターの運営者が懸念している大きな問題です。数千の独立したAIジョブが、偶然にリズムを同期させてしまい、管理可能な電力変動を、大規模で危険なサージ（急増）に変えてしまうのではないか？ ということです。

この論文は、まさにその問いを投げかけています。著者たちはこれらのAIジョブを、ダンサーの群衆として扱っています。通常、私たちは彼らが独自の音楽に合わせて踊っており、その動きはランダムで安全であると想定しています。しかし、著者たちはこう疑問に思いました。「部屋の中に、彼らを足並みを揃えて踊らせる隠れた指揮者がいるのではないか？」 彼らは、その指揮者は電力網そのものではなく、データセンター自身の安全システムであることを発見しました。ロボットが空腹になりすぎ、建物が許容する以上の電力を食べようとすると、建物の「パワーマネージャー」が介入して、彼らの動きを抑制します。この論文は、数学とコンピュータ・シミュレーションを用いて、もし安全チェックのタイミングがほんの少しでも遅すぎると、この安全システムが一種の「罠」として機能し、ロボットを意図せず一斉にジャンプさせてしまう可能性があることを示しています。

隠れた指揮者：なぜAIジョブは同期してしまうのか

物語は、よくある誤解から始まります。長い間、専門家たちは、もしこれらのAIジョブが同期するとしたら、それは人々が大きなドラムの音を聞いて手拍子を始めるように、電力網からの同じ「鼓動」を聞いているからだと考えてきました。しかし、この論文は、それは不可能であると論じています。AIセンター内部のコンピュータは、グリッドのリズムから完全に隔離された独自の内部クロックを持っており、グリッドの周波数は、ロボットには聞こえない遠くのドラムの音のようなものなのです。

では、グリッドが指揮者でないなら、何が指揮者なのでしょうか？ 著者たちは真犯人を突き止めました。それが**負荷依存型スロットリング（Load-Dependent Throttling）**です。

データセンターを、キッチンが一度に調理できる料理の量（電力上限）が厳格に決まっている忙しいレストランだと考えてみてください。もしシェフたち（AIジョブ）が全員、全く同時に大量のフルコースを注文しようとしたら、キッチンは限界に達します。そこでマネージャーが介入し、シェフたちにスピードを落らすよう指示します。これが「スロットリング」です。

ここでのひねりは、マネージャーは全員を一律に遅らせるわけではないということです。マネージャーは、現在「調理中」であるシェフ（コンピューティング・フェーズ）だけを遅らせます。食材を待っている最中のシェフ（コミュニケーション・フェーズ）は影響を受けません。シェフたちはそれぞれわずかに異なるスケジュールで動いているため、これが奇妙なフィードバックループを生み出します。もし一部のシェフが同時に調理を行っている場合、マネージャーは彼らを減速させます。この遅延により、彼らは調理を終えるのが遅くなり、その結果、次の調理ラウンドを他の全員と同じタイミングで開始してしまうという事態を、偶然引き起こしてしまう可能性があるのです。

「遅すぎる」安全チェックの危険性

この論文は、（火ムラサキが光を同期させる仕組みを説明する有名な理論である）クラマモデルに基づいた巧妙な数学的モデルを用いて、いつこのような現象が起こるかを解明しています。彼らは、マネージャーの反応速度こそが鍵であることを突き止めました。

• 速い反応（安全）： マネージャーが電力使用量をチェックし、シェフをほぼ瞬時（ミリ秒単位）に減速させる場合、システムは実際には「反同期（アンチ・シンクロ）」の状態になります。調理中のシェフは減速されますが、他のシェフはそのまま進みます。これにより、彼らのリズムは互いに離れていき、混沌とした安全な状態になります。総電力変動は小さく保たれ、ジョブの数 $N$ の平方根（$\sqrt{N}$）のオーダーでしか増加しません。
• 遅い反応（危険）： もしマネージャーの反応が遅すぎる場合――具体的には、遅延が1回の調理サイクルの半分（約1〜3秒）を超える場合――システムは反転します。安全チェックが「罠」となり、遅延によってシェフたちの調理ラウンドが偶然に整列してしまいます。突然、混沌とした混乱状態ではなく、彼らは皆、一斉に調理を開始するようになります。

このとき、電力サージはゆっくりと増えるのではなく、爆発的に発生します。変動が $\sqrt{N}$ （$N$ はジョブの数）の係数で増えるのではなく、$N$ の係数で増えるのです。もし1,000のジョブがあれば、電力の揺れは、単一のジョブの31倍程度ではなく、1,000倍の大きさになります。このコヒーレント（可干渉的）な揺れは、建物の電力制限やグリッドとの接続契約に衝突し、停電や機器の損傷を引き起こす可能性があります。

「高調波（ハーモニック）」の罠

この論文はさらに、巧妙な抜け穴も発見しました。たとえマネージャーがメインの調理リズムに対して十分に速く、ジョブの同期を防げたとしても、彼らはより速い「隠れたリズム」で同期してしまう可能性があります。

シェフたちが「調理、待機、調理、待機」というパターンで動いていると想像してください。もしマネージャーの反応が遅ければ、シェフたちは「調理」の部分で同期できなくても、「待機」の部分、あるいはその組み合わせにおいて、偶然に同期してしまうかもしれません。著者たちはこれを「高調波ロック（harmonic locking）」と呼んでいます。これは、歩調を合わせようとしている人々のようなものです。左足のステップは合わなくても、右足の踏み出しが完璧に一致してしまうような状態です。これは、メインのリズムが安全に見えていても、依然として大規模な電力サージを引き起こす可能性があります。論文は、AIジョブの艦隊が非常に均一（すべてが全く同じタスクを実行している）である場合、これらの罠に陥る可能性が非常に高いことを示しています。

同期を止める方法

幸いなことに、データセンターの運営者は、この問題の解決策を握っています。この問題は、安全チェックのタイミングとジョブの均一性に起因するため、解決策はソフトウェアベースであり、新しい発電所を建設したり高価なバッテリーを購入したりする必要はありません。

1. マネージャーを高速化する： 最も重要な修正は、電力管理システムをより高速にすることです。システムがミリ秒単位（調理サイクルの半分を大幅に下回る時間）で反応できれば、「反発力」が働き、ジョブは自然に分散します。論文は、現代の電気的なキャッピング（電力制限）は十分に高速で安全であるが、熱に反応する古い、あるいは遅い熱制御システムは、あまりにも鈍重で危険である可能性があると示唆しています。
2. シェフたちを多様にする： 論文は「多様性が盾になる」ことを明らかにしました。AIジョブがそれぞれ異なることを行い、異なる速度で動いている場合、それらを同期させることは非常に困難になります。同一のジョブの艦隊は最も危険であり、混在した艦隊の方が安全です。
3. 「フェーズ・スキャタリング（位相散乱）」のテクニック： 著者たちは、「フェーズ・スキャタリング」と呼ばれる新しいスケジューリング戦略を提案しています。これは、DJが異なるグループのダンサーに対して同じ曲を流しながらも、あえて開始時間をずらすようなものです。スケジューラーは、意図的にいくつかのジョブを遅らせたり、あるいは早めたりすることで、決してタイミングが重ならないようにします。これは効率（スループット）をわずかに犠牲にしますが、大規模な電力の揺れを防ぐことができます。

この論文が実際に述べていること（および述べていないこと）

この論文が何を証明したのかを明確にすることが重要です。著者たちは、実際のデータセンターに入ってこの現象を測定したわけではありません。代わりに、詳細な数学的モデルを構築し、異なる条件下で何が起こるかを調べるために、何千回ものコンピュータ・シミュレーションを実行しました。

• 彼らはメカニズムが存在することを証明しました： 負荷依存型スロットリングは、ジョブを同期させる結合力として作用し得ます。
• 彼らは、効果の符号が遅延に依存することを証明しました： 遅延が速ければ反発（安全）し、遅ければ引き寄せ（危険）が生じます。
• 彼らはシミュレーションを通じて、遅延が長すぎると、後で修正しようとしてもシステムが同期状態に「固まって」しまう（ヒステリシス）ことを示しました。
• 彼らは、これが現在すべてのデータセンターで起きていることを証明したわけではありません。 彼らは、これがオペレーターが確認すべき現実的なリスクであることを示唆しています。
• 彼らは、グリッドが確実に崩壊することを証明したわけではありません。 彼らは、これはオペレーターが回避すべき「ワーストケース」のシナリオであると述べています。

論文は、一つの挑戦的な提案で締めくくられています。もし、2つのAIジョブを取り上げ、同じ電力キャップの下に置き、その電力使用量を測定すれば、制御が高速であれば、それらは互いに「反発（アンチ・シンクロ）」し、制御が遅ければ、互いに「同期」することを示すはずです。この実験こそが、彼らの理論を現実世界で裏付ける「決定的な証拠（スモーキング・ガン）」となるのです。

要するに、この論文は、適切に調整されていなければ、電力網を守るために設計された安全システムそのものが、私たちのAIロボットたちを危険な同期の狂乱へと誘ってしまう可能性があると警告しています。しかし、解決策はコードの中にあります。チェックを高速化し、ジョブを混ぜ合わせ、リズムを混沌とした状態に保つことなのです。