Human-Centered Cloud Automated Provisioning with Deep Reinforcement Learning for Adaptive Computing

インターネットを、何百万もの人々が絶えず何かを求めている（動画のストリーミング、メッセージの送信、複雑なゲームの実行など）巨大で目に見えない都市だと想像してみてください。この都市を機能させ続けるためには、「クラウド」サーバー、つまりこれらを実現するためのパワーを提供するコンピュータの巨大な倉庫が必要です。しかし、ここでの難しい点は、この都市が決して静かではないということです。ある時は穏やかな火曜日かもしれませんが、またある時は全員が一斉にログインする大規模なコンサートのような状態になります。もし都市の管理者（クラウドシステム）が遅すぎたり、融通が利かなかったりすると、明かりがちらつき、音楽が途切れ、サービスが崩壊してしまいます。これが「クラウド・リソース・プロビジョニング」の世界です。これは、いつ、どのタスクに対してどれだけのコンピュータ・パワーを与えるかを決定する技術です。目標は、繊細なバランス調整にあります。サーバーを動かすための費用をできる限り抑えたい一方で、ユーザーに対してアプリが絶対にクラッシュしないという約束（サービス・レベル合意、またはSLAと呼ばれます）を守らなければなりません。パワーを与えすぎると大金を無駄にすることになり、少なすぎるとアプリがクラッシュしてしまいます。

長い間、クラウド管理者は、「次のタスクを次に空いているサーバーに割り当てる」あるいは「サーバーの負荷が80%未満の場合のみパワーを追加する」といった、単純なルールベースの手法を用いてきました。しかし、これらの古い手法は、絶え間なく渋滞が発生する都市で手動の地図を使っているようなものであり、群衆が突然押し寄せたときに、それに応答するほど速くはありません。ここで「深層強化学習（DRL）」が登場します。DRLを、試行錯誤を通じて学習する、非常にスマートなビデオゲームをプレイするAIだと考えてください。硬直したルールブックに従う代わりに、DRBLは起きていることを観察し、失敗から学び、自律的にサーバーを管理する最善の方法を見つけ出し、混沌とした状況にリアルタイムで適応していきます。

この研究において、研究者のカヴィタ・シュリヴァスタヴァとドクター・マニシャ・アガルワルは、このスマートなAIのアイデアに対し、従来の硬直的なルールをテストすることにしました。彼女たちは単に推測したのではなく、Google自身のコンピュータ・クラスターからの実際のデータを使用して、一連のシミュレーションを実行しました。彼女たちはクラウドを忙しいレストランの厨房に見立て、コンピュータ・タスクという名の「注文」を処理する4つの異なる方法をテストしました。

まず、古くからの手法を試しました。一つは「ラウンドロビン」で、これは、誰がどれほどお腹を空かせているかや、注文の大きさに関わらず、ウェイターが厳格な円を描くように皿を配るようなものです。もう一つは「閾値ベース（スレッショルド・ベース）」で、これは、厨房の負荷が80%未満である場合にのみ、ウェイターがテーブルに料理を出す仕組みです。また、「グリーディ・パッキング（強欲な詰め込み）」も試しました。これは、非常に効率的なシェフが、利用可能な最小のオーブンの中に、できるだけ多くの小さな注文を詰め込もうとするようなものです。最後に、最小限のオーブンを使用することでコストを節約しようとする「コスト意識型」の手法についても検討しました。

結果は、良いニュースと悪いニュースが混在していました。ラウンドロビン方式は、サーバーを使いすぎており、あまりにも無駄が多くありました。閾値ベースとグリーディ方式は、スペースを節約することには長けていましたが、重大な欠陥がありました。それは、事態が深刻になった際に反応するのが遅すぎることでした。ある特定のテストでは、厳格なコスト制限下で動作する静的なシステムが、総額298.65ルピーにまで請求額を抑えることに成功しましたが、その代償として、あまりにも多くのタスクを少なすぎるサーバーに詰め込もうとしたため、ユーザーとの約束を3,297回も破ってしまいました。

次に、研究者たちは、顧客が一斉に注文を出すような、突然の「スパイク（急増）」をシミュレートしました。古い手法はつまずきました。それらはリアクティブ（反応的）であり、つまり、システムがすでに過負荷になった「後」にサーバーを追加する仕組みだったのです。これによりラグが生じ、約束の不履行（SLA違反）とサーバーへの負荷増大を招きました。例えば、特定のスパイク・シミュレーション・テストでは、通常時の約束の不履行数が5,473回であったのに対し、ラッシュ時には5,507回に跳ね上がり、システムが追いついていないことを示しました。

この論文は、解決策は単にこれらの古いルールを微調整することではなく、深層強化学習のアプローチへと切り替えることであると示唆しています。研究者たちは、クラウド管理を、AIエージェントがコストとパフォーマンスをダイナミックにバランスさせることを学ぶ「逐次的な意思決定」のゲームとして捉えるべきだと主張しています。この論文自体では最終的なAIシステムを構築してはいませんが、彼女たちはこれらの実験を通じて、従来の静的な手法が根本的に限界があることを証明するためにこれらを用いました。彼女たちは、現代のコンピューティングが持つ予測不能で人間中心の性質に対処するためには、単なる静的なチェックリストに従うのではなく、学習し、予測し、リアルタイムで調整できる適応型のシステムが必要であることを示したのです。研究は、古い手法にも役割はあるものの、クラウド管理の未来は、コストを抑えつつ都市の明かりを灯し続けることができる、これらのようなインテリジェントな学習型システムにあると結論付けています。