Semperf: An LLM-assisted Performance Diagnosis for Extreme-Scale Parallel Programs

数千もの小さな働き手たちが、それぞれ巨大なパズルのピースを持ち寄り、一つの壮大な謎を解こうとしている世界を想像してみてください。これはスーパーコンピュータの仕組みと同じです。スーパーコンピュータは、天気予報や核爆発のシミュレーションといった巨大で複雑な問題を、数万ものプロセッサ（「ランク」と呼ばれます）に分割して処理します。目標は、全員が同時に作業を終え、全体像が一瞬にして完成することです。しかし、時として問題が発生します。ある働き手が重い作業で行き詰まってしまい、他の働き手が待ちぼうけを食らったり、あるいは数人が通信の迷路の中で迷子になったりすることがあります。これは「パフォーマンス・ボトルネック」と呼ばれます。

数十年にわたり、これらのボトルネックを解決することは、街一つ分ほどの大きさがある干し草の山の中から、懐中電灯一つで一本の針を探し出すようなものでした。専門家は、なぜコンピュータが遅延しているのかを推測するために、膨大な生データの山を凝視し、数字の中に隠された微かな手がかりを探さなければなりません。それは遅く、消耗を伴い、ごく限られた人々しか持ち得ない高度な専門知識を必要とする作業でした。今、もし、その干し草の山すべてを、瞬時にパターンを見つけ出し、どの働き手が詰まっているのかを特定し、その理由を平易な言葉で説明できる、非常に賢く好奇心旺盛な探偵に手渡せるとしたらどうでしょうか。それが、大規模言語モデル（LLM）と呼ばれる人工知能を利用して、その探偵の役割を果たす新しいツール、「Semperf」が約束する未来です。

探偵の道具箱：Semperf

この論文は、極限規模の並列プログラムにおけるパフォーマンス問題を診断するために設計された新しいツールキット、Semperfを紹介しています。研究者のLiqiang Cao、Xu Liu、Xiaowen Xuは、厄介な問題に直面しました。LLMは推論や説明には長けていますが、10万個のプロセッサで動作するスーパーコンピュータが発生させる膨大なデータ量を扱うことはできません。もし、その生のデータをすべてAIに直接流し込もうとすれば、それはまるで消防ホースから出る大量の水をそのまま飲み込もうとするようなもので、AIは情報に溺れてしまいます。

この問題を解決するために、Semperfは巧妙なフィルター兼翻訳機として機能します。データの消防ホースをそのままAIに浴びせるのではなく、まず混沌とした情報を整理して、扱いやすい構造へと整えます。彼らはこれを**「ランク・プロファイル行列（rank-profile matrix）」**と呼んでいます。これは、数千の働き手（ランク）を各行とし、彼らが行った特定のタスクや関数を各列とした、巨大なスプレッドシートのようなものです。各セルの中の数値は、各働き手がそれぞれのタスクに費やした時間を示しています。

この巨大なスプレッドシートが構築されると、Semperfはクラスタリングと呼ばれる数学的手法を用いて、似た性質を持つ働き手をグループ化します。これは、生徒の名前ではなく、テスト中の行動に基づいてクラスメートを分類するようなものです。アルゴリズムは、例えば「2,760人の生徒は全員、一定のペースで通常通り作業を進めている（グループA）」一方で、「わずか120人の小さなグループは、別の問題に対して猛烈に書き込みを行っている（グループB）」といった状況を見つけ出します。これらのグループを特定することで、Semperfはすべての働き手を調べる必要はなく、各グループから一人の「代表者」を選び出し、その物語を語らせるだけで済むのです。

働くAI探偵

これらの代表的なグループが特定されると、SemperfはAI探偵（この場合はLLMであるDeepSeek-V4）のために、簡潔な「通知表」を作成します。この通知表には、各グループのパフォーマンス・パターンが含まれており、AIに対して「これらの手がかりに基づき、何が減速の原因となっているか？」という問いを投げかけます。

AIは単に推測するのではなく、証拠に基づいて自身の信念を更新していく手法であるベイズ推論を用います。AIはデータを見て、「なるほど、小さなグループは時間の36%を幾何学計算に費やしている一方で、大きなグループは24%の時間をスピンロック（一種のデジタルな待合室）での待機に費やしている。これは、小さなグループが重い作業を一身に引き受けており、その結果、大きなグループを待機状態にさせていることを示唆している」と結論付けます。

研究者たちは、このシステムを3つの異なるシナリオでテストしました。

1. JEuler3D.m: 2,880個のプロセッサで動作する複雑な流体力学シミュレーション。Semperfは、少数のランクが作業を直列化（並列ではなく一つずつ実行）しており、それがシステムの残りの部分を枯渇させていることを正しく特定しました。
2. BT ベンチマーク: 81個のプロセッサで動作する、バランスの取れたテストケース。ここでは、AIは**「重大なボトルネックは存在しない」**と正しく報告しました。これは、問題がない場所に無理やり問題を作り出すことがないという証明です。
3. JUPITER: 102,400個のプロセッサで動作する大規模シミュレーション。これが「極限規模」のテストです。Semperfは10万件以上のファイルを処理し、それらを256個の小さなグループと102,144個の巨大なグループへとクラスタリングし、小さなグループが過負荷となり、システム全体を停止させている深刻な通信ボトルネックを診断しました。

この論文が否定したもの、および証明したもの

著者たちは、自分たちの手法が本当に必要なものであるかどうかを検証するために、慎重にテストを行いました。彼らは、機械の部品を取り除いて、それでも機能するかどうかを確認する実験である「アブレーション研究（切除研究）」を実施しました。

第一に、「本当にデータをクラスタリングする必要があるのか？ ランダムにプロセッサを選べばよいのではないか？」という問いです。彼らは、プロセッサの1%または2%をランダムに抽出したデータをAIに投入してみました。その結果、AIは時として正しい答えを導き出せるものの、確信が持てず、より多くのデータ（より大きな「プロンプト」）を必要としました。このことから、論文は、巨大なシステムに対してスケーラブルで信頼性の高い診断を行うためには、クラスタリングが不可欠であることを示唆しています。

第二に、「本当にAIが必要なのか？ 単純な数学的ルールを使えばよいのではないか？」という問いです。彼らは、平均待ち時間を計算するだけのルールベースのシステムとSemperfを比較しました。ルールベースのシステムは、一部の働き手が待機していることは認識できましたが、「なぜ」待っているのかを説明することはできませんでした。それは、小さなグループが行っている幾何学計算が、他のグループを待機させているという深い相関関係を見落としていました。このことから、論文は、構造化された特徴量だけでは不十分であることを実証しました。データの間の「関係性」について推論するLLMの能力があって初めて、人間が理解できる説明を生成できるのです。

結論

論文は、Semperfがパフォーマンス問題を診断するためのスケーラブルかつ解釈可能な方法であると結論付けています。Semperfは、構造化されたデータ削減とAIによる推論を組み合わせることで、最大102,400プロセスのアプリケーションを扱うことに成功しました。著者らは、このアプローチが、生の圧倒的なデータと人間の理解との間の溝を埋めるものであると考えています。しかし、彼らは限界についても正直に述べています。彼らはあらゆる可能性のあるAIモデルをテストしたわけではなく、パフォーマンス診断とは、人間とAIが共に協力して進めていく反復的なプロセスであることを認めています。彼らは、パフォーマンス分析を永遠に「解決」したと主張しているのではなく、専門家が干し草の山から針を見つけるのをこれまでよりも遥かに速く助けることができる、強力な新しいアシスタントを構築したのだと述べています。

要するに、Semperfは混乱した数字の山を、明確で実行可能なストーリーへと変え、たとえ都市の人口を超えるほどのプロセッサを扱っていたとしても、スーパーコンピュータがよりスムーズに、より速く動作することを助けるのです。