Optimas: An Intelligent Analytics-Informed Generative AI Framework for Performance Optimization

以下は、論文「Optimas: An Intelligent Analytics-Informed Generative AI Framework for Performance Optimization」の詳細な技術的サマリーです。

1. 問題定義

高性能計算（HPC）のパフォーマンス最適化は、現在、深いアーキテクチャの専門知識を必要とする手動かつ時間集約的なプロセスです。既存のツール（プロファイラ、分析モデル）は、パフォーマンスのボトルネック（例：メモリスタール、低いオーバークロック）を特定することはできますが、実行可能なコード変更の生成までは行いません。

• ギャップ: 大規模言語モデル（LLM）はコード生成において有望ですが、ソースコードのみを提供された場合、パフォーマンス最適化においては困難に直面します。動的なパフォーマンスコンテキスト（例：スタール動作、ワープオーバークロック、メモリスループット）がない場合、LLM は構文的には有効だが、パフォーマンスに中立か悪影響を与えるコードを生成します。
• 課題: 生々しく数ギガバイトにも及ぶパフォーマンステレメトリと、LLM の限られたコンテキストウィンドウの間のギャップを埋めつつ、生成されたコードが意味的に正しく、特定されたボトルネックを標的としていることを保証することです。

2. 手法：Optimas フレームワーク

Optimas は、マルチエージェントワークフローに基づいて構築された、モジュール式で完全自動化されたエンドツーエンドの生成 AI フレームワークです。これは、パフォーマンス最適化をデータ駆動型の推論問題として扱い、複雑なランタイムプロファイルを検証済みのコード変換に変換します。

コアワークフローの構成要素:

1. データ抽出と洞察生成:

   • カーネル選択: LLM のコンテキスト制限に収まるよう、ランタイムの 80% 以上を占めるトップ 2〜3 のパフォーマンスクリティカルなカーネルを自動的に特定します。
   • ルーフライン分析: 演算強度とリソース利用率の比率をハードウェアの限界に対して計算し、カーネルを計算束縛型かメモリ束縛型かとして分類します。
   • PC（プログラムカウンタ）サンプリング: ストールを特定のソース行と命令タイプ（例：stall_membar、stall_dependency）に局所化します。Optimas は生トレースを簡潔な要約に集約し、支配的なストール（例：ストールサイクルの 30% 以上を寄与するもの）のみを保持することで、データ量を約 99.9% 削減します。
   • ハードウェアイベント相関: 数千の利用可能なメトリクスから最も情報量の多いハードウェアカウンタを選択するために、アンサンブル直交マッチング追跡に基づくランダム化貪欲アルゴリズムを使用し、それらを自然言語の説明にマッピングします。

2. プロンプト構築:

   • アノテーション付きカーネルコードと構造化された診断サマリー（ルーフライン、PC サンプリング、ハードウェアカウンタ）を組み合わせます。
   • ガードレール: プロンプトは、関連するコード領域への編集を明示的に制限し、署名変更を禁止し、モデルがすべての最適化に対して特定の診断証拠を引用することを要求します。
   • バックエンド: 商用 API（GPT-5、Gemini）とローカルモデル（Llama 3.1）をサポートします。

3. 証拠整合推論（EAR）:

   • 生成されたコードをコンパイルし、実行し、参照出力に対してビット単位の正確性を検証する評価エージェントを備えたクローズドループシステムです。
   • フィードバックループ: コンパイルに失敗した場合、エージェントはエラーログを使用して最大 3 回まで再試行します。持続的な失敗は手動レビューのためにフラグ付けされます。

新規メトリクス:

本論文は、LLM の推論の質を評価するための**証拠整合推論（EAR）**メトリクスを導入しています:

• 証拠カバレッジ: モデルが正当化において診断の手がかりを明示的に参照しているかどうかを測定します。
• 局所化合意: コード編集がプロファイリングによってホットスポットとして特定された特定の行で行われたかどうかを評価します。
• 方向的一貫性: パフォーマンスの変化（例：ストールカウンタの減少）が、診断によって示唆される方向と一致しているかを確認します。

3. 主要な貢献

1. マルチモーダルデータマイニングパイプライン: 複雑な HPC ログ（ルーフライン、PC サンプリング、ハードウェアカウンタ）を LLM 向けの簡潔で実行可能な洞察に蒸留する手法。
2. 証拠整合推論（EAR）メトリクス: 診断信号と生成されたコード編集の間の整合性を定量化する新規フレームワーク。単純な速度向上メトリクスを超えた評価を可能にします。
3. 大規模評価: NVIDIA GPU 上の 10 のベンチマークと 2 つの HPC プロキシアプリケーション（XSBench、SW4Lite）にわたる3,410 件の実験を含む包括的な研究。
4. オープンソースコーパス: 将来の検索拡張最適化の研究を支援するために、パフォーマンス診断、コード変換、測定結果を整合させたキュレーションされたデータセット。
5. Optimas フレームワーク: パフォーマンスエンジニアリングへのアクセスを民主化する、バックエンド非依存のクローズドループシステム。

4. 結果

本フレームワークは、NVIDIA H100 GPU 上で GPT-5、Gemini-2.5-pro、Llama 3.1:70B を使用して評価されました。

• パフォーマンス向上: Optimas は**98.82%の実験でパフォーマンス向上を達成し、平均向上幅は8.02% から 79.09%**の範囲でした。
• 正確性: このフレームワークは、すべての成功した実験において100% 正確なコード（コンパイル可能かつ機能的に有効）を生成しました。
• モデル比較:
  • GPT-5: 最も高い証拠カバレッジ（83.1%）と最大の速度向上を達成し、特に複雑なマルチカーネルアプリケーションにおいて顕著でした。ただし、飽和を超えて加法的変換を適用する「過剰最適化」が時折発生しました。
  • Llama 3.1:70B: 証拠カバレッジは低い（49.2%）ものの、安定した保守的な向上を生み出し、ハルシネーションはゼロでした。これは、厳格なガードレール下ではオープンソースモデルも効果的であることを証明しています。
  • Gemini-2.5-pro: 大規模カーネルでは同様の性能を発揮しましたが、コンテキストの希薄化により、微細なストールに敏感なカーネルでは苦戦しました。
• 診断の相乗効果: 3 つの診断ソース（PC + IA + ルーフライン）を組み合わせることは、混合ボトルネックを持つ複雑なアプリケーションにおいて最良の結果をもたらしました。ただし、その恩恵は厳密に単調増加ではなく、ソースが衝突する際には安全ガードレールが安全でない書き換えを防ぎました。
• 一般化: デフォルト構成から生成された最適化は、ほとんどのアプリケーションで 68 の異なる入力構成に対して成功裡に一般化されました（例：Accuracy カーネルはすべての入力に対して安定した 43〜45% の向上を示しました）。
• オーバーヘッド: 最適化プロセスは非常に効率的です。プロファイリングには数時間かかる場合（SW4Lite の場合 16〜24 時間）がありますが、Optimas の反復（要約、推論、コンパイル、検証）は10 分未満で完了し、データ収集時間の 1.5% 未満を占めています。

5. 意義

• HPC の民主化: Optimas は、パフォーマンス最適化を専門家のみが手がけるタスクから自動化されたワークフローへと変革し、深いアーキテクチャ知識を持たない開発者でも大幅な速度向上を達成できるようにします。
• ループの閉鎖: 多様な分析ソースを自動コード最適化エンジンに直接統合する最初のフレームワークであり、診断と解決の間のギャップを実質的に埋めています。
• 教育的価値: モデルに診断証拠を引用させることを要求することで、このシステムは教育ツールとして機能し、ハードウェア診断とコード変換の間の因果関係を明示的にします。
• スケーラビリティ: このシステムは、地震波伝播やモンテカルロ中性子輸送などの現実世界の複雑な HPC アプリケーションを成功裡に処理し、単純なマイクロベンチマークを超えたその実現可能性を実証しました。

結論として、Optimas は、LLM が厳密なマルチモーダルランタイム診断によって導かれる場合、信頼性の高い高パフォーマンスコード変換を生成でき、HPC 最適化に必要な手作業を大幅に削減できることを実証しています。