技術概要：MileStone – 多目的コンパイラフェーズ順序付けフレームワーク

1. 問題定義

本論文は、プログラムの中間表現（IR）を効率的な機械語へ変換するための最適化パスの最適な順序を決定する「コンパイラフェーズ順序付け問題」に取り組む。標準的なコンパイラ最適化レベル（例：LLVM の -O1、-O2、-O3）は固定されたシーケンスを提供するが、それらは広大な探索空間のごく一部を表すに過ぎず、矛盾する性能目標のバランスを取ることに失敗している。

特定された核心的な課題は、実行時間、コードサイズ、エネルギー消費を同時に最適化する必要性である。これらの目標は本質的に矛盾しており、例えば、積極的なループ展開は実行時間を短縮する一方で、コードサイズとエネルギー消費を増加させる可能性がある。従来のアプローチは、しばしば固定されたヒューリスティックや単一目的最適化に依存しており、エネルギー制約のある組み込みシステムや高性能コンピューティングなど、多様な展開環境に必要なトレードオフ（パレート最適解）を捉えられていない。さらに、網羅的探索は計算量的に実行不可能であり、既存の学習ベースの手法は多目的制約のサポートが不足しているか、動的プロファイリングに過度に依存している。

2. 手法：MileStone フレームワーク

MileStone は、コンパイラフェーズ順序付けを**制約付き多目的最適化（CMOO）**問題としてモデル化する、モジュール式で学習駆動型のフレームワークである。これは、静的性能予測のためのグラフニューラルネットワーク（GNN）と、適応的探索のための強化学習（RL）を統合している。フレームワークは、4 つの密に統合されたモジュールで構成される。

2.1 グラフ生成器（GG）

GG は、フロントエンドコンパイル段階後の LLVM IR から**制御フローグラフとデータフローグラフ（CDFG）**を抽出する。構文表現とは異なり、CDFG はプログラムの構造的および意味的関係を捉える。CDFG の各ノードは、ノードの種類（基本ブロック対命令）や特定の命令オプコード（例：メモリアクセス、算術演算、制御フロー）を符号化する 10 次元の二値特徴ベクトルで表現される。

2.2 GNN ベースの性能予測器（GNNPP）

GNNPP は、コードを実行することなく、CDFG 表現から直接コンパイル後の指標（実行時間、コードサイズ、エネルギー消費）を予測するために**グラフ畳み込みネットワーク（GCN）**を利用する。

• アーキテクチャ: このモデルは、ノード特徴を集約し、マルチホップ依存関係を捉えるために 2 層の GCN を採用し、その後、グラフレベルの埋め込みを生成するために平均プーリングを行う。
• トレーニング: エネルギーとコードサイズに対しては平均対数二乗誤差（Mean Squared Logarithmic Error）、実行時間に対しては平均絶対誤差（Mean Absolute Error）を用いた回帰モデルとしてトレーニングされる。
• 役割: GNNPP は代理モデルとして機能し、RL エージェントを導くための迅速な性能推定を提供することで、探索プロセス中の物理的実行の繰り返しを不要にする。

2.3 RL ベースの多目的探索器（RLMOE）

RLMOE は、最適化パスの選択を**マルコフ決定過程（MDP）**としてモデル化された逐次的意思決定プロセスとして扱う。

• 状態: CDFG グラフ埋め込み、現在のノード識別子、CDFG メタデータ、およびユーザー定義のエネルギー制約を含む。
• 行動: 現在のノードに特定の最適化ディレクティブを適用するかどうかを決定する。
• 報酬: 最終ステップ（$T$）でのみ適用されるスパースな報酬関数が、予測されたコードサイズ、実行時間、および目標エネルギー消費からの偏差の加重和として計算される。中間報酬はゼロである。
• アルゴリズム: このフレームワークは、**Deep Q-Network（DQN）とProximal Policy Optimization（PPO）**の両方をサポートする。PPO は、クリップされた代理目的関数と一般化アドバンテージ推定（GAE）を利用することで、特に大規模プログラムにおいて、優れた安定性と性能を示す傾向がある。

2.4 RL ベースのデータベース生成器（RLDBG）

RLDBG は、トレーニングデータの収集を自動化する自己進化型の知識ベースである。RLMOE を反復的に呼び出して多様なパスシーケンスを探索し、生成された構成をコンパイルし、評価器を使用してプロファイリングすることで、真の指標（ground-truth metrics）を取得する。これらの CDFG と指標のペアは、GNNPP のトレーニングと洗練のために保存され、時間とともに予測精度と探索効率を向上させるフィードバックループを形成する。

3. 主要な貢献

本論文は、4 つの主要な貢献を概説している。

1. 統合フレームワーク: 実行時間、コードサイズ、エネルギー消費をユーザー定義の制約の下でバランスさせる多目的最適化問題としてコンパイラフェーズ順序付けを定式化する MileStone の導入。
2. グラフベースのニューラルモデル: IR グラフから構造的および意味的性質を学習し、プログラムの性能指標を正確に予測する GNN モデルの開発。
3. RL ベースの探索: 多目的間のパレート最適なトレードオフを特定するために、パスシーケンスを探索する RL ベースのアプローチ（DQN/PPO）の実装。
4. 自己改善メカニズム: 多様な最適化結果を集約することで、予測精度と探索効率の両方を向上させる自己進化型のデータ収集メカニズム（RLDBG）の組み込み。

4. 実験結果

実験は、NVIDIA RTX 3090TI GPU を使用した標準ベンチマーク（PolyBench: gemm、3mm、floyd-warshall）で行われた。フレームワークは、LLVM 最適化レベル（-O1 から -O3）、ヒューリスティック探索手法（遺伝的アルゴリズム、粒子群最適化）、および単独の RL エージェントと比較された。

• パレート最適解: RLMOE（DQN と PPO の両方を使用）は一貫してベースラインを上回り、競争力のある実行時間を維持しながら、より低いエネルギー消費とより小さなコードサイズを持つ解空間の領域を占める解を発見した。
• 制約満足: ユーザー指定のエネルギー制約の下で、RLMOE は単独の RL エージェント（83–85%）や従来の最適化レベル（3–9%）と比較して、はるかに高い一致率（90–93%）を達成した。
• 実行時間の短縮: 同一のエネルギー予算の下で、MileStone は LLVM -O3 と比較して最大**45%**の実行時間短縮を実現した。具体的には、RLMOE-PPO は異なるベンチマーク全体で 15–45% の削減を示した。
• アーキテクチャ分析: この研究は、2 層の GCN アーキテクチャが、予測精度と過平滑化問題の回避の間の最良のバランスを提供することを決定した。

5. 意義と主張

本論文は、MileStone が多目的コンパイラフェーズ順序付けに対する効果的でスケーラブルな解決策を提供すると主張している。その意義は以下の点にある。

• 単一目的最適化の超越: 実行時間、コードサイズ、エネルギーの間のトレードオフ表面を成功裡に航行し、コンパイラが特定のハードウェアやワークロードの要件（例：IoT デバイスにおけるエネルギー効率の優先）に適応できるようにする。
• 効率性: GNN ベースの静的予測と RL を組み合わせることで、網羅的探索と反復的な動的プロファイリングの莫大なコストを回避する。
• 適応性: 自己進化型データベースにより、システムは時間とともに改善し、静的なヒューリスティックが見逃す多様なパレート効率的構成を捉えることができる。

著者らは、静的グラフ学習と強化学習ベースの探索を統合することが、複雑なコンパイラパイプラインの最適化、特に複数の矛盾する性能指標をバランスさせる必要があるシナリオにおいて、堅牢な前進の道を提供すると結論付けている。今後の作業として、このフレームワークをより大規模な産業用ワークロードに拡張し、詳細なマイクロアーキテクチャモデルを組み込み、動的最適化シナリオをサポートすることが提案されている。