🤖 AI

A Benchmark Dataset for Graph Regression with Homogeneous and Multi-Relational Variants

本論文は、実行時間ラベル付きプログラムグラフから導出された新規グラフ回帰ベンチマークデータセット RelSC を紹介するものであり、構造表現の選択がモデル性能に与える影響を評価するために、均一型および多関係型の両方のバリエーションを提供する。

原著者： Peter Samoaa, Marcus Vukojevic, Morteza Haghir Chehreghani, Antonio Longa

公開日 2026-05-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Peter Samoaa, Marcus Vukojevic, Morteza Haghir Chehreghani, Antonio Longa

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ソフトウェアの実行時間を推測するロボットを教えることを想像してみてください。そのためには、ロボットにコードの画像を見せる必要があります。しかし、単なる画像ではなく、コードの異なる部分が互いにどのように通信するかを示す特別なマップが必要です。

この論文は、研究者がこの特定の作業のために優れたロボット（AI モデル）を構築できるよう支援する、新しい巨大な「トレーニングジム」（データセット）であるRelSCを紹介しています。以下に、彼らが行ったことを簡単なアナロジーを用いて解説します。

問題：ロボットの食事が退屈すぎる

現在、グラフ（接続のマップ）を分析するほとんどの AI モデルは、非常に限られた食事しか与えられていません。彼らが主に摂取するのは分子（医薬品製造用の化学化合物など）や引用ネットワーク（学術論文における誰が誰を引用したかのマップなど）です。

著者らは、これを「料理人がリンゴだけで調理する方法しか知らない」ことに例えています。彼らは AI にソフトウェアコードを含む「すべて」で調理することを教えたいと考えています。しかし、ソフトウェアのパフォーマンスに関する優れた「レシピブック」（データセット）が存在しませんでした。

解決策：新しい「コードジム」（RelSC）

著者らは、Java プログラムとその実際の「実行時間」（実行にかかった時間）を紐付けた膨大なコレクションであるRelSCを作成しました。これは、すべての本（コード）にストップウォッチが取り付けられた図書館のようなものです。

彼らは、AI がどのように学習するかをテストするために、このライブラリを 2 つの異なる「味」で構築しました。

RelSC-H（均質バージョン）：
- アナロジー： すべての道路が単なる「道路」である都市のマップを想像してください。通りは見えるものの、その道路が高速道路か、未舗装路か、自転車レーンかはわかりません。すべて単なる「接続」です。
- 論文内での意味： このバージョンはコードをグラフに変換し、すべての接続が同じように見えますが、「建物」（ノード）にはそれらが何であるかについての豊富な詳細（例：「これは数学演算である」「これは変数である」など）が含まれています。
RelSC-M（多関係バージョン）：
- アナロジー： 同じ都市のマップを想像しますが、今度は道路は色分けされ、ラベルが付けられています。高速道路（ある変数から別の変数へ流れるデータ）、信号機（if/else の分岐）、一方通行（ループ）があります。
- 論文内での意味： このバージョンは接続の特定の「タイプ」を保持します。AI に「この行は変数を数学演算に接続している」あるいは「この行は条件をループに接続している」と伝えます。これははるかに詳細で複雑なマップです。

マップの作成方法

コードをこれらのマップに変換するために、彼らはケーキの層のように、コンピュータサイエンスの 3 つの標準ツールを使用しました。

AST（骨格）： コードの基本的な構造（家の枠組みのようなもの）。
CFG（交通の流れ）： プログラムの動き方（信号機や方向指示器のようなもの）。
DFG（水道管）： データの移動と変化（パイプを流れる水のようなもの）。

彼らはこれら 3 つを混ぜ合わせて、コードの動作の超詳細なマップを作成しました。

実験：誰が最もよく学習したか

著者らは、さまざまな AI モデル（グラフニューラルネットワーク）をこのジムに投入し、実行時間をどの程度正確に予測できるかを検証しました。

結果：
- グラフマップ（RelSC）を使用した AI モデルは、コードをテキストや単純な木構造として読んだモデルよりも、一般的に時間を推測する能力に優れていました。
- 驚きの発見： より多くの情報を持つRelSC-M（詳細な多車線高速道路マップ）にもかかわらず、モデルは時として、より単純な単一道路マップであるRelSC-Hの方が良いパフォーマンスを発揮しました。
- 教訓： これは、詳細が多すぎたり、間違った種類の詳細が含まれたりすると、AI を混乱させる可能性があることを示唆しています。すべての凹凸をマークした地図を運転手に渡すようなもので、時には単純な地図の方がナビゲートしやすいのです。

なぜこれが重要なのか

この論文は、このデータセットが「挑戦的で多用途なベンチマーク」であると主張しています。これにより、AI 研究者は分子でのテストに留まらず、現実世界のソフトウェア構造でのテストを開始せざるを得なくなります。

要約： 著者らは、AI がソフトウェアの速度を予測することを学ぶための、新しく多様なトレーニング場を構築しました。彼らは、コードの詳細なマップが強力である一方で、そのマップを描く方法が、内部に含まれる情報と同じくらい重要であることを示しました。彼らは今、この「ジム」を全員に利用可能にすることで、他の人々がより優れたロボットを構築できるよう支援しています。

技術概要：均一および多関係バリエーションを備えたグラフ回帰のためのベンチマークデータセット

問題提起

グラフニューラルネットワーク（GNN）は、生物学、ソーシャルネットワーク、推薦システムなどの分野におけるノード分類およびグラフ分類タスクで顕著な成功を収めています。しかし、グラフ回帰は未だ十分に研究されておらず、公開されているベンチマークは分子グラフや引用ネットワーク（主に化学および創薬分野）に偏っています。この多様性の欠如は、ソフトウェア工学、金融、交通など、他の重要な分野における回帰タスクのための GNN の開発と評価を制限しています。具体的には、構造的表現の選択（均一対多関係）がグラフ回帰におけるモデルの挙動にどのように影響するかを研究者が探求できるデータセットが不足しています。

手法

著者は、ソフトウェア性能予測、特に Java ソースコードの実行時間推定に焦点を当てた新しいグラフ回帰データセットRelSCを提案します。手法には、構文構造と意味的な実行フローの両方を捉えるグラフ表現へとソースコードを変換するプロセスが含まれます。

データ収集

このデータセットは、複雑性と環境の多様性を確保するために 2 つのソースから構成されます：

OSSBuild: SystemDS、H2、Dubbo、RDF4J の 4 つのオープンソースプロジェクトの継続的インテグレーション（CI）システムから抽出された実行時間。
HadoopTests: 制御された仮想環境で測定された Apache Hadoop フレームワークの 2,895 個のユニットテストからの実行時間。
ターゲット値（実行時間）は、異なるスケールを持つデータセット間での比較可能性を確保するため、 $[0, 1]$ の範囲に正規化されます。

グラフ構築

中核的な貢献は、抽象構文木（AST）から 2 つの相補的なグラフバリエーションを構築することにあります：

RelSC-H（均一）:
- javalang を介してパースされた AST から開始します。
- 木を有向グラフに変換します。
- 拡張: 実行意味論を捉えるために、制御フローグラフ（CFG）とデータフローグラフ（DFG）からのエッジを統合します。これには、If Flow、While Execution Flow、Next Use、Next Statement Flow などの 11 種類の追加エッジタイプが含まれます。
- 特徴: ノードは、72 種類の AST ノードタイプを表すワンホットベクトルでエンコードされます。ノード特徴は、関係的コンテキストを捉えるために、出力エッジタイプの合計されたワンホットエンコーディングと連結されます。
RelSC-M（多関係）:
- RelSC-H を基盤としつつ、72 種類の AST ノードタイプを7 つの意味カテゴリ（宣言、データ型、制御フロー、演算、構造的要素、例外/エラー、その他）に分類します。
- 構造: これらのカテゴリ間の特定の関係によってエッジが定義される多関係グラフを構築し、最大 49 の異なる関係タイプを生成します。
- 特徴: RelSC-H と同様に、異なる関係タイプを区別して扱うために異種メッセージパッシングを利用します。

主要な貢献

新規ベンチマーク: ソフトウェア工学におけるグラフ回帰のための、実行時間を連続的なターゲット変数として提供する最初の大規模ベンチマークである RelSC の導入。
二重バリエーション: 均一で豊富なノード特徴を持つRelSC-Hと、元の意味的関係を保持する多関係のRelSC-Mの両方の公開により、構造的表現が回帰性能にどのように影響するかを直接比較可能にします。
意味的拡張: 構造的性質のみに依存した以前の研究とは異なり、このアプローチは意味的ノード特徴とフローベースのエッジ（CFG/DFG）を統合し、コード実行のより表現力のある表現を創出します。
公開リリース: データセット、グラフオブジェクト（PyTorch Geometric 形式）、およびグラフ構築とモデルトレーニングのコードが公開されています。

実験結果

著者は、両方のバリエーションに対して多様なアーキテクチャを評価しました：

ベースライン: ソースコードモデル（CodeBERT、Code2Vec）および標準的な GNN（GCN、ChebConv、GIN、GraphSAGE、PNA）。
多関係モデル: RelSC-M 用の異種 GNN（HeteroSAGE、HeteroGAT）。

主要な知見:

GNN の優位性: GNN ベースのモデルは、すべてのデータセットにおいて、ソースコードベース（CodeBERT）および AST ベース（Code2Vec）のモデルを一貫して上回りました。
最高性能モデル:
- RelSC-Hにおいて、PNA（Principal Neighborhood Aggregation）がすべてのデータセットで最小平均絶対誤差（MAE）を達成しました。
- RelSC-Mにおいて、HeteroGATは一般的に HeteroSAGE を上回りましたが、性能はデータセットのサイズと複雑さによって大きく変動しました。
表現の影響: 多関係構造がより豊富な情報を提供するという直感に反し、RelSC-Hでトレーニングされたモデルは、多くの場合RelSC-Mのモデルを上回りました。これは、回帰タスクにおいて多関係データを効果的に活用することがいまだに未解決の課題であることを示唆しています。
アブレーション研究: 単純な AST にフローエッジ（CFG/DFG）を追加することで MAE が大幅に減少（約 0.07〜0.09）し、実行時間予測における意味的拡張の決定的な役割が確認されました。
限界: すべてのモデルは外れ値と高分散のターゲットに苦戦しました。特に Hadoop データセットでは、予測がゼロ付近にクラスタリングし、高い実行時間を正確に推定できないことが頻繁にありました。

意義と主張

本論文は、RelSC がグラフ回帰のための多様なベンチマークの可用性における重要なギャップを埋めることを主張しています。化学中心の風景を超えて進むことで、コードの最適化、リファクタリング、CI/CD パフォーマンス回帰の検出など、高い実用性を有する分野であるソフトウェア工学における GNN の探求を可能にします。

著者は、RelSC を新しいアーキテクチャの提案としてではなく、既存および将来のモデルを評価するための厳密なテストベッドとして位置づけています。結果は、このタスクにおいて GNN が非グラフ手法よりも優れている一方で、構造的表現の具体的な選択（均一対多関係）が性能に大きく影響することを浮き彫りにしています。論文は、提案されたデータセットが未開拓の分野におけるグラフベースの学習を進展させる貴重なリソースとして機能すると結論付けていますが、同時に、現在のモデルが現実世界のソフトウェア実行時間の複雑さと変動性に対して依然として苦戦していることも明らかにしています。