技術概要：CUDA カーネル生成における自己進化型 LLM エージェントのためのフィードバックから計画への意思決定

問題提起

大規模言語モデル（LLM）は、CUDA カーネルの生成と最適化を行う自己進化型エージェントとして経験的な成功を収めている。これらのシステムは通常、反復的な改善を通じて動作し、静的解析、ランタイムプロファイリング、デバッグなどの多様なフィードバック信号を集約して、世代を超えたコード修正のための計画意思決定を駆動する。

しかし、個々のフィードバック構成要素が計画意思決定にどのように影響を与えるかというメカニズムは依然として不透明である。標準的な評価手法は、フィードバック構成要素を除去し、進化プロセス全体を再開する「エンドツーエンド（E2E）の除去実験」に依存している。著者らは、このアプローチが自己進化型エージェントに対して根本的に欠陥があることを主張する。その理由は以下の通りである：

1. 軌道の漂移（ドリフト）： 反復的な計画は初期の摂動を増幅し、フィードバックの効果を軌道依存性の漂移と混同させる。
2. 因果の不明瞭さ： 非単調な世代レベルの結果を単一のスカラー値に集約することは、特定の信号が「いつ」重要であり、「どのように」相互作用するかを不明瞭にする。
3. 帰属の欠如： 実務家は往々にして診断情報を無差別に集約し、どのフィードバック構成要素が現在の計画意思決定に有意に影響を与えるかを判断するための有用性意識のある分析を欠いている。

手法：CUDAnalyst

これらの限界に対処するため、著者らは計画意思決定の制御された世代レベルの帰属分析を設計した統合分析層「CUDAnalyst」を導入する。

中核となる設計原則

1. 軌道の固定： 進化プロセスを再実行するのではなく、CUDAnalyst は特定の世代において中間プログラム状態を固定する。これにより、現在の計画意思決定を歴史的な進化軌道から切り離し、すべての介入が同一のプログラム文脈を共有することを保証する。
2. 選択的フィードバック注入： 固定されたチェックポイントにおいて、システムはデバッガ、アナライザ、プロファイラなどの特定のフィードバック構成要素を選択的に保持または注入する制御されたパッチング介入を実行する。この際、プランナ、プロンプト、デコーディング設定は固定されたままにする。
3. 連合帰属： 協力ゲーム理論に触発され、著者らはフィードバック帰属をゲーム $G = (N, v)$ として形式化する。シャープレー値ではなくバンザフ値を用いて各フィードバック構成要素の限界貢献度を定量化し、ペアワイズ相互作用項（$\sigma_{ij}$）を用いて相補性または冗長性を測定する。これにより、フィードバック構成要素とその相互作用が計画結果にどのように影響するかを微細に帰属させることが可能になる。

評価プロトコル

本研究は世代レベルのフィードバック介入プロトコルを採用する：

• 固定バックボーン： 参照となるバックボーン軌道（例：サードパーティモデルによって生成されたもの）を生成し、固定する。
• 制御された再評価： 進化探索を再実行することなく、固定されたプログラムサンプルを異なるフィードバック構成（完全なフィードバック、フィードバックなし、ランダム化されたフィードバック、要約されたフィードバックなど）の下で再評価する。
• 指標： 成功は実行レベルの結果で測定される：compiled（実行可能）、pass（機能的正しさ）、fast（ベースラインに対する性能向上）。

主要な知見

DeepSeek、Qwen などの様々なモデルバックボーン、PolyBench-ACC、NPB、XSBench、robust-kbench などのワークロード、および参照誘導様式において実施された経験的研究は、以下の 4 つの主要な知見をもたらす：

1. 明示的計画はフィードバック条件付きである

明示的計画は、内在的な推論能力の独立した強化ではない。それは整合性の取れた外部フィードバックに基づいている場合にのみ有効である。

• フィードバックなしの計画（P+NF）は、暗黙的計画と比較して一貫して性能を低下させる。
• フィードバック整合型計画（P+F）は、特に推論能力が低いモデルにおいて、安定した世代レベルの改善をもたらす。
• 反事実的制御（ランダム化されたフィードバックまたはダミー計画）は、利益が計画トークンの存在そのものではなく、フィードバックの意味的整合性に由来することを確認する。

2. 計画の有効性は多ツール相互作用から生じる

計画意思決定は単一のフィードバック源によって支配されるのではなく、複数の構成要素間の安定した協調を反映している。

• アナライザ： 一貫してコンパイル成功を支援する。
• プロファイラ： 後期の世代において性能向上（fast）を主導する。
• デバッガ： 単独では限界貢献が最小であるが、相互作用を仲介する上で決定的に重要である。
• 相乗効果： 相互作用項（$\sigma_{ij}$）は世代を経るにつれて強化され、後期の最適化が結合された失敗モードを解決するために複数のフィードバック信号の共同利用に依存していることを示している。

3. 要約は計画を促進するが代替するものではない

• 弱いモデルへの利益： 要約されたフィードバックは、表現の負担を軽減することで、弱いモデルの結果を大幅に改善する。
• 限界： 要約は明示的計画を代替することはできない。要約は内容を圧縮するが、明示的計画は世代を超えて意思決定構造を維持・再利用する。より強力なモデルは要約から限定的な追加利益しか得ないことから、これらはすでに生フィードバックを処理するのに十分な能力を備えていることが示唆される。

4. クロスモデル計画の転移可能性

強力な推論モデルによって生成された計画は、同じファミリー内の弱いモデルに部分的に転移可能である。

• 強力なモデル（例：DeepSeek-R1）からの計画を弱いモデル（例：DeepSeek-V3.2）に注入することは、一貫して実行成功率を向上させる。
• 利益は、モデルが同じ訓練分布または表現構造を共有する場合に最大となる。
• これは、明示的計画が単なる内部推論の反映ではなく、モデル非依存の意思決定インターフェースとして機能する転移可能な意思決定抽象化として作用することを示唆している。

一般化と頑健性

特定されたフィードバックから計画への構造は、以下の点で頑健性を示す：

• バックボーン軌道： ツールの相乗効果のパターンは、より弱いオープンソースからより強力なプロプライエタリモデルに至るまで、異なる基盤コード生成モデル間で一貫している。ただし、相乗効果の焦点は、弱いモデルでは正しさに、強力なモデルでは性能最適化へとシフトする。
• ワークロード： フィードバックノイズやカーネルの複雑さのばらつきにもかかわらず、NPB、XSBench、深層学習演算子など多様な CUDA ワークロードにおいて定性的なパターンが維持される。
• 参照誘導様式： 計画行動は、異なる進化演算子（EoH、MCTS、ヒルクライミング）間で不変であり、フィードバックから計画へのメカニズムが特定の探索ダイナミクスから切り離されていることを示唆している。

意義と主張

本論文は、フィードバック帰属を軌道の漂移から解きほぐすことで、自己進化型 LLM エージェントを分析するための原理的な手法を提供すると主張している。主な貢献は以下の通りである：

1. CUDAnalyst フレームワーク： 制御された世代レベルの介入と連合帰属を可能にする新規かつ計算効率の高い分析層であり、E2E 除去実験の限界を克服する。
2. 構造的洞察： 堅牢でアーキテクチャ不変な「フィードバックから計画へ」の構造の特定。これは、効果的な計画がフィードバックの整合性と多ツールの相乗効果に条件付けられていることを明らかにする。
3. 実行可能な設計（CuGEdit）： 著者らはこれらの知見を、類似性ベースのゲーティングとクロスモデル計画蒸留を利用するモジュール型プラグインCuGEditとして具体化する。KernelBench レベル 3 における経験的検証により、CuGEdit 強化エージェントは torch.compile に対して2.08 倍から 10.32 倍の高速化を達成し、ベースラインおよび既存の最先端手法を上回ることが示された。

著者らは、本研究が自己進化型エージェントにおけるクレジット割り当てのための安定した枠組みを確立し、複雑で長期的なコード最適化タスクにおける LLM の内部意思決定ダイナミクスに関する新たな洞察を提供すると結論づけている。彼らは、これらの知見が研究された制御された軸（固定された軌道、特定のフィードバックタイプ）に特有であり、さらなる検証なしにはすべてのエージェントアーキテクチャに一般化されるものではないことを強調している。