KernelCraft: Benchmarking for Agentic Close-to-Metal Kernel Generation on Emerging Hardware

本論文は、新しい命令セットアーキテクチャを持つ新興ハードウェア向けに、LLM エージェントがフィードバック駆動型のワークフローを通じて低レベルカーネルを生成・最適化し、テンプレートベースのコンパイラ基線と同等かそれ以上の性能を達成できることを示す初のベンチマーク「KernelCraft」を提案するものである。

要約

この論文「KernelCraft」は、**「新しい AI 専用チップ（加速器）のために、人間が手作業で書くのが大変な『命令書（カーネルコード）』を、AI 自身が賢く作り出すことができるか？」**という問いに答える研究です。

わかりやすくするために、いくつかの比喩を使って説明しますね。

1. 背景：新しい料理屋と「レシピ」の壁

Imagine you have a brand new, super-specialized kitchen (a new AI chip).
Imagine you have a brand new, super-specialized kitchen (a new AI chip).

• 新しいキッチン（AI チップ）： 最近、AI を高速に動かすために、CPU や GPU 以外の「専用キッチン」が次々と作られています。
• 問題点： しかし、この新しいキッチンは「独自の調理器具（命令体系）」を持っています。一般的なレシピ（既存のプログラミング言語）では使えません。
• 現状の苦しみ： これまで、この新しいキッチンで美味しい料理（高性能な計算）を出すには、プロのシェフ（熟練エンジニア）が、一つ一つ手作業で「この鍋はこう使い、この包丁はこう切る」という**極小のレシピ（アセンブリコード）**を書き起こす必要がありました。これは時間がかかり、ミスも起きやすく、新しいキッチンが普及するのを遅らせていました。

2. KernelCraft の登場：AI 助手「職人くん」

そこで登場するのが、この論文で提案された**「KernelCraft（カーネルクラフト）」**というシステムです。

• 役割： これは、単なる「文章を書く AI」ではなく、**「道具を使って試行錯誤する職人くん（エージェント）」**です。
• 仕組み：
  1. 注文を受ける： 「この食材（データ）を、この新しいキッチンで、最短時間で調理して」という注文を聞きます。
  2. レシピを書く： 独自の調理器具の説明書（ISA 仕様書）を読みながら、レシピ（コード）を書きます。
  3. 試す＆直す（ここが重要！）： 書いたレシピを、キッチンのシミュレーター（練習用キッチン）で試します。
     • 「火が強すぎて焦げた（エラー）」→ 説明書を見て、火加減を直す。
     • 「味が違う（計算結果がズレる）」→ 調味料の量を調整する。
  4. 完璧になるまで繰り返す： 正解が出るまで、AI 自身が「あ、ここ間違えてた」と気づいて修正を繰り返します。

3. 実験結果：AI はどれくらい上手？

研究者たちは、この「職人くん」に、3 つの異なる新しいキッチン（PLENA, AMD NPU, Coral NPU）で、20 種類以上の料理（機械学習タスク）を作らせました。

• 簡単な料理（レベル 1）： 野菜を切るような単純な作業なら、AI は**「5 回に 3〜5 回」**は完璧なレシピを作れました。
• 複雑な料理（レベル 2）： 複数の工程を組み合わせた料理になると、難易度が上がりますが、それでもトップクラスの AI は**「5 回に 4 回」**成功させました。
• 驚きの発見： 単に「動くレシピ」を作るだけでなく、AI は**「人間のプロが書いたレシピよりも、もっと効率的な調理法（最適化）」を見つけて、「2 倍〜8 倍」**速く料理ができるレシピを生み出すこともありました！
  • 例： 「一度に 10 個の食材を並べるより、2 回に分けて 5 個ずつ並べた方が、コンベアベルトの動きがスムーズになる」といった、人間が気づきにくい工夫を AI が見つけました。

4. なぜこれがすごいのか？

これまでの AI は「既存の知識」を頼りにコードを書いていましたが、KernelCraft は「新しい道具の説明書」さえあれば、ゼロから最高の使い方を発見できることを示しました。

• 人間との協力： AI が「この道具、使いにくいね。もっと便利なボタンがあればいいのに」と提案し、人間がそれを実際に設計に反映させる（共同設計）という未来も描かれています。
• 未来への影響： これにより、新しい AI チップが開発された瞬間、すぐに使えるソフトウェアが自動で作れるようになります。これまでは「ハードウェアはできたけど、ソフトがないから使えない」というジレンマがありましたが、それが解消される可能性があります。

まとめ

KernelCraftは、**「新しい AI 専用チップのために、AI 自身が『道具の説明書』を読み込み、試行錯誤しながら、人間以上の効率で『極小の命令書』を書き上げるシステム」**です。

まるで、**「新しい料理屋に配属された、説明書を読み込みながら試行錯誤する天才見習いシェフ」**が、プロのシェフに負けない、あるいはそれ以上のスピードで料理を作れるようになったようなものです。これにより、AI 開発のスピードが劇的に加速することが期待されています。

技術概要

KernelCraft: 新興ハードウェアにおけるアジェンティックなクローズド・トゥ・メタル・カーネル生成のベンチマーク

技術的サマリー（日本語）

本論文「KernelCraft」は、新しい命令セットアーキテクチャ（ISA）を持つ新興の AI アクセラレータ向けに、LLM（大規模言語モデル）エージェントが低レベルの組み立て（アセンブリ）カーネルを生成・最適化する能力を評価するための、世界初のベンチマークフレームワークを提案した研究です。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳述します。

1. 背景と問題定義

• コンテキスト: AI アクセラレータの進化に伴い、従来の汎用 CPU/GPU ではなく、専用化・異種混合された ISA を持つカスタムアクセラレータが増えています。
• 課題（Programmability Wall）: これらの新興ハードウェアは、高レベルのテンソルプログラムを最適化された低レベルカーネルに自動的にマッピングする成熟したコンパイラツールチェーンを欠いています。そのため、開発者は ISA 仕様やハードウェア制約を深く理解した上で、手動で低レベルのカーネル（アセンブリなど）を記述する必要があり、これは時間がかかり、エラーが発生しやすく、スケーラビリティに欠けます。
• 既存研究の限界: 既存の LLM によるコード生成研究は、CUDA や Triton などの成熟したエコシステムに焦点を当てており、ゼロショット（事前学習データなし）で新規 ISA に対する「クローズド・トゥ・メタル（ハードウェアに近いレベル）」のカーネル生成が可能なかは不明でした。

2. 手法：KernelCraft フレームワーク

KernelCraft は、LLM エージェントがツールを使用して反復的にカーネルを生成・修正する「診断・修復ループ」を実装したオープンソースのベンチマークです。

• ワークフロー:
  1. 入力: タスク記述、ISA 仕様、ハードウェア構成（メモリ配置、レジスタ等）をシステムプロンプトとして提供。
  2. 生成とツール利用: エージェントはアセンブリコードを生成し、以下のネイティブツールを自律的に呼び出してデバッグと最適化を行います。
     • write_code: コードの保存
     • check_syntax: 構文チェックとコンパイル
     • run_evaluation: 機能性（正解率）と性能（レイテンシ/サイクル数）の評価
     • view_output: 出力値の比較（誤差解析）
     • grep_docs: ISA ドキュメントの検索
  3. フィードバックループ: 評価結果（エラー、不一致、性能不足）に基づき、エージェントはコードを修正し、正解率が 100% に達し、かつ性能が基準を満たすまで反復します。
• 評価対象:
  • ハードウェア: 3 つの新興プラットフォーム（PLENA、AMD NPU、Coral NPU）および RISC-V ベースの CPU (BOOM)。
  • タスク: 3 つの難易度レベル（プリミティブ演算、複合演算、エンドツーエンドシステム）に分類された 33 種類のタスク（23 の ML タスク、10 の CPU タスク）。
  • モデル: GPT-5.2, Gemini-3-Flash, Claude Sonnet 4, DeepSeek R1 などの最先端モデル。

3. 主要な貢献

1. 初のベンチマークの確立: 新規 ISA を持つカスタムアクセラレータ向けのアセンブリカーネル生成を評価する初のベンチマーク「KernelCraft」を提案。3 つのプラットフォーム、6 つのネイティブツールインターフェース、診断フィードバックを含む包括的なテストベッドを提供。
2. 自律的生成の実証: 限られた反復ステップ内で、エージェントが新規 ISA に対して機能的に正しいベアメタルカーネルを自律的に生成できることを実証（プリミティブ演算で最大 55% の成功率）。
3. ハードウェア意識の最適化: 正解性を超えて、エージェントがコンパイラベースラインを上回る性能を持つハードウェア固有の最適化（例：BatchNorm のフュージョン、ループ展開、プリフェッチの活用）を自律的に発見・適用できることを示した。
4. 拡張性の提示: カーネル生成だけでなく、コンパイラテンプレートの最適化や、ISA 自体の共設計（Co-design）への応用可能性をケーススタディで示した。

4. 実験結果

• 成功率:
  • 最上位モデル（GPT-5.2）は、PLENA 上でプリミティブ演算で 74%、複合演算で 45% の成功率を達成。
  • 複雑度が増すにつれて成功率は低下し、エンドツーエンドシステム（Level 3）の生成は依然として困難（ほぼ 0%）であった。
  • 新規 ISA への適応には、ドキュメントの質と量（システムプロンプトの長さ）が成功率に大きく影響した。
• 性能（Speedup）:
  • 生成されたカーネルは、プラットフォーム標準のコンパイラベースラインと比較して、多くのケースで同等または優れた性能を示した。
  • Coral NPU 上では、ConvBlock などのタスクで最大 7.93 倍 の高速化を達成。
  • PLENA 上では、正規化タスクで 1.06〜1.22 倍の高速化を達成。
  • エージェントは、コンパイラがまだサポートしていないクロスオペレータ最適化（例：浮動小数点と整数の混合演算の回避）を発見し、大幅な高速化を実現した。
• アブレーション研究:
  • 拡張推論（Thinking）: 複雑なタスクでは、推論トークン（思考プロセス）を有効にすることが、早期終了を防ぎ、成功率を劇的に向上させることが確認された。
  • インコンテキスト学習: 関連タスクの例（One-shot）を提供することで、成功率が向上したが、モデル依存性は残った。
  • ツール利用: 外部オーケストレーションではなく、モデル自体がネイティブなツール呼び出しを行う能力が、高性能なカーネル生成に不可欠であることが示された。

5. ケーススタディ

• コンパイラテンプレートの改善: 既存のコンパイラテンプレートをエージェントに最適化させ、命令数を 94.5% 削減し、レイテンシを改善することに成功。
• ISA 共設計: 拡散言語モデル（dLLM）のサンプリングタスクにおいて、エージェントが既存 ISA の欠陥（argmax やトップ K 選択の欠如）を特定し、人間と対話しながら新しい命令を提案・実装するプロセスを成功させた。

6. 意義と結論

KernelCraft は、新興 AI ハードウェアのソフトウェアスタック構築における「プログラミングの壁」を打破する可能性を示しました。LLM エージェントは、単なるコード生成を超え、ハードウェア仕様を深く理解し、反復的な検証を通じて最適化された低レベルカーネルを生成できることを実証しました。

• 産業への影響: アクセラレータ設計者やカーネル開発者の開発コストと時間を大幅に削減し、新規ハードウェアの市場投入を加速させる可能性があります。
• 将来の展望: 形式的検証の統合、ISA 知識のモデルへの埋め込み、マルチエージェントシステムへの拡張など、さらなる発展が期待されます。

本論文は、AI 加速ハードウェアの進化と LLM エージェントの能力が交差する重要な領域において、実用的な評価基準と解決策を提供する画期的な研究です。