From Human Guidance to Autonomy: Agent Skill System for End-to-End LLM Deployment on Spatial NPUs

技術要約：人間のガイダンスから自律性へ：空間型NPU上でのエンドツーエンドLLMデプロイメントのためのエージェント・スキル・システム

問題提起
空間型ニューラル・プロセッシング・ユニット（NPU）は、エッジにおける大規模言語モデル（LLM）推論のためのエネルギー効率の高いプラットフォームを提供している。しかし、これらのリソース制約のあるハードウェア・アクセラレータ上でLLMをエンドツーエンドでデプロイすることは、多大な専門的エンジニアリングを必要とする労働集約的なプロセスである。AIコーディングエージェントはエンジニアリングコストの削減に着手しているが、既存の研究は主に単一カーネルの最適化に焦点を当てており、エンドツーエンドのデプロイメント全体には及んでいない。さらに、空間型NPUに求められる明示的なハードウェア管理、データ移動スケジューリング、およびタイルレベルのカーネル配置を自律的に処理するために呼び出せる、構成可能な「エージェント・スキル」として完全なデプロイメント・ワークフローをエンコードしたフレームワークは、既存のところでは存在しない。

手法
著者らは、人間のガイダンスによる開発からエージェントの自律性への移行を目的とした、AMD XDNA™2 NPU上に実装された2段階の手法を提案する。

• ステージ1：人間主導のエージェント支援（リファレンス・デプロイメント）：
  チームは、AIコーディングエージェント（Claude CodeとClaude Opus 4.7）をコパイロットとして用い、BF16形式のLlama-3.2-1Bモデルをエンドツーエンドでデプロイした。疎なツール・ドキュメンテーションや不透明なエラーメッセージの複雑さを管理するため、「ドキュメンテーション・ファースト」の規律を採用した。構造化された一連のMarkdownドキュメント（例：plan.md、issues.md、perf_opt_traj.md）を用いて、最適化の軌跡、デバッグ手順、および設計上の根拠を記録した。エージェントは人間の監視下でコード編集、プロファイリング、およびツールの実行を行い、すべての決定がログに記録された。このプロセスにより、手動最適化されたベースライン（IRON）と比較して、プリフィルで2.2倍、デコードで4.0倍の高速化を達成した。主な最適化には、ベクトル化、形状特異的なタイル・チューニング、融合カーネル設計（15個のカーネルを3つのディスパッチに統合）、およびゼロコピー・バッファ・マッピングや冗長なデータ転送のスキップといったホスト側の最適化が含まれる。

• ステージ2：エージェント・スキル・システム（自律的デプロイメント）：
  ステージ1におけるドキュメンテーションと最適化の軌跡は、再利用可能な「エージェント・スキル・システム」へと蒸留された。このシステムは、未知のLLMのデプロイメントを以下の8つのフェーズのパイプラインを通じてオーケストレートする。

  1. フェーズ0–3（正確性）： モデルをCPU FP32のオラクルに分解し、個々のNPUカーネルを検証し、それらを単一のトランスフォーマー・ブロックに配線し、さらにN層のフルモデルへとカスケードさせることで、エンドツーエンドの機能的正確性を確立する。
  2. フェーズ4–5（最適化）： プリフィルおよびデコードのボトルネックに対処するため、特定の最適化スキル（例：マルチカーネル結合、バッファ再利用、レイアウト整列）を適用する。
  3. フェーズ6（統合）： プリフィルとデコードを単一のランナーに統合し、新たな知見を収集する。
  4. フェーズ7（独立した評価）： 事前のコンテキストを持たない独立した評価エージェントを生成し、デプロイメントを再監査し、数値ゲートを再実行し、パフォーマンス・レポートを検証することで、報酬ハッキングを防ぐ。

極めて重要な点として、フェーズ0–6は、CPU FP32リファレンスに対する厳格な数値的正確性のゲート（絶対誤差、相対誤差、およびピアソンの相関係数の測定）を強制する。ゲートが失敗した場合、システムは既知の失敗パターンに基づいてデバッグ・スキルを自動的に呼び出すか、あるいは人間の介入を求める。

主要な貢献

1. 高性能なリファレンス・デプロイメント： AMD XDNA 2 NPU上でのLlama-3.2-1Bのエンドツーエンドのデプロイメントであり、手動最適化されたベースラインをプリフィルで2.2倍、デコードで4.0倍上回る性能を実現し、その最適化の全軌跡をスキル・システムの基礎となるよう文書化した。
2. NPUのためのエージェント・スキル・システム： 厳格な数値ゲート、一般的なパターンに基づいて自動トリガーされる最適化およびデバッグ・スキル、そして独立した評価エージェントを備えた、8フェーズのスキルチェーンからなる新しいシステム。これは、エンドツーエンドのLLMデプロイメントを対象とした初のスキルセットである。
3. 8つの新しいモデルの自律的デプロイメント： AMD XDNA 2 NPU上での、8つの追加のデコーダーのみのLLM（Llama-3.2-3B、SmolLM2-1.7B、および各種Qwen2.5/3モデルを含む）の、初のオープンソースによるエンドツーエンドのデプロイメント。これらのデプロイメントは、人間のガイダンスをほとんど受けることなく、0.5〜4時間のエージェント実時間内で完了した。

結果
エージェント・スキル・システムを使用することで、チームは8つの追加のLLMのデプロイメントに成功した。すべてのモデルが数値的正確性のゲートを通過し、手動での検証も完了した。

• 効率性： 8つのモデルのうち3つ（Llama-3.2-3B、SmolLM2-1.7B、Qwen2.5-3B）は、Llama-3.2-1Bのリファレンスに匹敵するか、それを上回る持続的なパフォーマンス（$\eta_{scale}$：0.94から1.27の範囲）を達成した。これらのモデルは、既存のカーネルが効果的に処理できるように、リファレンスと同様のトランスフォーマー・ブロック構造を共有している。
• 限界： 残りの5つのモデルは、より低い効率（$\eta_{scale}$ 0.24–0.94）を示した。著者らは、これをパー・カーネルのワークロードが小さいこと（ディスパッチ・オーバーヘッドを償却できない）、およびサポートされていない操作（例：QKVバイアス、パー・ヘッドQ/K正規化）に起因するとしており、これらはパディングを必要とするか、あるいはカーネル融合を妨げる要因となっている。
• デプロイメント時間： 自律的なデプロイメントは0.5から4時間で完了し、手動デプロイメントと比較してエンジニアリングの労力を大幅に削減した。

意義
本論文は、「機能的な汎用化」を実証したと主張しており、人間主導の最適化から蒸留されたスキル・システムが、追加のモデル固有の人間によるエンジニアリングなしに、空間型NPU上で競争力のあるLLM実装を自律的にデプロイできることを証明している。これは、単一カーネルの最適化を超えて、エンドツーエンドのデプロイメント・ワークフローへと移行することで、既存の研究におけるギャップを埋めるものである。本研究は、エネルギー効率の高い空間型アクセラレータへのエッジLLMデプロイメントのエンジニアリング障壁を下げるための経路を確立しており、エージェントの自律性が、最終的にはこの領域における広範な専門的エンジニアリングの必要性を代替できる可能性を示唆している。