No Attention, No Problem: DPU-Aware Attention Approximation in Modern YOLO on FPGA

技術要約：アテンションなしでも問題なし：現代的なYOLOのFPGAにおけるDPU対応アテンション近似

問題提起
エッジベースの人工知能（AI）は、特にリアルタイムの物体検出において、精度、速度、および電力効率の間の繊細なバランスを必要とします。Field-Programmable Gate Arrays（FPGA）は、再構成可能なハードウェアを通じて高い性能と低消費電力を提供しますが、最先端（SOTA）の物体検出モデルをFPGA System-on-Chip（SoC）上にデプロイすることは、大きな課題を伴います。具体的には、現代的なYOLOバリアント（YOLOv11やYOLOv26など）は、空間アテンションメカニズム、特定の活性化関数（例：SiLU）、およびスプリット操作といった複雑なコンポーネントを使用していますが、これらはAMD Xilinx DPUCZDX8Gのような商用ディープラーニング・プロセッサ・ユニット（DPU）ではネイティブにサポートされていません。これらのサポートされていない演算に遭遇すると、実行はCPUへとフォールバックし、ハードウェア加速による効率向上のメリットを打ち消すボトルネックを生じさせます。さらに、既存の文献は主に初期のYOLOバージョンや標準的な水平バウンディングボックスに焦点を当てており、現代的なアテンションベースのアーキテクチャや回転物体検出（OBB）は、FPGAデプロイの文脈において十分に探索されていません。

手法
著者らは、Vitis AIツールチェーンを使用して、AMD Xilinx ZCU104 FPGA SoC上に現代的なアテンションベースのYOLOモデルをデプロイするためのための体系的なフレームットワークを提案しています。この手法は、以下の4つの主要な段階で構成されます。

1. データセットの準備: 本研究では、標準的（水平）および回転物体検出の両方をカバーする6つのベンチマークデータセットを利用しています：標準タスクにはCOCO、Pascal VOC、KITTI；回転タスクにはDOTA、DIOR-R；そしてカスタム構築された人間存在データセットです。
2. DPU対応アーキテクチャの適応: DPU上での完全な実行を確実にするため、著者らはモデルアーキテクチャ（YOLOv8、YOLOv11、およびYOLOv26を含む、OBBバリアントを含む）を修正し、サポートされていないコンポーネントを置き換えています。
   • 活性化関数: サポートされていないSigmoid Linear Unit (SiLU) を、Rectified Linear Unit (ReLU) に置き換えています。
   • スプリット操作: 特徴融合ブロック（例：C2f）におけるサポートされていないスプリット操作を、等価な $1 \times 1$ 畳み込み演算に置き換えています。重みは、チャネル分割の挙動を再現するためにバイナリ選択行列として初期化されています。
   • アテンションメカニズムの近似: reshape、transpose、行列積、Softmaxなどのサポートされていない演算に依存する複雑な空間アテンションモジュール（例：YOLOv11のC2PSA）を近似しています。著者らは、Query、Key、Valueの特徴を抽出するために並列な $1 \times 1$ 畳み込みを使用し、スケールされた要素ごとの積によってアテンション重みを近似し、SoftmaxをHard-Sigmoidに置き換え、$1 \times 1$ 畳み込みによって結果を再び投影する、DPU互換バージョンを提案しています。
3. 学習と量子化: モデルはUltralyticsライブラリを使用して混合精度（FP16）で学習されます。DPUデプロイに不可欠なステップとして、32ビット浮動小数点から8ビット整数表現へ変換するために、学習後量子化（PTQ）が適用されます。
4. コンパイルとデプロイ: 量子化されたモデルは、8つの異なるDPUCZDX8G IPコア構成（B512からB4096）をターゲットとして、Vitis AIコンパイラを使用してコンパイルされます。ハードウェア設計はVivadoおよびVitisを使用して再構築され、ZCU104用のビットストリームおよびデプロイイメージが生成されます。

主な貢献
本論文は、主に4つの貢献を行っています。

1. カスタマイズされたアーキテクチャ: 現代的なアテンションベースのYOLOバリアント（v11およびv26）を商用FPGA SoC上にデプロイすることを可能にする、DPU対応のアテンション近似アーキテクチャを提示しています。
2. 包括的なベンチマーク: 最先端のデータセットを用いて、標準および回転物体検出タスクの両方におけるこれらのモデルのエンドツーエンドの性能評価を提供しています。
3. アーキテクチャ分析: 8つのすべてのDPUCZDX8G IPコア構成における性能（レイテンシ、FPS、電力、リソース利用率）の詳細な分析を提供しています。
4. 定量的ベースライン: Vitis AIツールチェーンを用いた、FPGA SoC上での標準および回転バウンディングボックス検出モデルのデプロイに関する定量的ベースラインを確立しています。

結果
研究では、修正されたモデルをすべてのデータセットおよびDPU構成に対して評価しています。

• 精度: アーキテクチャの修正（SiLUの置換、アテンションの近似）により、元のFP32モデルと比較して、mAP@0.5:0.95において平均絶対減少は約3%でした。その後のFPGAへのデプロイ（8ビット量子化を含む）により、CPU実行と比較してさらに平均約7%の減少が生じ、最終的なデプロイ済みシステムでは合計で約5%の精度低下となりました。
• 性能: YOLOv26nおよびYOLOv26n-OBBが最も高いエンドツーエンドのスループットを達成しました。最大のDPU構成（B4096）において、これらは標準検出で 34.05 FPS、回転検出で 29.55 FPS に達しました。
• レイテンシとボトルネック: DPUのアーキテクチャがB512からB4096へとスケールするにつれて、DPU固有のFPSは増加しレイテンシは減少しましたが、DPUの性能とエンドツーエンドの性能の間には依然として大きな隔たりがありました。著者らは、非最大値抑制（NMS）に特化したポストプロセッシングが単一のCPUコアで実行されるため、DPUの容量に関わらず全体ののスループットを制限する決定的なボトルネックであると特定しています。
• 効率性: B4096構成は最大8.760 Wを消費し、これはB512構成（4.792 W）に対して83%の増加となります。それにもかかわらず、著者らはこのソリューションが最先端の代替案と比較して約 3倍低い消費電力 を達成していると主張しています。

意義
本論文は、ハードウェアの不適合性によってこれまで困難であった最新のアテンションベースのYOLOアーキテクチャのFPGAへのデプロイを可能にすることで、文献における重要なギャップに対処していると主張しています。モデルを体系的に適応させ、多様なデータセットとDPU構成にわたってベンチマークを行うことで、本研究はエッジAI開発者に実用的なロードマップを提供しています。結果は、量子化とハードウェア適応のために精度の低下（約5%）が必要であるものの、このアプローチが大幅な電力効率とリアルタイムのスループットの向上をもたらし、自動運転、ドローンナビゲーション、監視などのアプリケーションにとって実行可能であることを示しています。著者らは、ポストプロセッシングのボトルネックをさらに緩和し、エンドツーエンドの性能を向上させるために、NMSへの依存関係を取り除くことに今後の課題があるとして、控えめに述べています。