技術的概要：TREA – 低精度・時分割・リソース効率型エッジアクセラレータ

問題提起

物体検出やシーン認識などのタスクのためにリソース制約のある組み込みプラットフォームに展開されるエッジビジョンおよび視覚 AI（EV2AI）システムは、精度、遅延、エネルギー消費の間で根本的なトリレマに直面している。ViT-G などの最先端モデルは数十億のパラメータと巨大な乗算・加算（MAC）演算を必要とし、メモリアクセス（オフチップ DRAM アクセスはアクセスあたり最大 640 pJ を消費し得る）に支配される禁止的なエネルギーコストをもたらす。既存のアクセラレータ設計は、しばしば量子化、プルーニング、MAC ユニット設計、またはアーキテクチャの再利用を個別に対処しており、アルゴリズムからハードウェアまでのフルスタックにわたる統合された共設計フレームワークを欠いている。さらに、従来の MAC ユニットはアキュムレータのビット幅の拡大と高いハードウェアオーバヘッドに悩まされ、非線形活性化関数（NAF）ユニットはアクセラレータ全体の面積の最大 25% を消費し得る。

手法

本論文は、算術データパス、プルーニングパターン、活性化の再利用、およびレイヤーごとの実行スケジュールを共同で最適化する統合エッジ AI アクセラレータアーキテクチャであるTREAを提案する。この手法は、3 つの中核的な共設計コンポーネントに依存する。

1. MSD 誘導型 2 乗量子化（MSD-PoTQ8）および DQ-MAC:
   著者らは、乗算器不要の二重精度（4/8 ビット）SIMD 乗算・加算（DQ-MAC）ユニットを提案する。従来の乗算の代わりに、2 乗分解に基づく最上位桁優先（MSDF）のシフト・加算計算を利用する。

   • 累積前切り捨て: この方式は、符号付き 2 乗項を用いて重みを近似する。重要なのは、累積の前に切り捨てを行うことで、必要なアキュムレータのビット幅を削減し、乗算後の量子化ハードウェアを排除することである。
   • 二重精度 SIMD: このユニットは、4 ビットまたは 8 ビットの固定小数点演算をサポートする。桁レベルの時分割多重化により、単一のハードウェアインスタンスが 1 クロックあたり 4 つの 4 ビット演算または 1 つの 8 ビット演算を実行でき、ハードウェアの複製なしで最大 4 倍のスループットを達成する。

2. 構造化ハードウェア認識削減プルーニング（SHARP）:
   4 ライン SIMD データパスの利用率を最大化するために、著者らは SHARP を導入する。これは、スパース性パターンをハードウェア実行粒度に直接整合させるプルーニング戦略である。

   • 整合: 標準的な構造化プルーニングとは異なり、SHARP は SIMD 幅の正確な倍数であるカーネルごとの重み保持比率（3x3 カーネルでは 4:9、5x5 カーネルでは 12:25）を強制する。
   • スケジューリング: この整合により、完全なライン利用率が確保され、部分的に占有された実行サイクルが排除され、プルーニングがハードウェア効率的なスケジューリング機構へと変換される。

3. 再構成可能量子化対応非線形活性化（RQ-NAF）:
   単一の共有 CORDIC ベースのコアがシグモイド、タンヘン、および ReLU 関数を実装する。

   • 時分割多重化: 各ニューロンまたはレイヤーごとに個別のハードウェアをインスタンス化するのではなく、単一の 9 ステージパイプライン付き RQ-NAF コアがネットワーク全体で時分割多重化される。
   • 効率性: 初期のパイプライン充填後、1 クロックあたり 1 つの出力を生成するため、活性化関数のランタイム選択をサポートしつつ、面積オーバヘッドを大幅に削減する。

完全な TREA アーキテクチャは、レイヤーごとのハードウェア再利用とタイリングを管理する統合エンジンによって制御される、100 個の SIMD DQ-MAC ユニットの 1 次元アレイと共有 RQ-NAF コアを統合している。

主要な貢献

本論文は、以下の具体的な貢献を詳述する。

• DQ-MAC ユニット: 乗算器不要で MSD に基づく SIMD MAC であり、累積前切り捨てを実行することでアキュムレータ幅を削減し、ハードウェア複製なしの 4 ビット SIMD 実行を通じて 4 倍のスループット向上を可能にする。
• SHARP 戦略: スパース性パターン（4:9 および 12:25）を SIMD 幅にマッピングする共設計プルーニング手法であり、100% のライン利用率を保証し、カーネル実行サイクルを削減する（例：4 ビットモードにおいて 3x3 カーネルを 9 クロックから 1 クロックへ）。
• RQ-NAF コア: 複数の関数（ReLU、シグモイド、タンヘン）をサポートし、(N-1) のハードウェア再利用を実現する再構成可能・時分割多重化 CORDIC ベースの活性化ユニットであり、活性化ハードウェアのオーバヘッドを劇的に削減する。
• システムレベルの共設計: DQ-MAC、SHARP、および RQ-NAF を統合した統合 1 次元アクセラレータアーキテクチャであり、FPGA 実装および 28 nm ASIC 合成を通じて検証されている。

結果

TREA アクセラレータは、物体検出（PASCAL VOC、COCO）に YOLO 変種、分類（ImageNet）に MobileNet/EfficientNet/Inception を用いて評価され、Xilinx VC707 FPGA および 28 nm ASIC プロセスでのハードウェア合成が行われた。

• 精度: システムは FP32 ベースラインと同等の検出精度を維持し、YOLO 変種全体で mAP@0.5 の低下は 3% 未満である。二重精度構成は、4 ビット精度で選択的に動作しながら、8 ビット一様量子化と同等の精度を達成する。
• 遅延およびスループット: SHARP と DQ-MAC の組み合わせにより、カーネルレベルで最大9 倍の遅延削減が達成される（例：3x3 カーネルが 9 クロックに対して 1 クロックで計算される）。アクセラレータは、固定精度設計に対して最大 4 倍のスループット向上を達成する。
• ハードウェア効率:
  • FPGA: Xilinx IP コアと比較して、DQ-MAC は LUT 利用率を最大 72%、消費電力を最大 50% 削減する。
  • ASIC: 本設計は、最先端の近似 MAC ユニットと比較して競争力のある面積、遅延、および電力遅延積（PDP）を示し、組み込みシステム向けのよりコンパクトでバランスの取れた実装を提供する。
  • リソースフットプリント: TREA は、比較対象のドメイン固有アクセラレータの中で最も低いリソースフットプリント（LUT およびレジスタ）の 1 つを達成しつつ、高いエネルギー効率（GOPS/W）を維持している。

重要性

本論文は、TREA が孤立した最適化を超えて統合的なアルゴリズム・ハードウェア共設計フレームワークへと移行することで、重要な前進を遂げたと主張する。その重要性は以下の点にある。

1. 統合最適化: 量子化、構造化プルーニング、およびアーキテクチャの再利用を単一のパイプラインに統合し、モデルレベルの最適化（プルーニングなど）がハードウェア効率（完全な SIMD 利用率）に直接反映されることを保証する。
2. リソース効率: 乗算器を排除し、時分割多重化による活性化ハードウェアの再利用により、TREA はエッジプラットフォームの厳格な面積および電力予算に対処し、バッテリー駆動デバイスでのリアルタイム物体検出および分類を可能にする。
3. スケーラビリティ: 時分割多重化された 1 次元アーキテクチャは、レイヤーごとに専用ハードウェアを複製することなく、さまざまな DNN トポロジーにわたってスケーラブルな展開を可能にし、制御の複雑さとシリコン面積を削減する。

著者らは、TREA がリアルタイムエッジビジョンワークロードに対する実用的でスケーラブルな解決策を提供し、最先端の設計に対する包括的な FPGA および ASIC 評価を通じてその有効性を検証したと結論づけている。