技術要約：FPGAにおけるMSDF桁シリアル演算を用いたエネルギー効率の高いCNN加速

問題提起

U-Netアーキテクチャを用いた正確な脳腫瘍セグメンテーションは、医療画像において極めて重要であるが、計算負荷が高い。標準的なCPUやGPU上でU-Netを実装することは、膨大なエネルギーとリソースを消費するため、電力効率が最優先される組み込みおよびエッジ展開において課題となる。Field-Programmable Gate Array（FPGA）は有望な加速プラットフォームを提供しているが、既存の桁シリアル演算技術、特にMost-Significant-Digit-First（MSDF：最上位桁優先）方式は、特定のボトルネックに直面している。それは初期レイテンシである。

従来のMSDF実装では、内積計算が乗算器と加算器ツリーからなるカスケード構造を用いて行われる。各ステージ（乗算器および各レベルの加算器ツリー）は固定の起動遅延（$\delta$）を導入する。カスケード接続された演算では、これらの遅延が累積し、最初の出力桁が生成されるまでの総レイテンシを著しく増大させる。このオーバーヘッドは、内積計算が支配的となる畳み込み層において、桁シリアル処理の持つスループットの潜在能力を損なうものである。

手法

著者らは、カスケード接続されたコンポーネントの累積的な遅延を排除するために、乗算と加算を単一の**統合型乗算・加算（Merged Multiply-Add: MMA）**ユニットへと融合させた、新しいハードウェアアーキテクチャを提案している。

コアアーキテクチャ

1. 統合型乗算・加算（MMA）ユニット:

   • 乗算器と加算器のステージを個別に設けるのではなく、MMAユニットは、統一されたパイプライン内でビット単位の乗算と累積を同時に実行する。
   • 動作: 本ユニットは32個の入力チャネル（$T_N = 32$）を並列に処理する。8ビット量子化された活性化関数（MSDFでシリアルストリーミングされる）と、並列の8ビット重みを受け取る。
   • ロジック: 各クロックサイクルにおいて、$b$番目の活性化チャネルのビットが、対応する8ビットの重みとAND演算される。得られた部分積は、キャリ・プロパゲート加算器ツリーを用いて即座に累積される。
   • 残差処理: 桁シリアル計算をサポートするため、「残差」（部分和の下位ビット）が次のサイクルへと引き継がれる。加算器ツリーは、$T_N + 1$ 個の入力（32個の部分積 + 1個の残差）に対応しており、$\lceil \log_2(33) \rceil$ ステージを必要とする。
   • 冗長数系: 設計には、基数2および桁集合 $\{1, 0, -1\}$ を持つ符号付き桁（Signed Digit: SD）冗長数系を採用している。これにより、初期の出力桁が暫定的なものであっても、後続のサイクルで結果を修正することが可能となり、全精度を毎ステップで必要とすることなく、MSDF演算に必要な柔軟性を提供できる。著者らは、符号処理を簡素化するために、負ビットの反転符号化（Inverted Encoding of Negabit: IEN）を利用している。

2. システムレベルの構成:

   • カーネル処理ブロック（KPB）: $3 \times 3$ 畳み込みカーネルは、9つのMMAユニット（各空間位置に対応）のグループを用いて実装される。これら9つのユニットの出力は、MSDF加算器ツリーを介して合算され、1つの出力ピクセルに対する単一の部分和を生成する。
   • 並列性: システムは16個の並列KPBをインスタンス化しており、1クロックグループあたり16個の出力ピクセルを同時に計算できる。
   • ターゲットアプリケーション: 本設計はU-Netアーキテクチャに最適化されており、具体的には$3 \times 3$ カーネルおよびチャネル数が32の倍数である畳み込み層を対象としている。

主な貢献

本論文は、主に4つの貢献を述べている。

1. 新規MMAアーキテクチャ: 乗算と累積を単一のパイプラインに統合した融合型乗算・加算ユニットであり、個別の乗算器と加算器ツリーの遅延を排除することで、イテレーションあたりのレイテンシを削減する。
2. 並列空間処理: MMAユニットが複数の空間入力を並列に処理するアーキテクチャにより、畳み込み演算のスループットを大幅に向上させる。
3. エネルギー効率の高いFPGA実装: 固定小数点推論用に量子化されたU-Netモデルを用いて評価された、U-Net畳み込み層のための完全なアクセラレータ。これは、リソース制約のあるエッジアプリケーションへの適用可能性を示すものである。
4. 包括的な評価: レイテンシ、スループット、面積、およびエネルギー効率に関して、ビット並列、ビットシリアル、従来のMSDF、GPU、およびCPUの実装と比較した包括的な分析。

結果

提案された設計は、Verilog RTLを用いてXilinx Zynq-7020 SoC上に実装され、固定小数点推論用に量子化されたU-Netモデルに対して評価された。アクセラレータは100 MHzで動作する。

• スループット: 本設計は52.95 GOPSを達成した。これは、従来のビット並列設計に対して$1.07\times$、ビットシリアル設計に対して$4.36\times$、そして現代的なMSDFベースのアクセラレータに対して$2.52\times$の向上を示している。GPUはより高い絶対スループット（385.99 GOPS）を達成したが、それは大幅に高い電力コストを伴うものであった。
• エネルギー効率: 本アクセラレータは15.14 GOPS/Wを実現している。これは以下の通りである：
  • GPU（5.51 GOPS/W）より$2.7\times$優れている。
  • CPU（1.93 GOPS/W）より$7.8\times$優れている。
  • MSDFベースのFPGA実装（3.01 GOPS/W）より$5.0\times$優れている。
• エネルギー消費量: 演算バッチあたりの消費エネルギーは186.20 mJであり、これはGPUより$3.8\times$低く、CPUより$10.8\times$低い。
• 面積効率: 本設計は17.43 GOPS/Slice（$10^{-4}$でスケール）を達成しており、これはビット並列設計より$1.65\times$高く、MSDFベースのアクセラレータよりほぼ$6.7\times$高い。

意義と主張

本論文は、**統合型乗算・加算（MMA）**のアプローチが、カスケード接続されたMSDF演算に固有の初期レイテンシのボトルネックを効果的に解決することを主張している。演算を融合することで、本設計は、従来のコンポーネントを組み合わせた場合よりも短いイテレーションあたりのレイテンシを実現している。

著者らは、本研究をリソース制約があり、レイテンシに敏感なエッジアプリケーション（特に脳腫瘍セグメンテーションやコンピュータビジョンなどの医療画像分野）のためのソリューションとして位置付けている。結果は、本アクセラレータがCPUよりも低い周波数で動作しているものの、そのアーキテクチャの効率性が、エネルギー効率において桁違いの向上をもたらすことを示唆している。著者らは、このアプローチが、エネルギー制約が極めて重要な組み込みシステムにおいて、電力消費の激しいGPU/CPU推論に代わる実行可能な選択肢となることを結論付けている。

今後の課題として、不要な演算をスキップするための**早期終了（early termination）**メカニズムの追加や、より複雑なCNNをサポートするためのタイルによるアーキテクチャのスケーリングが、控えめに述べられている。