Apple Neural Engine: Architecture, Programming, and Performance

技術要約：Apple Neural Engine：アーキテクチャ、プログラミング、およびパフォーマンス

問題
Apple Neural Engine (ANE) は、A11 (2017年) および M1 (2020年) 以降、25億台以上の稼働中のAppleデバイスに搭載されている、最も広く普及している機械学習アクセラレータである。その遍在性にもかかわらず、ANEはApple Siliconエコシステムの中で最も不透明なプログラマブルエンジンであり続けている。公開された命令セットも、文書化されたドライバインターフェースも存在せず、プログラムが計算をANE上で実行したことを検証するメカニズムも存在しない。アプリケーションは、Core MLフレームワークを通じてのみANEとやり取りを行う。Core MLは配置プランナーとして機能し、不透明なコストモデルに基づいて、モデルをCPU、GPU、およびANEに分割して配置する。Core MLの表面下では、データパス、数値演算、パフォーマンス・エンベロープ、コンパイラ、プログラム形式、カーネルドライバ、およびファームウェアはすべて未文書化であり、サポートもされていない。この可視性の欠如は、オンデバイスの研究、パフォーマンスチューニング、および標準的なCore MLの配置戦略に適合しないカスタムワークロードの開発を阻害している。

手法
本研究では、シリコンへの直接測定と、プライベートなシステムコンポーネントの静的および動的解析を組み合わせた、フルスタックのリバースエンジニアリング・アプローチを採用している。

• 直接アクセス: 著者は、Core MLの配置プランナーを回避し、通常のユーザープロセスからANEへの直接的なルートを特定し、これを利用した。このルートは、承認された操作に対して特別なエントリメント（権限）なしで呼び出し可能な、プライベートなEspressoランタイム (e5rt) を利用している。
• 測定: M1およびM5チップを中心としたApple Silicon上での性能および電力メトリクスを直接測定した。これには、オンデバイスのツールを用いたレイテンシ、スループット、およびエネルギー消費のプロファイリングが含まれる。
• デコンパイルと解析: 著者は、プライベートなランタイム、コンパイラ、カーネルドライバ、およびファームウェアをデコンパイルし、解析した。コマンドプロトコル、アドレス変換メカニズム（DART）、およびホスト・ツー・ファームウェア・インターフェースを調査した。
• 検証: クレームは、「実測値」（シリコン上で観察されたもの）、「デコンパイル由来」（逆アセンブルされたバイナリから推論されたもの）、または「予測値」（チップごとのテーブルから推論されたもの）に分類された。著者は、コンパイラの挙動をハードウェアの実際の実行と照らし合わせることで、自身の知見を検証し、能力ビット（capability bits）が必ずしも到達可能な操作（reachable operations）を意味しないことを確認した。

主な貢献
本論文は、fp16データパスからシステムインターフェースに至るまで、ANEのエンドツーエンドの包括的な技術解説を初めて提供するものである。

1. アーキテクチャと数値演算:

   • データパス: ANEは、固定機能のfp16行列アクセラレータであり、広範な（fp32クラスの）アキュムレータ（累算器）を備えている。入力と出力はfp16であるが、累積はより広いレジスタに保持される。これにより、畳み込みや正規化における精度は維持されるが、入力の丸めによるキャンセルが発生しやすいステップ（例：Transformerのダウンプロジェクション）では精度が損なわれる。
   • 実行モデル: エンジンは自律的なコプロセッサとして動作する。ネットワークは一度コンパイルされると、静的なグラフ（「プログラム」）となり、その後何度もディスパッチされる。制御フローはコンパイル時に固定される。データ依存の分岐はサポートされていない。
   • 状態管理: バッファ・エイリアシング（あるステップの出力が次のステップの入力となる）を介して、ディスパッチ間で残留状態（resident state）をサポートしている。これにより、ホストへの状態テンソルへのラウンドトリップなしに、効率的な自己回帰的デコーディングや学習ループが可能になる。

2. プログラミングとツールチェーン:

   • 直接ルート: 著者は、Espressoランタイム (e5rt) を使用した「直接ルート」について詳述している。これにより、開発者はCore MLセグメンターを経由せずに、グラフをコンパイル、ロード、および直接ANEへディスパッチできる。
   • コンパイラとフォーマット: 著者は、コンパイラのバックエンド・ダイアレクト (anec.*)、中間言語、およびオンディスクのプログラム形式をデコードした。コンパイルされたプログラムは、レジスタ書き込みストリームとウェイトバンクを含む、Mach-O形式のコンテナ（マジックナンバー 0xbeefface）であり、FlatBufferのディスパッチ記述子によってラップされている。
   • 重みの圧縮: 著者は、4つの圧縮形式（int4パレット、int8アフィン、構造化スパース性、ブロックワイズ・アフィン）を分析した。これにより、ストリーミング動作（オンチップでの展開か、DRAMへの高密度fp16へのフォールディングか）がチップ世代によって異なることが明らかになった。例えば、M1ではint4と構造化スパース性のみがネイティブにストリーミングされるが、int8はフォールディングされるため、帯域幅の利点が得られない。

3. パフォーマンスと効率性:

   • ルーフラインモデル: 著者はANEのルーフラインを確立した。M1において、計算の天井（compute roof）は約12 fp16 TFLOP/sであり、約85 GB/sのDRAM帯域幅によって制限される。リッジポイント（算術強度）は約141 FLOP/byteである。
   • 効率性: 計算量に縛られる（compute-bound）ワークロードにおいて、ANEはGPUよりも大幅に効率的である。256チャンネルの3x3畳み込みにおいて、ANEはGPUよりも約3.8倍速く、約9倍エネルギー効率が高い。
   • レイテンシ: 単一のディスパッチには大きなオーバーヘッド（M1で約190 µs）が発生し、そのうち約98%は計算ではなく、ソフトウェア/ファームウェアのディスパッチに起因する。

4. 能力の範囲と制限:

   • 到達可能性（Reachability）: 本論文は、「広告された」能力（ハードウェアビット）と「到達可能な」操作（正常にローアリングおよび実行される操作）を区別している。例えば、3D畳み込みは広告されているが、すべてのデバイスにおいてバックエンドのローアリングに失敗する。
   • エントリメント: 直接ルートは標準的な操作に対して特別なエントリメントを必要としないが、カーネルレベルの署名チェックによって制限されている。手書きのバイナリをロードすることはできず、システムデーモンがプログラムをコンパイルし、署名する必要がある。
   • ゲート機能: ネイティブなステートフル型（リングバッファ）、bf16 I/O、および柔軟なシンボリック形状などの機能は、M1では欠落しているか、あるいはオーバーヘッドを伴う公認のフレームワーク経由のルートを必要とする。

結果

• パフォーマンス: ANEは、ピーク計算時において0.37ピコジュール/FLOPに近いピーク効率を達成する。畳み込みおよびバッチ行列乗算（N < 2048）においてGPUを凌駕するが、帯域幅に制限される自己回帰的デコーディングではGPUより遅くなる。
• 数値的挙動: 広範なアキュムレータにより、表現可能な和（例：16,000個の「1」）はビット単位で正確であるが、標準的なfp16の和は、入力の丸めにより精度が低下する。
• 圧縮: M1において、int4ルックアップテーブルは、帯域幅に制限されるレイヤーに対してfp16より2.37倍の高速化を実現する一方、構造化スパース性は1.55–1.64倍の高速化を提供する。M1におけるint8フォールディングは、ストレージの節約にはなるが、帯域幅の利点は提供しない。
• システム内部: 著者は、コマンドプロトコル（93個のコマンド）、ファームウェア構造（styx RTOS）、およびアドレス変換メカニズムをデコードし、ホストがいかにしてバッファをエンジンの仮想アドレス空間にマップするかを明らかにした。

意義
本論文は、ANEの「到達可能な表面（reachable surface）」を初めて提供したと主張しており、不透明なCore MLフレームワークを超えて、エンジンの実際の能力と限界を明らかにしている。直接ルートを文書化したことにより、著者はこれまで不可能であったオンデバイスの研究と測定を可能にした。本研究は、エンジンの能力に関する誤解（例：3D畳み込みパスの不在）を正し、Apple Silicon向けにモデルを最適化するための厳密な基礎を提供する。著者は、直接ルートは強力な研究手法ではあるものの、文書化されておらず、サポートもされておらず、OSアップデートに対して脆弱であること、そして出荷されるソフトウェアにとってはCore MLが唯一のサポートされた経路であることを強調している。これらの知見は、現代のモバイルNPUにおける計算、メモリ帯域幅、およびエネルギー効率のトレードオフを理解するためのリファレンスとして機能する。