技術要約：ハイパーディメンショナル・コンピューティングのためのコンパイラ駆動型近似チューニング

問題提起

ムーアの法則が物理的および経済的な限界に達しつつある中、機械学習のワークロードを加速させるためには、ドメイン固有のアプローチがますます必要となっている。ハイパーディメンショナル・コンピューティング（HDC）は、脳に触発されたパラダイムであり、固有のノイズ耐性とハードウェア効率を備えた、ディープラーニングに代わる有望な手法として台頭している。しかし、HDCアルゴリズムはノイズや近似に対して耐性がある一方で、その特性を活用するための設計空間は組合せ爆発的に巨大である。

単一のHDCアプリケーションには数十のプリミティブ演算が含まれる場合があり、各演算は複数の近似戦略（例：精度削減、反復回数のスキップ、アルゴリズムのバリエーション）を提供している。CPU、GPU、およびReRAMやPCMのようなインメモリ・アクセラレータといったヘテロジニアスなハードウェアをターゲットにする場合、ADC解像度、ライト・ベリファイ（書き込み検証）の深さ、マルチレベルセル構成といったハードウェア固有のノブ（制御パラメータ）を含めることで、探索空間はさらに拡大する。これらの構成はデータセットやバックエンド間で転送されることが稀であり、かつクロス演算の相互作用は経験的な評価なしには予測が困難であるため、これらを手動でナビゲートすることは不可能である。既存のフレームワークは、HDCプリミティブ（例：EnerJ、ApproxHPVM）に対するドメイン固有のコンパイラサポートに欠けているか、あるいは限定的な非コンパイラ統合型のハイパーパラメータチューニング（例：MicroHD）に依存しており、ヘテロジニアスなターゲットに対してソフトウェアとハードウェアの両方の近似を統合的に最適化できていない。

手法：ApproxHDC

これらの課題に対処するため、著者らは、HDCワークロードにおけるドメイン固有の近似を特定し適用するための自動化フレームワークであるApproxHDCを提案する。ApproxHDCは、リターゲット可能なコンパイルと自動チューニングを可能にするために、既存のHPVM-HDCコンパイラ・インフラストラクチャを拡張したものである。

システムアーキテクチャ

本フレームワークは、クローズドループのコンパイルおよびチューニングプロセスを通じて動作する：

1. HDCプリミティブの特定: コンパイラパスがHDC++ソースコードに対して静的解析を行い、すべてのHDCプリミティブの呼び出しを特定する。これにより、コンテキスト・メタデータ（関数、基本ブロック、実行順序）を抽出し、プログラムの操作を表す構造化されたJSON表現を生成する。
2. 近似設計空間の構築: ApproxHDCチューニングシステム（Pythonを用いてOpenTunerで実装）は、ソフトウェアとハードウェアの両方の近似を包含する探索空間を構築する。
   • ソフトウェア近似: リダクション・パーフォレーション（リダクション操作におけるループ反復のスキップ）、自動バイナリ化（ハイパーベクトルをパックされたシングルビット表現に変換）、エンコーディング次元数の調整、要素型表現（例：FP32からINT8への変換）、およびアルゴリズムの選択（例：コサイン類似度対ハミング距離）を含む。
   • ハードウェア近似: インメモリ・アクセラレータ（ReRAM/PCM）向けに、ADC解像度、ライト・ベリファイ・サイクル、アナログ量子化スケール、およびマルチレベルセル（MLC）ビットなどのノブをモデル化する。
3. 探索空間の枝刈り: 探索を扱いやすくするために、ApproxHDCは2つの戦略を採用している：
   • ドメイン認識型枝刈り: システムはHDCの知識を活用して、有望でない領域（例：特定のエンコーディング段階が近似に対して敏感すぎることを認識するなど）を排除する。
   • 開発者ガイド型枝刈り: 開発者は、軽量なソースコード注釈（__hetero_hdc_no_approx）を使用して、特定のプリミティブやサブグラフを探索空間から除外することができ、チューナーがクリティカルで耐性の低いステージに時間を浪費することを防ぐ。
4. 反復チューニング: システムは構成を経験的に探索し、品質（QoS）メトリクス（例：精度、NMIスコア）、実行時間、およびエネルギーを測定する。選択された近似注釈をソースコードに再挿入し、HPVM-HDCを介して再コンパイルを行い、時間予算または収束限界に達するまで反復を行う。

主な貢献

本論文は、主に4つの貢献を述べている：

1. ApproxHDCフレームワーク: ヘテロジニアスなハードウェア（CPU、GPU、およびシミュレートされたReRAM/PCMアクセラレータ）にわたって、エンドツーエンドのパフォーマンス、エネルギー、およびQoSを統合的に最適化するために、近似の選択を自動化するオートチューニングシステム。
2. 統一されたソフトウェア・ハードウェアサポート: インメモリ・アクセラレータのノブをコンパイラ駆動のチューニングループに統合し、ソフトウェア変換とハードウェアレベルのパラメータの両方を、探索空間の第一級の次元として扱う最初のフレームワーク。
3. HDC特有の枝刈り技術: ドメイン認識型の自動枝刈りと開発者による注釈を組み合わせることで、近似探索空間を最大86桁（例：$10^{89}$の空間を$10^3$に）削減し、数分以内に高品質な構成の発見を可能にする手法。
4. 包括的な評価: 4つのベンチマーク（HD-Classification、HD-Clustering、RelHD、HD-HashTable）と複数のデータセットにわたる広範な評価を実施し、ユーザー指定のQoS制約を遵守しながら大幅なスピードアップを実現した。

実験結果

評価は、AMD EPYC CPU、NVIDIA RTX 2080 Ti GPU、およびSpecPCMシミュレータを用いて行われた。

• パフォーマンスの高速化: ApproxHDCは、QoS制約（通常は精度損失5%以内、または特定のNMI閾値内）を維持しながら、CPUで最大17.25倍、GPUで最大15.02倍、SpecPCMで最大4.69倍のスピードアップを達成した。
• 最先端技術との比較: Pythonベースの非コンパイラ手法であるMicroHDと比較して、ApproxHDCは3.49倍のスピードアップの優位性を示した。特定の分類ベンチマークにおいて、ApproxHDCはMicroHDの最良の7.07倍のスピードアップに対し、24.65倍のスピードアップ（精度損失4.8%）をもたらす構成を見出した。この差は、MicroHDがアクセスできなかった操作ごとのリダクション・パーフォレーションやアルゴリズムの選択を、ApproxHDCが探索できたことに起因する。
• 探索の効率性: 枝刈り技術は極めて重要であった。枝刈りがなければ、探索空間が大きすぎて3時間のチューニング予算内で最適な構成を見つけることはできなかった。例えば、HD-Classificationにおいて、ヒントなしで完全なリダクション・パーフォレーションを有効にすると、チューナーは高性能な構成を見つけることができなかったが、「End-only + hint」構成は最適な設定を特定することに成功した。
• ハードウェア近似: SpecPCMにおいて、チューナーはハードウェアのノブ（例：ADC解像度の低減、量子化スケールの調整）をソフトウェアのパラメータ（例：トレーニング反復の削減）とバランスさせることで、精度の影響を最小限に抑えつつ、大幅なエネルギーおよびレイテンシの削減を実現した。

意義と主張

本論文は、ApproxHDCがHDCの理論的なノイズ耐性と、複雑な近似空間を手動でチューニングすることの実際的な困難さとの間の溝を埋めるものであると主張している。近似を、手動のエンジニアリング作業ではなく、コンパイラ駆動の自動化プロセスとして扱うことで、以下のことが可能になる：

• リターゲット可能性: 単一のHDC++アプリケーションを、複数のターゲット固有のバージョンを維持することなく、多様なハードウェアバックエンド向けに最適化できる。
• スケーラビリティ: 知的な枝刈りを通じて指数関数的に巨大な設計空間をナビゲートする能力により、実世界のアプリケーションにおける自動チューニングを可能にする。
• 包括的な最適化: アルゴリズム層と物理層の両方におけるHDC特有のノイズ耐性を活用し、ソフトウェアとハードウェアの近似を共同で最適化する独自の能力。

著者らは、単一の枝刈り戦略がすべてのアプリケーションにおいて一様に最高のパフォーマンスを実現するわけではないことを強調しており、これは開発者に探索を生産的に誘導するためのメカニズムを提供することの重要性を裏付けている。本研究は、適切なコンパイラ・インフラストラクチャとチューニング戦略があれば、HDCが許容可能な推論品質を維持しながら、ヘテロジニアスなプラットフォーム上で大幅なパフォーマンスとエネルギーの利得を得られることを示している。