Uncertainty-Aware End-to-End Co-Design of Neural Network Processors: From Training and Mapping to Fabrication

技術要約：ニューラルネットワーク・プロセッサの不確実性を考慮したエンドツーエンドの協調設計

問題提起
ニューラルネットワーク・プロセッサ（NNP）の設計は、本質的に、ネットワーク・アーキテクチャと学習、ハードウェア・マッピング、ウェハーレベルの製造、および計算リソース配分という、相互に依存する4つのステージを含むエンドツーエンドの協調設計問題である。初期段階の決定（例：学習予算）は推論ワークロードを規定し、ハードウェア・マッピングはチップの面積、レイテンシ、エネルギーを決定し、それが最終的に製造歩留まりと製造コストに影響を与える。

既存の手法には、主に以下の3つの限界がある：

1. モジュール性の欠如： 既存のアプローチ（Hardware-Aware NASや、NAAS、DANCEのような結合探索ツールなど）は、グローバルな目的関数と特定の探索アルゴリズムを密結合させている。一つのコンポーネント（例：学習サロゲート）を改善しようとすると、探索パイプライン全体を作り直す必要がある。
2. 評価コスト： ネットワーク、マッピング、製造の選択肢を網羅的に探索することは、詳細なハードウェア検証の高コストゆえに不可能であり、そのため、構成可能なフレームワークではなく、スタンドアロンの統計的予測器への依存を余儀なくされている。
3. 不確実性の扱い： 学習（ランダムな初期化）、マッピング（ヒューリスティック探索）、製造（プロセス変動）における確率的要素は、通常、点推定値として集約されるか、あるいは単なる妨げとなる変数として扱われるが、最適化可能なリソースとして明示的に管理されることはない。

手法
本論文は、単調協調設計理論（Monotone Co-Design Theory）に基づいた統一フレームワークを提案する。核心となる革新は、NNPの設計プロセスを、相互運用可能な4つの実装を伴う単調設計問題（MDPI: Monotone Design Problems with Implementation）へと分解することである。各ブロックは、システム内の他の部分に対して、その内部のアルゴリズムの詳細を隠蔽した機能性–リソース・インターフェースのみを公開する。

4つのMDPIブロックは以下の通りである：

1. ネットワーク選択および学習パイプライン： 学習予算を、埋め込み構成と精度保証へとマッピングする。
2. チップ設計パイプライン： 埋め込み構成とソルバー予算を、チップレベルの面積、エネルギー、レイテンシ（LEA）へとマッピングする。
3. 製造予測： チップ面積と金銭的コストを、歩留まりのある機能チップの数へとマッピングする。
4. 計算分布プランナー： 計算予算（時間、電力、コスト）を、学習ブロックとマッピングブロックの間で配分する。

主な貢献

1. MDPIによる形式的な構成：
   本フレームワークは、各サブシステムを、実装の集合と、機能およびリソースのポセット（順序集合）に対する設計問題（DP）への写像によって定義されるMDPIとして扱う。これにより、システムを直列、並列、およびフィードバック操作を用いて構成することが可能になる。決定的なのは、内部のソルバー（例：マッピングのための遺伝的アルゴリズム）は不透明であり、結果として得られる実行可能な「機能性–リソース」のペアの集合のみが可視化される点である。これにより、単一のブロックの実装集合を改善しても、グローバルな協調設計図の構造を変更する必要がないことが保証される。

2. 第一級のリソースとしての不確実性（信頼度）：
   本論文は、MDPIを分布の不確実性を扱うように拡張している。確率的な結果を点推定値に集約する代わりに、フレームワークは、コスト、時間、電力と並んで、明示的かつ最適化可能なリソースとして、成功確率の逆数である信頼度（Confidence） ($\pi^{-1}$) を導入する。

• 学習： 同分散のガウスノイズを伴う学習曲線に従う、予算化された確率過程としてモデル化される。
• マッピング： 遺伝的アルゴリズムの実行から得られたLEA指標に対する、サロゲート分布（3成分混合モデル）を用いてモデル化される。
• 製造： 欠陥のクラスタリングを考慮するために負の二項分布を用いた歩留まりモデルを使用し、面積とコストを、歩留まりのあるチップの分布へとマッピングする。
  グローバルな信頼度は、各コンポーネントの信頼度の積（独立性の仮定の下で）となり、設計者は信頼性とリソース支出の間のトレードオフを調整できる。

3. サロゲートに基づく評価：
   評価コストに対処するため、フレームワークはオフラインでプロファイリングされたサロゲート（ガウス学習曲線、LEAのための混合分布、および負の二項分布を用いた製造モデルなど）に依拠する。これらのサロゲートにより、高価な基礎となるソルバーを再呼び出しすることなく、数秒でパレート最適解を計算することができる。

結果
本フレームワークは、3つのケーススタディを通じて検証されている。

• ケーススタディ I（エンドツーエンドの協調設計）： 屋内清掃ロボット向けのベースラインとなるNNP設計問題を解決する。ソルバーは、ネットワーク・アーキテクチャ、マッピング戦略、製造ノード、および計算ハードウェアにわたるパレート最適実装を復元する。これは、本フレームワークが、逐次的な最適化では見落とされる非直感的なトレードオフ（例：コスト削減のためにパワーを犠牲にする積極的なハードウェア選択）を特定できることを示している。
• ケーススタディ II（マルチシナリオおよび不確実性）：
  • 制約の感度： 制約（面積、エネルギー、レイテンシ、歩留まり、精度）が段階的に厳しくなる4つのシナリオを評価する。結果は、制約が厳しくなるにつれてパレート境界が単調に外側へシフトすることを示しており、これは形式論の順序構造と一致している。
  • 設計ノブとしての信頼度： 信頼度が、連続的に調整可能なリソースとして機能することを実証する。高度に制約されたシナリオ（神経インプラント）において、Time–Confidence（時間–信頼度）のパレートフロントは急峻なトレードオフを明らかにする：高い信頼性を達成するには、不釣り合いなほどの時間投資が必要となる。これにより、「信頼性のコスト」という、決定論的な定式化では隠されていた指標が定量化される。
  • サロゲートの妥当性検証： 学習、マッピング、および製造のサロゲート分布が、観察された確率性を忠実に捉えていることを検証し、信頼度を信頼できる設計リソースとして使用できることを正当化する。
• ケーススタディ III（アルゴリズム–フレームワークのデカップリング）： チップ設計ブロックの実装集合を強化（GAのエポック数を増やすことで、より優れたソルバーをシミュレート）することにより、モジュール性を検証する。結果は、単一のブロックの改善が、協調設計図や他のブロックを変更することなく、自動的にグローバルなパレートフロントへと伝播することを示している。支配された実装は自動的に除去され、非支配的な改善はグローバルなフロントをシフトさせる。

意義
本論文は、この形式論が、以下の機能を同時に提供する、原理に基づいたエンドツーエンドのNNP協調設計の基盤を提供すると主張している：

1. 構成可能性（Compositionality）： 設計を、抽象化レベル（学習から製造まで）を超えて構成する能力。
2. 第一級の不確実性定量化： 信頼性を、事後的な診断ではなく、調整可能な設計ノブとして扱うこと。
3. モジュール性： 単一のブロックにおけるアルゴリズムの改善を、独立して寄与・構成できるようにすることで、反復的なNNP開発の経済性を根本的に変えること。
4. 評価の効率性： 確率性をモデル化する能力を損なうことなく、オフラインのサロゲートを介した迅速な探索を可能にすること。

著者らは、本研究を、共同探索を行う従来のメソッドとは異なり、高レベルの協調設計の探索と、テープアウト可能な実装との間の溝を埋める、厳格で柔軟かつモジュールな手法への一歩として位置づけている。