HERCULES: Hardware-Efficient, Robust, Continual Learning Neural Architecture Search

本論文は、展開可能な生涯学習型 AI システムの開発を導くために、ハードウェア効率性、ロバスト性、継続的学習という重要な目的を統合するニューラルアーキテクチャ探索のための新たなフレームワークおよび分類体系である HERCULES を紹介する。

要約

あなたが建築家であり、家を建てる任務を任されたと想像してください。長い間、重要だったのは家が**「よく見える」こと**（高い精度）だけでした。しかし、これらの「家」（AI モデル）を設計図から現実世界へと移し始めたとき、見た目だけでは不十分だと気づきました。

この論文はHERCULESと題され、真に成功する AI の家を建てるためには、3 つの困難な目標を同時にバランスさせる必要があると主張しています。

1. 効率性: この家は、スマートウォッチやセンサーのような小型のバッテリー駆動デバイスに収まるほど小さく、非常に少ないエネルギーで動作しなければなりません。
2. 堅牢性: この家は、嵐や地震、あるいは侵入を試みる者（敵対的攻撃やハードウェアノイズ）に耐えるほど頑丈でなければなりません。
3. 継続学習: この家は、時間とともに成長し変化できる能力を持たなければなりません。新しい家族成員（新しいタスク）が引っ越してきた場合、古い部屋を崩壊させることなく（以前の知識を忘却することなく）、彼らを収容するために拡張できる必要があります。

問題点：「サイロ」アプローチ

著者らは、現在の AI 研究者は通常、これら 3 つの要素の1 つだけに焦点を当てて家を建てていると指摘しています。

• 一部の研究者は、エネルギー効率が良いが嵐で崩壊してしまうような小さな家を建てます。
• 一部の研究者は、超強力だが移動するには重すぎる要塞のような家を建てます。
• 一部の研究者は、新しい部屋を簡単に追加できる家を建てますが、それらは巨大すぎて瞬時にバッテリーを消耗してしまいます。

この論文は、現実世界では3 つすべてを同時に満たす家が必要であると主張しています。

解決策：HERCULES フレームワーク

著者らは、HERCULES（Hardware-Efficient, Robust, and Continual LEarning Search：ハードウェア効率化、堅牢、継続学習探索）と呼ばれる新しいフレームワークを提案しています。ギリシャの英雄ヘラクレスにちなんで名付けられたのは、その任務が英雄のように「圧倒的な」ものだからです。

HERCULES を、単なる静的な設計図を描くのではなく、2 つの特別な機能を持つ「生きている」家を設計するマスター建築家と想像してください。

1. 「スマートスイッチ」（動的適応性）:
   賢い照明システムを持つ家を想像してください。廊下を歩いているだけなら、電灯は薄暗く（エネルギー節約）、複雑な料理をしているなら、電灯は明るく点きます（より良い結果のためにより多くの電力を使用）。

   • 論文内での説明: これは動的ニューラルネットワークと呼ばれます。AI は、簡単なタスクに対しては「素早い推測」を行い（エネルギー節約）、難しいタスクに対しては「深い探求」を行う（精度確保）ことを選択できます。また、ハードウェアに不具合が生じ始めた場合、内部の配線経路を再ルーティングすることもできます。

2. 「モジュール拡張」（継続学習）:
   魔法の基礎を持つ家を想像してください。新しい家族成員が到着すると、古い部分を壊すことなく、新しい翼を優しく追加できます。

   • 論文内での説明: これは「破滅的忘却」を解決します。AI は古い記憶を上書きするのではなく、構造をわずかに拡張することで新しいタスクを学習します。

HERCULES の「12 の苦難」

ヘラクレスが 12 の不可能な任務を完了させなければならなかったように、著者らはこの完璧な AI を構築するには12 の特定の課題（または「苦難」）を克服する必要があると言います。以下は、最も重要なもののいくつかを日常用語に翻訳したものです。

• 苦難 1：現実世界でのテスト（ハードウェアとソフトウェアの共設計）
  紙の上で必要なレンガの数を計算するだけでは不十分です。家が立つ実際の地形で家をテストする必要があります。AI の設計は、それが実行されるチップの特有の癖を考慮しなければなりません。
• 苦難 2：嵐のテスト（スケーラブルな堅牢性）
  家が安全かどうかを確認するためにハリケーンを待つことはできません。設計段階で嵐を素早くシミュレートし、家が崩壊しないことを確認する方法が必要です。
• 苦難 3：バランスの取れた行為（可塑性対安定性）
  これが最も難しい部分です。新しい部屋を追加できるほど柔軟（可塑性）でありながら、新しい部屋が基礎をひび割れさせないほど安定（安定性）している必要があります。フレームワークは、完璧なバランスを見つける必要があります。
• 苦難 12：長期的視点（ライフサイクルの持続可能性）
  ほとんどの AI は「展開して忘却」です。HERCULES は問いかけます。「5 年後にハードウェアが古くなったりデータが変化したりした場合、どうなるのか？」設計は、初日だけでなく、長期的に持続可能でなければなりません。

なぜこれが重要なのか

この論文は結論として、効率性、強度、成長のために個別のツールに頼ることはもはやできないと述べています。統合されたアプローチが必要です。

HERCULESは、以下の AI を構築するためのロードマップです。

• スマートフォンやセンサーで動作できるほど軽量である。
• 不良データやハードウェアの故障に耐えるほどタフである。
• 古い知識を忘却することなく、永遠に新しいことを学習できるほど適応性がある。

これは、静的な AI を構築するのをやめ、混乱し、変化し、リソースを必要とする現実世界を生き延びられる「生きている」AI を構築し始めるよう求める呼びかけです。

技術概要

技術的概要：HERCULES – ハードウェア効率性、堅牢性、継続学習を備えたニューラルアーキテクチャ探索

1. 問題定義

ニューラルアーキテクチャ探索（NAS）は、従来、精度とハードウェア効率性（例：レイテンシ、メモリ、エネルギー）のトレードオフの最適化に焦点を当ててきた。しかし、AI システムが静的なベンチマークから実世界への展開へ移行するにつれ、この二重の焦点では不十分である。現代の AI アプリケーションは、直交しながらも相互に関連する 3 つの課題に直面している：

1. 効率性: エッジデバイスにおいて、エネルギー、メモリ、計算リソースといった厳格なリソース制約内で動作する必要性。
2. 堅牢性: 敵対的摂動、ハードウェアに起因するノイズ（例：新興メモリにおけるコンダクタンスのドリフト）、分布シフトを含む環境変動下でも信頼性を維持する要件。
3. 継続学習（CL）: 破滅的忘却なしに逐次的なタスクに適応し、可塑性（新たな知識の学習）と安定性（既存知識の保持）のバランスを取る能力。

現在の NAS 文献の多くは、これらの目的を個別に扱っている。ハードウェア対応 NAS、堅牢な NAS、あるいは継続学習 NAS に関する調査は存在するが、これら 3 つを同様に根本的なものとして扱う統合的な視点を提供するものは存在しない。さらに、既存の解決策は、モデルが変化するデータストリームや時間経過に伴うハードウェアの劣化に適応しなければならない実世界展開の動的性質を考慮できていないことが多い。扱われている中心的な研究課題は以下の通りである：ハードウェアノイズやデータシフト下で性能の信頼性を維持しつつ、厳格なエネルギー予算と変化するタスク要件を尊重するニューラルネットワークアーキテクチャの設計を自動化することは可能か？

2. 手法と分類

本論文は、効率性、堅牢性、継続学習という「3 つのレンズ」を通じて NAS 手法の包括的な分類体系を提案する。既存の手法を 3 つの主要な柱に分類し、それらの交差点を分析する：

A. 効率性（ハードウェア対応 NAS）

この調査では、リソース制約環境の最適化を目的とした手法をレビューし、以下のように分類する：

• モデル圧縮: プルーニング、量子化、アーキテクチャのスケーリングを探索ループに直接統合する手法（例：MSuNAS, CNAS, APQ）。
• 動的ニューラルネットワーク: 入力複雑さに応じて計算を適応させるアーキテクチャ。早期退出ネットワーク（EENN）、エキスパート混合（MoE）、マルチブランチネットワークなど（例：EExNAS, HADAS, InstaNAS）。
• ハードウェア・ソフトウェア協調設計: ニューラルアーキテクチャとアクセラレータパラメータ（例：FPGA/ASIC 設定、データフロー）を共同で最適化し、いずれか一方を固定することでは達成不可能なパレート最適解を実現する手法（例：Codesign-NAS, DNA, NACIM）。

B. 堅牢性

本論文は、堅牢性対応 NAS を 5 つの摂動源に分類する：

• 平坦化最適化: 損失ランドスケープにおける平坦な極小値を探求し、汎化性能と安定性を向上させる手法（例：R-DARTS, GeNAS, A2M）。
• 敵対的堅牢性: 敵対的学習やリプシッツ正則化などの手法を用いて、意図的な摂動に対する最適化を行う（例：ADVRUSH, RNAS, WsrNAS）。
• ハードウェアノイズ堅牢性: RRAM や PCM などのメモリ内計算（IMC）デバイスにおける非理想性、すなわちコンダクタンスのドリフトや確率的スイッチングに対処する（例：CMQ, UAE, AnalogNAS）。
• リソースシフト堅牢性: 動的なエネルギー利用可能性（例：エネルギーハーベスティングのシナリオ）への適応。
• マルチモーダル堅牢性: 異なるモダリティやドメインシフトにおける安定性の確保（例：NAS-OOD, MFAS, Harmonic-NAS）。

C. 継続学習

この調査では、継続学習（CL）を単独で最適化する NAS 研究は少ないことが特定された。CL 焦点の NAS 手法の多くは、効率性との共同最適化の文脈でレビューされている。主要なアプローチには以下が含まれる：

• 拡張ベース: 新しいタスクの到来に伴い、ネットワークの幅または深さを動的に成長させる手法（例：Continual NAS, CLEAS, BNS）。
• 正則化ベース: 重みの更新が以前のタスクに干渉しないようにペナルティを使用する手法（例：REC）。
• 蒸留ベース: 古いモデルから新しいモデルへ知識を転送する手法。

D. 課題（ギャップ）

本論文は、現在の解決策における重要な弱点を浮き彫りにする：

• 静的視点: 多くのハードウェア対応 NAS は、静的でノイズのない環境を前提としており、時間経過に伴うハードウェアの劣化や分布シフトを予測できていない。
• 時間的盲目性: 堅牢性焦点の NAS は、適応性の必要性を無視することが多く、堅牢だが硬直した（新しいタスクを学習できない）モデルを作成してしまう。
• ハードウェアオーバーヘッド: 堅牢なアーキテクチャはしばしば大幅なパラメータオーバーヘッドを伴い、TinyML の予算には不適切である。
• 孤立: 効率性、堅牢性、CL はめったに共同で最適化されず、実世界展開にとって最適ではないトレードオフを招いている。

3. 主要な貢献：HERCULES フレームワーク

これらのギャップに対処するため、著者らは HERCULES（Hardware-Efficient, Robust, and Continual LEarning Search）を提案する。これは、次世代 NAS のための新しいフレームワークおよび分類体系である。

フレームワークアーキテクチャ

HERCULES は、従来の NAS を拡張し、ベースアーキテクチャ（探索空間 $\Gamma_x$ から）に動的機能（設定空間 $\Gamma_\theta$ から）を付与する Arch Adapter モジュールを導入することで、洗練された探索空間 $\Gamma_{\tilde{x}}$ を作成する。

• 入力: データセット、アーキテクチャ集合、動的挙動ハイパーパラメータ、評価パラメータ、事前情報（例：ハードウェアノイズプロファイル、エネルギーハーベスティングパターン）、および制約条件。
• 出力: 静的または動的（ランタイム適応性を組み込んだ）のいずれかであるパレート最適ニューラルネットワークの集合。
• 最適化目的: 以下のバランスを取るコスト関数 $G$ を最小化する制約付き多目的関数：
  • $F_A(\tilde{x})$: 精度（または CL 用の平均累積精度 $F_{AIA}$）。
  • $F_C(\tilde{x})$: リソースコスト（レイテンシ、エネルギー、メモリ）。
  • $F_R(\tilde{x}, \rho, \Delta)$: 各種環境摂動に対する堅牢性。

HERCULES の 12 の難業

本論文は、展開可能で生涯学習型の AI システムを実現するために必要な 12 の技術的課題（望ましい特性）を定義する：

1. ハードウェア・ソフトウェア協調設計: 実際の性能を得るために、NAS をコンパイラおよびランタイムと統合する。
2. スケーラブルな堅牢性推定: 過大なオーバーヘッドなしに堅牢性指標を効率的に推定する。
3. 可塑性 - 安定性のバランス: 新しいタスクの学習と既存知識の保持の間のトレードオフを明示的に最適化する。
4. 展開忠実度: 事前情報を用いて、探索時の評価が実世界の運用条件を忠実に近似することを保証する。
5. 目的のモデリング: 効率性、堅牢性、CL を直交する第一級の目的として扱う。
6. 動的適応性: 静的モチーフとランタイム適応ポリシーの両方を最適化する。
7. 表現力豊かな探索空間: 3 つの柱全体を最適化できるアーキテクチャブロックを含む。
8. 多目的探索戦略: 3 つの目的の非凸パレートフロンティアをナビゲートするアルゴリズムを開発する。
9. 環境への適合: 特定の展開環境に合わせて探索空間と戦略を調整する。
10. ベンチマークの再現性: 累積学習、OOD 堅牢性、ハードウェア変動を統合した統一された HERCULES-Bench を提案する。
11. 探索効率: NAS プロセス自体の計算コストを最適化する。
12. ライフサイクルの持続可能性: 老朽化するハードウェア下での再学習や保守を含む、長期的な展開コストを考慮する。

4. 結果と証拠

本論文は、新しいアルゴリズムからの新たな実験結果を示すものではなく、既存文献の 包括的な調査と統合 を提供する。

• 表 I–VIII: 本論文は、3 つの柱にわたる 50 以上の NAS 手法を体系的に分類し、要約する。それらの目的、探索コスト、データセット、および性能指標を詳述する。
• ギャップ分析: この調査は、個々の柱はよく研究されているが、共同最適化は稀であることを示している。例えば、CL を単独で最適化する研究はほとんどなく、多くは効率性との共同最適化として行われている。同様に、堅牢性はしばしば効率性の犠牲を伴い、動的適応性は堅牢性および効率性との統合がようやく始まった段階にある。
• 統合: この分析は、分野が共同最適化の必要性へと収束していることを明らかにし、HERCULES フレームワークの必要性を裏付けている。

5. 意義と主張

本論文は、ニューラルアーキテクチャ探索分野のための ロードマップ としてその意義を主張する。

• 統合的視点: 効率性、堅牢性、継続学習を同様に根本的かつ直交する目的として明示的に扱う最初の調査であり、現在の研究のサイロ化された視点を超えている。
• パラダイムシフト: 環境および時間的ダイナミクスを考慮する「生涯学習」型の動的 NAS へと、「展開して忘却」する静的 NAS から転換することを主張する。
• 基盤的フレームワーク: HERCULES とその 12 の難業を定義することで、将来の研究のための構造化された望ましい特性のセットを提供し、真に展開可能な AI システムの開発を導く。
• 将来の方向性: 本論文は控えめに、HERCULES が動的ネットワークの設計のためのフレームワークを提供する一方で、将来の研究は適応性を探索プロセス自体に統合し（動的 NAS）、真の「自動進化」システムを達成するために実ハードウェアからのフィードバックとのループを閉じる必要があると示唆している。

要約すると、本論文は、AI 展開の未来は、単に正確であるだけでなく、本質的に回復力があり、リソースを認識し、運用環境とともに進化できるアーキテクチャに依存すると主張する。HERCULES は、この目標を達成するための概念的および技術的基盤として提案されている。