技術的概要：半自動設計知識を用いたオープンエンド型 NAS の構造化

問題提起

現在のニューラルアーキテクチャ検索（NAS）手法は、探索空間の柔軟性と探索効率の間に根本的なトレードオフに直面している。従来の NAS 手法は、3x3 畳み込みなどの固定演算子の組み合わせといった、閉じた事前定義された探索空間に依存しており、新規アーキテクチャの発見を制限している。一方、最近の大型言語モデル（LLM）支援型 NAS 手法は、モデルのソースコードを直接生成することで「オープンエンド」な検索を可能にし、新しいブロックやトポロジーの作成を可能にする。しかし、これらのオープンエンド型アプローチは、しばしば非効率な探索に悩まされる。それらは LLM の事前知識や未加工の論文マイニングに由来する非構造化の知識プールに依存することが多く、以下の問題を引き起こす：

1. バイアスのかかった低品質なアイデア：検索空間が、視覚バックボーンには適用できない過度にドメイン固有、タスク固有、または無関係な設計概念（例えば、損失関数の設計や 3D 点雲処理など）によって汚染される可能性がある。
2. 非効率的なサンプリング：構造化された組織がないため、設計アイデアのサンプリングが多様性に欠け、コンパクトでありながら高性能なモデルを見逃したり、パレートフロンティアの有望な領域を探索し損なったりすることが多い。
3. ハードウェア制約の違反：単純な突然変異戦略は、ハードウェア予算（FLOPs、パラメータ数）を超えたモデルを生成することが多く、即座に破棄され、候補の多様性が減少する。

手法

著者は、これらの非効率に対処するために、半自動モデル設計属性構造化とFairNADフレームワークという二管のアプローチを提案する。

1. 半自動モデル設計属性構造化

高品質で多様な設計知識を選別するために、著者は階層的な**モデル設計属性ツリー（$D_{attr}$）**を導入する。

• 構造：このツリーは、粒度（演算、ブロック/接続、ネットワーク）、主要カテゴリ（例えば、特徴抽出、正規化）、サブカテゴリ（例えば、グループ化畳み込み、レイヤー正規化）の 3 つのレベルに整理されている。
• 構築：上位 2 つのレベルは、広範なカバレッジを確保するために専門家によって事前定義される。サブ属性は、最先端（SOTA）モデルコード（例えば、ResNet、ViT、EfficientNet）と事前定義された属性テンプレートを LLM に提示することで、半自動的に生成される。
• 知識抽出：この構造化されたツリーを用いて、学術論文から設計アイデアをフィルタリングし抽出する。論文はまず、属性ツリーと整合しているか確認するためにスクリーニングされる。有効な論文は処理され、微細なアイデアが抽出され、$D_{attr}$ 内の対応する属性でタグ付けされる。このプロセスにより、無関係または過度に特定の知識が除外され、選別された**モデル設計知識データベース（$D_{kn}$）**が生成される。

2. FairNAD フレームワーク

FairNAD は、構造化された知識データベースを活用して効率的なオープンエンド型ニューラルアーキテクチャ設計（NAD）を行う進化型検索フレームワークである。これは多様な突然変異戦略とフィードバックループを採用している：

• 公平なアイデアサンプリングによる突然変異：バイアスのない探索を確保するため、アイデアは属性タグ（粒度、主要カテゴリ）に基づいて $D_{kn}$ から均一にサンプリングされる。これにより、人気があるが潜在的に最適ではないトレンド（例えば、過度なアテンション機構など）が検索を支配することを防ぐ。粒度タグはまた、突然変異の対象（例えば、演算の変更対ネットワーク構造の変更）を決定する。
• パレート意識型突然変異：コンパクトなモデルを見逃す問題に対処するため、この段階では親モデルをパレートフロンティア（精度とハードウェア制約のバランス）からサンプリングする。これは二重の戦略を採用する：
  • アップスケーリング：ハードウェア予算閾値以下のモデルはスケールアップされる（幅/深さの増加）。
  • ハイパーパラメータ調整：閾値付近または超過するモデルは、ハイパーパラメータの調整（例えば、カーネルサイズ、ストライド）を受ける。
• LLM 駆動の反復的突然変異：収束を加速するため、フレームワークは高性能なモデルに対して反復的な洗練を行う。LLM は成功した突然変異の履歴を分析し、同様の属性カテゴリ内で新しいアイデアを生成して、有望な候補をさらに最適化する。
• フィードバックループ：多様性と妥当性を維持するための重要な構成要素。生成されたコードは 3 つの検証段階を経る：
  1. 実行検証：コードがコンパイル可能かつ実行可能であることを確認する。エラーが発生した場合、LLM にデバッグを促す。
  2. 予算検証：FLOPs とパラメータサイズを確認する。制約が違反された場合、モデルを破棄するのではなく、自動的にダウンスケールする（例えば、深さまたは幅の削減）。
  3. 構造的検証：モデルが多層であり、親と構造的に区別されることを確認する。

主要な貢献

1. 半自動知識構造化：本論文は、論文からの非構造化された設計知識を階層的な属性ツリーに整理する方法を導入する。これにより、ノイズの多いドメイン固有のアイデアをフィルタリングし、NAS 用の多様で高品質な知識基盤を構築することが可能になる。
2. FairNAD フレームワーク：多様な突然変異（公平なアイデアサンプリング、パレート意識型、LLM 駆動の反復的）とフィードバックループを統合した新しい検索フレームワーク。このアプローチは、ハードウェア制約を尊重しつつ、探索（多様性）と利用（性能）のバランスを取る。
3. 最先端のパフォーマンス：この手法は、標準的なベンチマークにおいて、既存のハンドクラフト型および LLM ベースの NAS 手法に対して大幅な改善を示す。

実験結果

著者は、CIFAR-10、CIFAR-100、ImageNet16-120 データセットを使用して、NAS-Bench-201ベンチマーク上で FairNAD を評価した。検索は、特定のパラメータ数（1.5M）と FLOPs 制限に制約された。

• 性能向上：現在の最先端のオープンエンド型 NAS 手法（NADER）と比較して、FairNAD は以下のテスト精度の向上を達成した：
  • CIFAR-10 で 0.84%
  • CIFAR-100 で 2.17%
  • ImageNet16-120 で 2.35%
• アブレーション研究：
  • 構造化された知識：構造化されたインスピレーション（未加工の論文インスピレーションまたは LLM の事前知識と比較）を使用することで、CIFAR-100 においてテスト精度が 0.37 ポイント向上した。
  • 公平なサンプリング：公平なアイデアサンプリングを実装することで精度が 1.81 ポイント向上し、多様な属性探索の重要性が浮き彫りになった。
  • 多様な突然変異：パレート意識型と LM 駆動の反復的突然変異の組み合わせが最良の結果をもたらした。特に、LLM 駆動の突然変異単独では有害であったことは、パレートサンプリングが提供する多様性の必要性を確認するものとなった。
  • フィードバックループ：予算検証器を除去すると、性能と通過率が大幅に低下し、そうでなければ破棄されるはずの多様な候補を維持するその役割が示された。

意義と主張

本論文は、設計知識の構造化が効率的な探索に不可欠であることを実証することで、オープンエンド型 NAS の将来の研究にとって重要な基盤を確立すると主張している。著者らは、単に LLM の「オープンエンド」能力に依存するだけでは不十分であり、検索プロセスは選別された階層的な知識によって導かれ、多段階の突然変異戦略によってバランスされる必要があると論じている。

発見されたアーキテクチャは、標準的な NAS には通常見られない独自の特性を示している：

• カスタマイズされたアテンション機構（例えば、平均プーリングと最大プーリングの両方を使用する DPCA）。
• 動的な特徴共有機構（例えば、FeaturePool）。
• 非標準的なチャネルサイズと層の深さ（例えば、2 のべき乗の代わりに 51、102、204 のチャネルを使用）。
• CNN と位置エンコーディング、または特殊な活性化関数（例えば、BandLimitedReLU）を組み合わせたハイブリッドアプローチ。

著者らは、この研究を、構造化された体系的な方法で外部知識を活用することで、より強力で効率的かつ新規なニューラルアーキテクチャの発見を可能にし、手動の専門家設計への依存を軽減する一歩として位置づけている。彼らは検索の高い計算コストを認めているが、従来の手法では達成不可能な性能レベルを達成するための必要な投資であると位置づけている。