技術的サマリー：回帰から推論へ：ニューラルアーキテクチャ探索のためのメタ学習予測器

問題定義

ニューラルアーキテクチャ探索（NAS）は、モデル性能がアーキテクチャの選択に大きく依存するため、深層学習アーキテクチャの設計を自動化することを目的としています。しかし、現代の探索空間の広大さにより、網羅的な評価は計算量的に実行不可能です。予測ベースの NAS は、完全な学習なしに候補アーキテクチャの性能を推定するために学習された予測器を利用する解決策として登場しました。

有用性にもかかわらず、既存の予測器は通常、アーキテクチャ表現から性能指標への固定されたマッピングを学習するために教師あり回帰に依存しています。このアプローチは NAS の文脈において以下の重要な限界に直面します：

1. データ不足：NAS は、探索空間のごく一部しか観測できない領域で動作します。
2. 過学習と汎化：限られたサンプルで学習された固定マッピングは、未観測のアーキテクチャに汎化できず、分布外性能の低下を招きます。
3. 展開シナリオとの不一致：従来の回帰は、グローバルな固定関数ではなく、探索空間の部分的な観測に基づいて予測が行われる展開シナリオを明示的に反映していません。

手法

著者は、決定論的回帰からメタ学習フレームワーク内における条件付き関数推論へとシフトさせることで、NAS 性能予測の根本的な再定式化を提案します。

中核フレームワーク：畳み込みニューラルプロセス（ConvNP）

静的な関数 $y = f(x)$ を学習する代わりに、予測器は観測されたアーキテクチャと性能のペア（コンテキストセット）を与えられたときのターゲット出力の条件付き分布をモデル化します。著者は、以下の構成要素からなる畳み込みニューラルプロセス（ConvNP）を採用します：

• エンコーダ：コンテキストセットからの情報を潜在表現に集約します。
• デコーダ：これらの潜在表現に基づいて条件付きでターゲット出力を予測します。
• メカニズム：モデルは関数上の分布を学習し、観測入力のサポートを超えて外挿しながら、不確実性を考慮しつつ部分的な観測から未観測の出力を推論できるようにします。これは、畳み込み構造の翻訳等変換性を活用して観測入力のサポートを超えて外挿することを可能にします。

合成タスクの構築

メタ学習パラダイム下で ConvNP を学習するために、著者は単一の利用可能なデータセット（$D$）からタスクの分布を生成します：

1. リサンプリング：観測データを復元抽出してリサンプリングすることで合成タスクを作成します。
2. シャッフル：データポイントをランダムに順序付けし、置換不変性を促進します。
3. コンテキストとターゲットの分割：各合成タスクは、コンテキストセット（$C$）とターゲットセット（$T$）に排他的に分割されます。これは、モデルが観測されたアーキテクチャの部分集合に基づいて性能を予測しなければならない NAS 推論シナリオをシミュレートします。

メタ特徴抽出

著者は、セルベースのアーキテクチャ向けに、以下の 3 つの側面に焦点を当てた、シンプルかつ効果的なメタ特徴のセットを設計します：

• 統計情報：特定操作（例：$3\times3$ Conv、$1\times1$ Conv）およびノードの個数。
• アーキテクチャ的複雑さ：複雑さに基づいて操作に割り当てられたパスベースの重み（例：$3\times3$ Conv = 3、Max-pooling = 1）を、最大/最小パス重みおよび総パラメータ数などの指標に集約したもの。
• 構造的情報：隣接行列から導出された指標で、エッジ数、エッジ対ノード比、最大入力/出力次数を含みます。
  これらの特徴は $[0, 1]$ 範囲に正規化されます。

学習目的

NAS は、完全な分布予測よりも高性能アーキテクチャの特定を優先することを認識し、著者は 2 つの目的を組み合わせます：

1. 回帰損失（$L_{MSE}$）：検証精度の正確な予測を促します。
2. ランキング損失（$L_{rank}$）：ターゲットセット内の候補アーキテクチャの正しい相対順序を強制する、ペアワイズマージンベースの損失です。
   全体の目的関数は $L_{total} = L_{MSE} + \lambda L_{rank}$ です。著者は、アーキテクチャ選択において、確率論的アプローチ（NP の標準的な尤度ベースの目的関数）よりも、ランキング監督付きの直接平均予測の方が経験的に効果的かつ効率的であることを指摘しています。

主な貢献

1. 新しい定式化：本論文は、ConvNP を用いた条件付き関数推論問題として NAS 予測を再定義し、部分的な観測に基づいて条件付けられるモデルへと、固定マッピングからの脱却を図ります。
2. メタ学習戦略：リサンプリングとシャッフルによる合成タスク生成の戦略を導入し、極端なデータ不足下での予測器の汎化を可能にします。
3. 評価の視点：著者は、強力なグローバルランキング指標（例：ケンドールの順位相関係数）が必ずしもより良いアーキテクチャ選択に結びつくわけではないと主張します。Top-K 性能などの選択指向指標を推奨します。
4. 経験的検証：NAS-Bench-101 および NAS-Bench-201 における包括的な実験により、手法の有効性を示しました。

実験結果

本手法は、回帰モデル（LR、RF、MLP、XGB）、グラフニューラルネットワークベースの予測器（NP、CAP、CARL）、および探索アルゴリズム（RS、RE）など、さまざまなベースラインに対して、NAS-Bench-101（CIFAR-10）および NAS-Bench-201（CIFAR-10、CIFAR-100、ImageNet16-120）で評価されました。

• 予測精度：ConvNP は競争力のある、あるいは優れた検証精度とテスト精度を達成しました。NAS-Bench-101 において、94.76% の検証精度と 94.09% のテスト精度に達し、ほとんどの回帰ベースラインおよび探索アルゴリズムを上回りました。
• Top-K 性能：ConvNP は CARL のような専門的なランキング法と比較して、常に最高のグローバル順位相関（ケンドールの順位相関係数）を達成したわけではありませんが、一貫して優れたRecall@kを示しました。特に低データ領域において、$k$ が増加するにつれて高性能アーキテクチャをより効果的に特定しました。
• データ効率：トレーニングセットサイズ（50 から 860 サンプル）を変化させた実験により、ConvNP は低データ領域においてデータ増加から著しく恩恵を受け、データ量が増えるにつれて性能向上が飽和することが示されました。
• アブレーション研究：コンテキストとターゲットの分割、または合成タスク生成を除去すると、性能が大幅に低下し、メタ学習定式化の必要性が確認されました。回帰損失とランキング損失の組み合わせは、単独で使用する場合よりも優れていることが証明されました。

意義と主張

本論文の主な意義は、NAS 予測器の学習手順を実際の展開シナリオと整合させる点にあります。部分的な観測からの推論として予測をモデル化することで、この手法は従来の教師あり回帰よりも NAS 固有のデータ不足をより効果的に解決します。

強調される重要な洞察は、グローバルランキング指標が NAS の実用的な目標と常に整合しているわけではないという点です。著者は、専門的なランキングモデルのグローバル順位相関がわずかに低くても、選択指向指標（Top-K）の最適化がより効果的なアーキテクチャ選択をもたらすことを実証しています。この研究は、将来の NAS 予測器は、探索プロセスの条件付き性質をよりよく反映する確率的およびメタ学習アプローチを優先すべきであることを示唆しています。

著者は、専門的なランキング予測器に比べてグローバルランキング性能がやや低いこと、合成タスク設計への感受性、単純な回帰器に比べて追加的な計算オーバーヘッドがあることなどの限界を認めています。また、評価が現在特定のベンチマーク探索空間に限定されていることも指摘しています。