技術的サマリー：コード差分によるデルタベースのニューラルアーキテクチャ探索

問題定義

ニューラルアーキテクチャ探索（NAS）は、深層ニューラルネットワークの設計を自動化することを目指しています。大規模言語モデル（LLM）を用いて実行可能な PyTorch コードを生成する最近のアプローチは有望ですが、完全生成パラダイムという決定的な欠陥を抱えています。既存の手法では、LLM が各反復でゼロから完全なモデル実装を合成する必要があります。このアプローチは計算コストが高く、冗長な出力（通常 200 行以上のコード）を生み出し、既存の動作するアーキテクチャに埋め込まれた構造的知識を活用できません。さらに、以前の LLM ベースの NAS 研究は、単一データセット評価（例：CIFAR-10）や限定的な複数データセットの範囲に大きく制約されており、汎化能力の評価を制限していました。

手法：デルタコード生成

著者らは、デルタコード生成を提案します。これは、微調整された LLM が既存のベースラインアーキテクチャを再構築するのではなく、洗練させるためにコンパクトな**統一差分（デルタ）**を生成するパラダイムです。このアプローチは、コードを再記述するのではなくパッチによって修正するソフトウェア工学の実践から着想を得ています。

コアパイプライン

このフレームワークは、22 回反復するプロトコルを通じて動作します。

1. ベースライン選択: システムは、複数のデータセットにわたる性能注釈付きのニューラルネットワークのキュレーションコレクションであるLEMUR データセットからベースラインアーキテクチャをサンプリングします。
2. デルタ生成: LLM はベースラインのソースコードとデータセット記述子を受け取ります。完全なファイルを出力する代わりに、構造化された XML 出力を生成します。
   • <delta>: 標準的なパッチ形式（コンテキスト行、追加、削除）の統一差分。
   • <hp> および <tr>: 超パラメータとデータ変換のための構造化タグ（NNGPT の規約に従う）ですが、評価ではアーキテクチャの変更を分離するため、ベースラインの元の超パラメータを使用します。
3. 適用と検証: 生成された差分は、標準的なパッチユーティリティを使用してベースラインコードに適用されます。成功したパッチは、構文検証、インスタンス化チェック、および単一エポックのトレーニングを受けます。
4. フィルタリング: 構造的な多様性と品質を維持するため、承認されたアーキテクチャは 2 つのフィルタを通過する必要があります。
   • 精度フィルタ: モデルは 1 エポック後に少なくとも**40%**のトップ 1 検証精度を達成する必要があります。
   • 新規性フィルタ: MinHash-Jaccard 類似度を使用して、生成されたコードは既存のコーパスから少なくとも90% の構造的な非類似性（$\tau_{nov} = 0.90$）を示す必要があります（モード崩壊を防ぐため）。
5. 微調整: LLM は、静的でキュレーションされた LEMUR コーパス上でLoRA（Low-Rank Adaptation）を介して反復的に微調整されます。重要なのは、LoRA のトレーニングデータは固定されたままにされることです。生成されたアーキテクチャの拡大プールは、LLM 自体のトレーニングデータではなく、将来のデルタ生成のための多様なベースラインのセットとしてのみ機能します。

実験設定

本研究は、6 つの多様な画像分類データセット（CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA）において、3 つの 7B クラス LLM を評価します。

• DeepSeek-Coder-7B-Instruct-v1.5（コード特化型）
• Qwen2.5-Coder-7B-Instruct（コード特化型）
• Mistral-7B-Instruct-v0.3（一般指示型、非コード特化型）

すべてのモデルは、1 サイクルあたり 50 候補で 22 回の微調整サイクルを経験します（LLM あたり合計 1,100 候補）。性能は、以前の LLM ベースの NAS 文献と一貫して、1 エポック目の検証精度を代理指標として測定されます。

主要な結果

1. 効率性と出力長

デルタパラダイムは、トークン消費の大幅な削減を達成します。3 つの LLM すべてにおいて、出力長は均一にコンパクトです。

• DeepSeek: 30.4 行（完全生成に対し 85% 削減）
• Qwen: 31.4 行（84% 削減）
• Mistral: 49.5 行（75% 削減）
  これは、完全生成ベースラインの典型的な 200 行以上と比較して75〜85% の削減を意味し、出力トークンの総計で約 5.4 倍の節約につながります。

2. 生成の信頼性と精度

バランスの取れた 6 データセットベースラインプールを共有クラスタープロトコルで評価したところ、3 つの LLM はすべて、完全生成ベースライン（Khalid et al. [24]）および反復型凍結 LLM アプローチ（Gu et al. [13]）を大幅に上回りました。

• 有効生成率: DeepSeek (75.3%), Qwen (72.1%), Mistral (66.6%) vs. 完全生成 (50.6%)。
• 平均 1 エポック精度: DeepSeek (65.8%), Qwen (64.6%), Mistral (66.1%) vs. 完全生成 (42.3%)。
• 最良の 1 エポック精度（CIFAR-10）: Mistral (85.5%), DeepSeek (85.2%), Qwen (80.6%) vs. 完全生成 (63.98%) および Gu et al. (71.5%)。

3. 複数データセットへの汎化

CIFAR-10 または 3 つのデータセットに制限された以前の研究とは異なり、デルタアプローチは、困難な微細分類（CIFAR-100）や顔属性（CelebA）を含む、すべての 6 つのデータセットにわたって成功裡に汎化しました。3 つの LLM はすべて、MNIST で99.5%、SVHN で**約 95%**の最良の 1 エポック精度を達成しました。

4. モデル非依存性

性能向上は、特定の LLM の選択ではなく、**パラダイム（デルタ生成）**によって駆動されています。事前学習（コード特化型対一般指示型）の違いにもかかわらず、3 つのモデルはすべての主要指標で密にクラスタリングし、信頼区間が重複しています。わずかに長い差分を生成する汎用 Mistral-7B でさえ、CIFAR-10 で最高の精度（85.5%）を達成しました。

意義と主張

本論文は、デルタベースのニューラルアーキテクチャ探索を、完全モデル合成に対するトークン効率型、多ドメイン、LLM 非依存の代替案として位置づけています。著者らは、研究の重要性に関して 3 つの主要な主張を行っています。

1. モデルよりパラダイム: 完全ファイル生成から差分ベース生成への転換が、性能向上の主要な駆動力です。これは、同じベース LLM（DeepSeek-Coder-7B）および同じ反復プロトコルに対して出力形式を置換した結果、有効生成率が完全生成ベースラインの信頼区間外に移動した事実によって証明されます。
2. 設計次元としてのクロスデータセットカバレッジ: 差分上で動作することにより、パイプラインはベースラインの動作するデータセット固有の足場を保持し、ドメインごとに LLM を再トレーニングすることなく、6 つの多様なデータセットへの汎化を可能にします。これは、ほぼ例外なく CIFAR-10 上で評価された以前の研究とは対照的です。
3. 漸近的効率性: 75〜85% の出力長削減は反復を通じて累積し、LLM 推論が支配的なコストである消費者向け GPU でのローカル展開を著しく現実的なものにします。

著者らは、すべての精度主張が1 エポック目の検証代理指標に依存しており、トップ 20 のアーキテクチャに対する 50 エポックの完全トレーニング研究によって検証されていると指摘しています。この研究は、1 エポック代理指標が性能順位を確実に保持すること（Mistral の場合 Spearman $\rho = 0.926$）を確認し、この手法を文献で報告されている NAS 代理相関の上位に位置づけました。

本研究は、差分形式が固有の「コンテキスト不一致」失敗モードを導入するものの、効率性、構造的完全性、および多ドメイン汎化における全体的な利点が、LLM 駆動型 NAS におけるデルタベース生成を堅牢な進展として確立すると結論付けています。