技術的サマリー：反復型 LLM ベースのニューラルアーキテクチャ探索の収束理論

1. 問題定義

ニューラルアーキテクチャ探索（NAS）は、近年、事前に定義された探索空間から、実行可能な torch.nn.Module プログラムをオープンエンドに生成する大規模言語モデル（LLM）の利用へとシフトしている。実証研究（Khalid ら、Adhikari らなど）は、LLM を自身の成功した生成物で反復的にファインチューニングすることが、生成の信頼性とアーキテクチャの品質の両方を向上させることを示しているが、このクラスのアルゴリズムに対する形式的な収束理論は存在しない。

本稿で扱われる主要な理論的ギャップは以下の通りである：

• 反復的な LLM のファインチューニングは、アーキテクチャの品質を証明的に向上させるか？
• どの条件下でこのプロセスは収束するか？
• なぜ「デルタ生成（統一差分の生成）」は、完全なコード生成よりも高い有効生成率を達成するのか？
• 退化した解（モード崩壊）を防ぐための新奇性フィルタリングの理論的役割は何か？
• プロキシに基づくランキング（短いトレーニングエポックを使用）の信頼性をどのように定量化できるか？

2. 手法と数学的枠組み

著者らは、反復型 LLM-NAS を、実行可能プログラム上のパラメトリックなクロスエントロピー（CE）法としてモデル化する。この枠組みは、LLM のファインチューニングプロセスと、よく研究されている CE 最適化アルゴリズムとの間の形式的なリンクを確立する。

核心的な定義

• アーキテクチャ空間（$\mathcal{A}$）： 構文上有効で実行可能な Python プログラムの集合であり、torch.nn.Module を定義する。
• 品質関数（$q$）： 固定されたデータセットにおける最初のエポックの検証精度に基づき、アーキテクチャをマッピングする関数。
• エリート集合（$E_\tau$）： $q(a) \geq \tau$ となるアーキテクチャの集合。
• 反復プロセス：
  1. 生成： 現在の LLM 分布 $p_{\theta_t}$ から $N$ 個の候補をサンプリングする。
  2. 評価とフィルタリング： MinHash–Jaccard 新奇性フィルタを通過するエリートアーキテクチャを選択する。
  3. 更新： エリート集合と静的コーパスの和集合を用いて LLM のパラメータ $\theta$ をファインチューニングする（クロスエントロピー損失を最小化）。

理論的仮定

証明は特定の仮定に依存しており、特に以下が挙げられる：

• 正則性： 有界な品質、エリートアーキテクチャの正の初期質量、およびサンプルサイズが増大するにつれた一貫した推定。
• 品質単調性投影： パラメトリック族（LLM）への CE 投影は、分布の平均品質を保持するか向上させる。
• トークン誤差モデル： トークン誤差に対する第一-order マルコフ連鎖モデル（独立トークンの仮定の代替）を用いて、デルタ生成と完全コード生成を分析する。
• プロキシの信頼性： プロキシ（短いトレーニング）と完全トレーニングの精度の間に二変量正規分布を仮定する。

3. 主要な貢献と理論的結果

本論文は 6 つの主要な結果を証明する：

A. パラメトリック CE への同等性（定理 1）

エリートアーキテクチャに対する反復型 LLM のファインチューニングは、LLM のパラメトリック族に制限されたクロスエントロピー更新と数学的に同等である。ファインチューニングのステップは、エリートサンプルの実験的分布と LLM の生成分布との間の Kullback–Leibler（KL）ダイバージェンスを最小化する。

B. 単調な品質向上（定理 2）

上記の仮定の下、期待されるアーキテクチャ品質（$Q_t$）は、有限サンプル推定誤差項 $\epsilon_t = O(N^{-1/2})$ まで、サイクルを通じて単調非減少である。

C. 固定点への収束（定理 3 および系 4）

• エリートアーキテクチャを生成する確率（$C_t$）は、幾何学的な速度で固定点 $C^*$ に収束する：$C_t \geq 1 - (1 - \rho_0)^t$。
• LoRA 制約： LLM が LoRA（低ランク適応）を介して適応される場合、パラメトリック族の表現力が制限される。その結果、プロセスは 1 ではなく、$C^* \leq 1$ となるプラトーに収束し、LoRA による性能天井の実証的観察を説明する。

D. デルタ生成の優位性（定理 5 および系 6）

第一-order マルコフトークン誤差モデルを用いて、著者らはデルタ生成（差分の生成）が完全コード生成よりも厳密に高い有効生成率を達成することを証明する。

• 有効率の比率は、出力長さ削減係数 $\alpha$（$L_\delta = \alpha L_{full}$）に依存する。
• 理論は、特定のパラメータ下で $\approx 2.23$ の較正された予測値とともに、比率が 1 超であることを予測するが、実証結果は 1.41 の比率を示した（方向は確認したが、未モデル化の長距離相関により規模が予測値に達しなかった）。

E. モード崩壊の防止（定理 7）

MinHash–Jaccard 新奇性フィルタの適用により、コーパスが「分離された」状態に保たれることが保証される。理論的には、これにより LLM が単一のアーキテクチャに崩壊（モード崩壊）することが防がれ、生成分布に非ゼロのエントロピーが維持される。

F. 閉形式のプロキシ信頼性（定理 8）

本論文は、プロキシタスクの信号対雑音比（SNR）と、プロキシおよび完全トレーニングのランキング間のスピアマン順位相関（$\rho_S$）との間の閉形式の関係を導出した：
$$\rho_S = \frac{6}{\pi} \arcsin\left(\frac{\rho_P(SNR)}{2}\right)$$
ここで、$\rho_P(SNR) = (1 + SNR^{-1})^{-1/2}$ である。

• 診断： 信頼性の高いプロキシベースのランキングに必要な条件は、$\sigma^2_{arch} \gg \sigma^2_{noise}$（雑音に対する高いアーキテクチャ分散）である。
• 天井効果： 理論は、SNR が低い場合（例：アーキテクチャの多様性が低いデータセット）、プロキシの信頼性がプラトーに達する理由を説明する。

4. 実証的検証

著者らは、3 つの LLM（Mistral、Qwen、DeepSeek）と 3,300 個の生成されたアーキテクチャを含む 22 サイクルの実験において、これらの理論を検証した。

• 一貫した定量的予測：
  • 単調な品質： 全モデルにおいて、平滑化された平均品質の傾向は非減少であった。
  • 新奇性： 新奇なアーキテクチャがすべてのサイクルで承認され、モード崩壊が防止された。
• 効果の方向の一貫性：
  • エリート集中： 集中度 $C_t$ は 73–76% でプラトーに達し、LoRA の表現力による天井（$C^* < 1$ への収束）と一致した。
  • プロキシの信頼性： スピアマン相関の順序（Mistral > Qwen > DeepSeek）は、SNR の順序と完全に一致した。DeepSeek は SNR の低い予測と一致する、有意ではない相関を示した。
• 乖離：
  • デルタ率比率： 観測された比率（1.41）は、較正された理論的予測（2.23）よりも低かった。これは、形式無効な差分と第一-order マルコフモデルを超えた相関に起因する。
  • Qwen の相関： 観測されたスピアマン相関（0.635）は、精度の天井による切り捨てにより、二変量正規分布の予測（0.10）を超えた。これは著者によって指摘された限界である。

5. 意義と主張

本論文は、反復型 LLM ベースの NAS に対する最初の形式的な収束保証を提供すると主張する。その意義は以下の点にある：

1. 理論的統合： LLM-NAS をパラメトリック CE 法として特定し、確立された最適化収束理論の適用を可能にする。
2. 実証的現象の説明： なぜデルタ生成がより効果的であり、なぜ LoRA を用いると性能がプラトーに達するのかを数学的に正当化する。
3. 診断ツール： SNR に基づいてプロキシベースのアーキテクチャランキングの信頼性を診断する閉形式の式を提供し、以前は観察されていたが説明されていなかった「天井効果」を説明する。

著者らは謙虚であり、実証的検証は単一の既存データセットに依存しており、LoRA 適応モデルの理論的限界（$C^* < 1$ への収束）は解析的に検証が困難な表現力の仮定に条件付けられていると指摘している。今後の課題として、低ランク制約への収束速度の拡張と、切り捨てられた精度サポートの処理が挙げられている。