💬 NLP

Neural Neural Scaling Laws

本論文は、下流タスクの性能予測を時系列外挿問題として定式化することにより従来のパラメトリックモデルを上回る性能を発揮し、多様なモデルファミリーおよびタスクにわたって有意に低い誤差率とゼロショット汎化を実現するニューラルネットワークベースのアプローチであるニューラル・ニューラル・スケーリング・ロー（NeuNeu）を導入する。

原著者： Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Michael Y. Hu, Jane Pan, Ayush Rajesh Jhaveri, Nicholas Lourie, Kyunghyun Cho

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが日々の宿題の成績に基づいて、生徒の期末試験の成績をどのように予測できるかを想像してみてください。

長らく、研究者たちはこれらの予測を行うために、単純な経験則（「スケーリング則」と呼ばれる）を用いてきました。彼らは、生徒の宿題の平均点を見るだけで、滑らかで予測可能な曲線を描き、最終的な成績を推測できると仮定していました。「平均点が上がれば、最終成績もきれいな直線で上がってくるだろう」と考えていたのです。

しかし、この論文の著者であるマイケル・Y・フー氏と彼のチームは、この単純な規則は破綻していると主張しています。その理由と、彼らがそれを修正するために何を行ったかをご覧ください。

問題点：「平均」は嘘をつく

この論文は、平均点を見ることは真実を隠蔽していると論じています。

比喩： 2 人の生徒がどちらも平均点 80 点だと想像してください。
- 生徒 A は、1 問を除いてすべての問題を正解しました。そのパフォーマンスは安定しており、信頼性があります。
- 生徒 B は、半分は 100 点、残りの半分は 60 点でした。そのパフォーマンスは混沌としており、予測不可能です。
- もし「80 点という平均点」だけを見れば、その違いはわかりません。しかし、個々の問題（「トークンレベル」のデータ）を見れば、生徒 A の方が生徒 B よりも期末試験で良い成績を収める可能性が高いことがわかります。

従来の手法（「ロジスティック・スケーリング則」と呼ばれる）は、そのような詳細な情報すべてを捨てていました。彼らは単に平均値を取り、それを滑らかにし、単純な数学的曲線に当てはめようとしました。著者たちは、生徒（または AI モデル）が奇妙な行動を取り始めたとき、つまり、時折向上したり、低下したり、あるいは頭打ちになったりしたときに、この手法は失敗することを発見しました。

解決策：NEUNEU（「ニューラル」予測器）

チームは、NEUNEU（Neural Neural Scaling Laws）と呼ばれる新しいツールを構築しました。NEUNEU を単なる計算機ではなく、非常に観察眼に優れた家庭教師だと考えてください。

NEUNEU は平均点を見るだけでなく、以下を確認します：

履歴： 時間の経過とともに生徒の成績がどのように変化してきたか。
詳細： 平均値だけでなく、すべての個々の問題における具体的なパフォーマンス。

仕組み（比喩）：
長い旅路で車がどのように走行するかを予測しようとしていると想像してください。

従来の方法： これまでの車の平均速度を確認し、その速度で永遠に走り続けると仮定します。
NEUNEU の方法： エンジンの振動、燃料混合比、ドライバーの反応時間、そして車が直前に通過した路面の凹凸などを見ます。そして、数千台の他の車から学習するスマートなコンピュータ（ニューラルネットワーク）を用いて、この特定の車が旅の残りをどのように乗り切るかを正確に予測します。

彼らが発見したこと

チームは、多くのオープンソース AI モデル（異なる学校の生徒たち）のデータで NEUNEU を訓練しました。そして、科学の問題に答えること、物語を書くこと、論理パズルを解くことなど、66 の異なるタスクでそれをテストしました。

彼らの主な発見は以下の通りです：

はるかに正確である： NEUNEU は、従来の「平均ベース」の手法よりも44% 正確でした。将来の AI の成績を推測する際、間違いを少なくしました。
奇妙な現象にも対応できる： 時には、AI を大きくしたり、訓練を長くしたりすると、特定のタスクにおいてパフォーマンスが低下することがあります（これを「逆スケーリング」と呼びます）。従来の手法はこれを予測できず、物事は常に良くなると仮定するだけでした。NEUNEU はこれらのパターンを見分け、正確に予測することを学びました。
「ゼロショット」の天才である： NEUNEU は特定のモデルとタスクのセットで訓練されました。しかし、彼らが全く新しいタイプのモデルや、これまで見たことのない全く新しいタスクを提示したときでも、従来の手法よりもよく機能しました。まるで、家庭教師が一度も学んだことのない新しい科目でも、生徒の学習習慣を見るだけで教えることができるようなものです。
推測していることを知っている： NEUNEU は単一の答えを出すだけでなく、可能性の範囲（「75 点から 85 点の間のスコアである確率が 90% あります」といった具合に）を提供します。これにより、研究者はいつ予測を信頼でき、いつ注意すべきかを知ることができます。

結論

この論文は、単純な事前定義された数式（従来の「平均点」法のようなもの）を用いて AI モデルの将来のパフォーマンスを予測しようとするのは行き詰まりであると主張しています。代わりに、モデルが実際にどのように振る舞うかという、ごちゃごちゃとした詳細なデータから直接学習する、スマートで柔軟なコンピュータシステム（NEUNEU）を使用すべきです。

これを行うことで、彼らははるかに高い精度で将来の AI パフォーマンスを予測でき、研究者が時間と費用をかけて構築する価値のある AI モデルを決定するのを支援できます。

技術的概要：ニューラル・ニューラル・スケーリング則（NEUNEU）

問題定義

ニューラル・スケーリング則は伝統的に、計算資源、データ、パラメータ数の増加に伴う言語モデル（LM）の性能向上を予測し、訓練損失と下流タスクの性能との関係を、単純なパラメトリック形式（例えば、べき乗則やロジスティック関数）を用いてモデル化する。しかし、著者らは現在の手法には 2 つの決定的な限界があると指摘している。

信号の隠蔽: 平均検証損失のような集計指標は、豊かなトークンレベルの損失分布を平均化してしまい、下流の能力を予測する可能性があるシグナルを隠蔽してしまう。
機能的硬直性: 個々の下流タスクは、単一のパラメトリック族では捉えきれない多様なスケーリング挙動（単調な改善、プラトー化、あるいは逆スケーリング）を示す。

その結果、固定された関数形式を用いて検証損失から下流性能を予測する手法は、高いバイアスに陥り、未見のモデルアーキテクチャ、パラメータ数、またはタスクへの汎化性能が低下する。

手法：NEUNEU

著者らは、スケーリング則の予測を時系列外挿問題として定式化するニューラルネットワーク手法である**ニューラル・ニューラル・スケーリング則（NEUNEU）**を提案する。パラメトリック手法とは異なり、NEUNEU は特定の関数形式を仮定することなく、将来の性能を予測することを学習する。

アーキテクチャと入力表現

NEUNEU は、観測された精度の軌跡からの時間的コンテキストと、トークンレベルの検証情報を組み合わせる。

損失表現: 分布情報を保持し、有界ではない交差エントロピー損失を処理するために、モデルはトークンごとの損失（ $\ell$ ）をトークンごとの確率（ $p = e^{-\ell}$ ）に変換する。
入力系列: モデルは、歴史的な下流精度（ $y_{1:t}$ $y_{1 : t}$ ）と計算ギャップ（ $g_{1:t}$ $g_{1 : t}$ ）の系列を処理し、さらに検証セットからのトークン確率ベクトル（ $p_t$ $p_{t}$ ）を併せて入力する。
- ギャップ: 評価ステップ間の計算間隔は、異なるモデルスケール全体での不変性を確保するために抽象化される。
- トークン確率: モデルは、単一の平均化された損失値ではなく、 $N=256,000$ のトークン確率のベクトル（およそ 1 ミニバッチサイズ）を取り込む。
モデル構成要素:
1. 損失エンコーダ: 階層的な 1 次元 CNN（4 層）がトークン確率ベクトルを処理し、埋め込み $e$ を生成する。
2. トランスフォーマーバックボーン: 標準的な BERT 風のトランスフォーマー（6 層、双方向注意機構、RoPE）が、[CLS] トークン、損失埋め込み $e$ 、そして投影された精度とギャップを連結して形成されたコンテキスト・トークンを含む系列を処理する。
3. 予測ヘッド: [CLS] トークンからの出力は、分位回帰を用いて将来の精度の分布を予測するように投影される。モデルは 5 つの分位（ $\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$ ）を出力する。

訓練戦略

データ: モデルは、HuggingFace のオープンソース言語モデル訓練軌跡、具体的にはDataDecideモデルスイート全体で訓練される。これには、6 つのモデルサイズ（90M から 1B パラメータ）および 24 のデータセットにわたる 144 のユニークな事前学習軌跡が含まれる。
目的関数: モデルは、較正された不確実性推定値を生成するために、5 つの分位にわたって合計されたピンボール損失を用いて訓練される。
データ拡張: 欠損データに対する堅牢性を確保するため、訓練プロセスでは精度系列からタプルをランダムに削除し、そのギャップを先行するタプルに吸収させる。

主要な貢献

パラメトリックフリーな予測: NEUNEU は、パラメトリックな仮定や特定の関数形式に関する事前知識なしに下流のスケーリング性能を予測する最初のモデルである。
卓越した精度: 66 の下流タスクにおいて、NEUNEU は平均絶対誤差（MAE）で1.99%を達成し、広く使用されているロジスティック・スケーリング則（MAE 3.56%）と比較して44% の誤差削減を実現した。
不確実性の較正: 分位回帰を活用することで、NEUNEU は較正された不確実性推定値を提供する。予測された 10%-90% 分位間隔は、真値データの 77.6% を捉え、期待される 80% に近い値を示している。
ゼロショット汎化: モデルは以下に対してゼロショットで汎化する。
- 未見のランダムシード。
- 未見の事前学習データセット（例：C4）。
- 訓練中に観測されなかったモデルファミリーおよびアーキテクチャ。これには、非トランスフォーマーモデル（例：OLMo-Hybrid-7B）や、訓練時には観測されなかったより大きなパラメータ数（最大 12B）が含まれる。
- 未見の下流タスク（メタ訓練中に保持されたタスク）。

結果と評価

著者らは、NEUNEU をいくつかのベースラインと比較評価した。

ロジスティック・スケーリング則: タスクごとのパラメトリック適合。
BNSL（Broken Neural Scaling Laws）: 領域の分断を許容するパラメトリックモデル。
LC-PFN: コンテキスト内学習曲線外挿のためのメタ学習トランスフォーマー。
アブレーション: 平均損失のみを使用する変種（AVERAGE）または損失情報を全く使用しない変種（NOLOSS）を用いた NEUNEU のバリエーション。

主要な知見:

汎化: NEUNEU は、分布外（OOD）評価においてすべてのベースラインを大幅に上回った。特に、パラメトリック則が壊滅的に失敗する（約 4 倍の高い誤差を招く）新しいアーキテクチャ（Pythia、OLMo-Hybrid）において顕著であった。
タスク非依存性: 各タスクごとに別々のモデルを適合させる必要があるロジスティック・スケーリング則とは異なり、単一の NEUNEU モデルが、訓練中に一度も観測されなかったタスクを含む任意のタスクの精度を予測し、しばしばその特定タスクに直接適合させたロジスティック則よりも優れた性能を発揮する。
意思決定への有用性: NEUNEU は、競合するモデル構成の最終性能を76.6% の精度で正しくランク付けし、ロジスティック・スケーリング則に対して 12.9% の改善を示した。これは、NEUNEU がリソース配分やハイパーパラメータ選択を効果的に導くことができることを示唆している。
情報の価値: AVERAGE および NOLOSS のアブレーションは、完全な NEUNEU よりも劣る性能を示し、トークンレベルの損失分布には平均化によって捨てられてしまう予測的なシグナルが含まれていることを確認した。

意義と主張

本論文は、既存のスケーリング則の限界は予測問題そのものの本質的なものではなく、制限された仮説クラス（すなわち、特定の関数形式を仮定すること）の産物であると主張する。多様なオープンソース軌跡で訓練されたニューラルネットワークの柔軟性によってパラメトリックなバイアスを置き換えることで、NEUNEU は、データから直接下流のスケーリングを予測することがパラメトリックな代替手段を上回ることを実証している。

著者らは NEUNEU を「訓練ダイナミクスの基盤モデル」への一歩として位置づけている。言語モデルをブラックボックスとして扱うのではなく、NEUNEU は現在の性能と計算アクションに基づいて将来の状態をシミュレートできる、訓練ダイナミクスの萌芽的なモデルとして機能する。この能力により、実世界の訓練実行に伴う莫大なコストを伴うことなく、実務家がハイパーパラメータ空間やアーキテクチャ選択を探求することが可能になるかもしれない。この研究は、計算資源とデータとともにスケーリングする手法は、人間が設計した構造に依存する手法よりも優れるという原則と合致している。