🤖 AI

On the Smallness of the Large Language Models Scaling Exponents

本論文は、現在の大規模言語モデルのスケーリング指数が持続不可能なエネルギー体制を示していると論じており、この結論は非ゼロの損失限界による「ペデスタル効果」を考慮した後でも維持される一方で、データの滑らかさがこれらの指数に与える影響を議論するために流体乱流との類推も用いている。

原著者： Sauro Succi, Peter V. Coveney, Alex Hansen

公開日 2026-06-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sauro Succi, Peter V. Coveney, Alex Hansen

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「大きければ大きいほど良い」という問題

あなたは、ロボットに完璧に話すことを教えようとしていると想像してください。現在のAI界におけるルールは、**「ロボットは大きければ大きいほど、より良く話す」**というものです。この「壁のない（no-wall）」発見と呼ばれる考え方は、単にデータとコンピューターの計算力を増やし続ければ、ロボットは永遠に賢くなり続けることを示唆しています。

しかし、この論文の著者たちは、この戦略は持続不可能であると主張しています。彼らは、たとえ知能の壁にはまだ到達していなくても、エネルギー消費の壁には既に当たりつつあるのだと言っています。

コアとなる問題：収穫逓減（しゅうかくていげん）

論文では、なぜこれが問題なのかを説明するために、単純な数学的概念を用いています。窓を掃除している場面を想像してみてください。

目標： 窓を完全に透明にする（エラーをゼロにする）。
現状： 窓の汚れを半分にするためには、単に2倍の労力が必要なのではありません。1,000倍の労力が必要なのです。

著者たちは、現在の大規模言語モデル（LLM）が持つ「スケーリング指数」（どれほどの速さで性能が向上するかを測る数値）が非常に小さい（約0.05から0.1）ことを指摘しています。

比喩： AIの性能をほんの少し向上させたいだけでも、膨大な量の新しいデータを投入し、莫大な量の電気を消費しなければなりません。それは、登れば登るほど急勾配になっていく丘に向かって、岩を押し上げ続けるようなものです。論文は、これがエネルギー資源における行き止まりであると論じています。

「台座（ペデスタル）」による弁護：ただ待っていればよいのか？

一部の批判者は、「心配いりません！私たちはAIに完璧（エラーゼロ）であることを求めているわけではありません。ただ、デタラメを言わなくなる程度の『十分に良い』状態になればいいのです。エラーが底につく前に学習を止めればいいのです」と言います。

著者たちはこれを**「ペデスタル効果（台座効果）」**と呼んでいます。彼らは、どれほどデータを投入しても、AIのエラーがこれ以上下がることのない「床（台座）」を想像しています。

論文による反論： たとえ完璧さを求めないとしても、数学的には成立しません。著者たちは、「床」がスタート地点に対して非常に高いため、「十分に良い」とされる領域に到達するスピードが非常に速く、それでもなお、先ほどの非常に小さなスケーリング指数が適用されてしまうことを示しています。
比喩： あなたは浴槽に水を溜めようとしています。「満タンにする必要はありません。数インチの水があれば十分です」とあなたは主張します。しかし著者たちは、「たとえ低い目標であっても、蛇口からの水の出が非常に遅いため、数インチ溜まる前に、あなたは水（エネルギー）を使い果たしてしまうでしょう」と言っているのです。

なぜ数値がこれほど小さいのか？（データの「粗さ」）

論文は問いかけています。なぜAIの向上はこれほど遅いのか？

彼らはAIの学習を、流体の乱流（川の中の渦や、立ち昇る煙のようなもの）と比較しています。

滑らかさ vs 粗さ： もし、滑らかで予測可能なパターン（直線など）を学ぼうとしているなら、学習は速いです。しかし、現実世界のデータ（言語、画像、複雑なシステム）は、嵐の海のように「粗く」、混沌としています。
フラクタルとの関連性： 著者たちは物理学の比喩を用いています。嵐の中では、エネルギーは均一に分散されているのではなく、小さく混沌とした渦の中に集中しています。嵐を理解するためには、それらの小さな渦を見なければなりません。
結果： データが「粗く」混沌としているため、AIはそのパターンを見つけ出すためにより多くの努力を強いられます。論文は、データの「粗さ」がスケーリング指数を非常に低い状態に留めていることを示唆しています。

「隠れた地図」理論

論文は、学習の速度はデータの**固有次元（Intrinsic Dimension）**に依存するという、SharmaとKaplan（SK）による理論に触れています。

比喩： 図書館を想像してください。
- 埋め込み空間（Embedding Space）（図書館のサイズ）は巨大です。おそらく何百万もの棚があります。
- 固有次元（Intrinsic Dimension）（本当の物語が含まれている実際の本の数）はそれよりもずっと小さいですが、それでも非常に大きいです。
問題： LLMは、巨大な図書館の中に隠された「本当の物語」を見つけ出す（データを圧縮する）ことには非常に長けていますが、その「本当の物語」自体が非常に複雑（次元数が多すぎる）であるため、世界のエネルギーを使い果たすことなく効率的に学習することができないのです。

結論：「大きさ」を追い求めるのをやめる

著者たちは、「大きいほど良い」というアプローチは、エネルギー枯渇へのレシピであると結論づけています。

判定： AIがいかに賢くなろうとも、データが複雑で「粗い」場合、それをわずかに賢くするために必要なエネルギーは常に高くなりすぎます。
提案される道： 単に電気を大量に消費する、より大きく、より単純なモデルを作るのではなく、私たちは**基礎的な物理学を考慮したモデル（「世界モデル」と呼ばれるもの）**に立ち返る必要があります。これらは、単に膨大なデータベース内のパターンを暗記するのではなく、（重力や因果関係のような）世界がどのように機能するかを理解するシステムです。

要約すると： 私たちは複雑なパズルを解こうとして、どんどん多くの人を投入していますが、パズルがあまりに難しいため、パズルを解き終える前にコーヒー（エネルギー）を使い果たしてしまっています。私たちは戦略を変える必要があります。単に作業員を増やすだけでは不十分なのです。

問題提起
本論文は、大規模言語モデル（LLM）の開発における現在の軌道の持続可能性について論じている。この開発は、「壁がない（no-wall）」という発見、すなわちモデルのサイズとデータ量が増加するにつれてLLMの性能が向上し続けるという観察によって推進されている。この発見は「大きいことは良いことだ（bigger is better）」という信条をもたらしたが、著者らは、この改善を支配するスケーリング指数が極めて小さい（通常 $\alpha \approx 0.05 \div 0.10$ ）ことを指摘している。実用的な観点では、指数が0.1であることは、損失関数を2分の1に減少させるために、 $2^{10} = 1024$ 倍の計算リソースが必要であることを意味する。著者らは、損失関数を厳密な数値的誤差として捉えるか、あるいは経験的な指標として捉えるかにかかわらず、この「収穫逓減」のレジームは、現在のスケーリング戦略をエネルギー消費の観点から持続不可能にすると主張している。

手法および理論的枠組み
著者らは、LLMのスケーリング指数に対する理解を批判し、洗練させるために、スケーリング則、数値解析のアナロジー、および流体力学の現象論的モデルを組み合わせた理論的分析を用いている。

「ペデスタル効果（台座効果）」への反論： 本論文はまず、小さなスケーリング指数は、非ゼロの「ペデスタル」（データサイズ $N \to \infty$ における損失関数の非ゼロの極限）を無視することによって生じる数値的なバイアスであるという反論に対処している。損失関数を $L(x) = L_0 + (L_1 - L_0)x^\alpha$ （ここで $x=1/N$ ）としてモデル化することで、著者らは「ランニング・スケーリング指数」を導出している。彼らは、小さなペデスタルが存在する場合でも、「高い」スケーリング・レジーム（Chinchillaのスケーリング $\alpha \approx 1/3$ など）から、観察されている「低い」レジーム（ $\alpha \approx 0.05 \div 0.1$ ）への遷移は、現代のLLMで使用されているデータセットサイズよりもはるかに低い段階で発生することを実証している。したがって、ペデスタル効果は「観察された」低い指数を説明するものではあるが、根本的な持続不可能性を解決するものではない。
理論的下限（Sharma-Kaplanモデル）： 著者らは、スケーリング指数はデータの多様体（manifold）の固有次元（ $d$ ）によって制限されるという、SharmaとKaplan（SK）が提唱した理論的枠組みを採用している： $\alpha \sim 4/d$ 。この関係は、LLMが、埋め込み次元 $D$ よりも大幅に小さい $d$ 次元特徴空間における適応型格子細分化法と同様に機能していることを示唆している。
流体乱流とのアナロジー： これらの指数の大きさを説明するために、本論文は流体乱流の現象論とのアナロジーを用いている。
- 滑らかさと粗さ（Smoothness vs. Roughness）： 著者らは、スケーリング指数とターゲット信号の滑らかさ（ハースト指数 $h$ ）を結びつけている。滑らかな信号では $h=1$ であるが、乱流のような非滑らかなプロセスでは $h < 1$ となる。
- フラクタル次元： コルモゴロフの1941年（K41）理論とマルチフラクタルモデルを用いて、乱流の流れでは、信号の粗さとエネルギー散逸のフラクタル的性質により、有効なスケーリング指数がさらに減少することを示す。
- LLMへの示唆： 本論文は、多くの複雑なシステム（およびおそらくLLMが処理するデータ）は非滑らかであることを主張している。この「粗さ」は、固有次元を $1/h$ 倍に拡大させ、結果としてさらに小さなスケーリング指数（ $\alpha \sim 4h/d$ ）をもたらす。

主な貢献と結果

持続不可能性の検証： 著者らは、小さなスケーリング指数（ $\alpha < 0.1$ ）が単なる早期終了や数値的バイアス（ペデスタル効果）によるアーティファクトではなく、現在のLLMアーキテクチャのスケーリング効率における根本的な限界を反映していることを確認した。
ペデスタル効果の定量化： 解析的な導出と図解（図1および図2）を通じて、本論文は、「ペデスタル」（非ゼロの損失極限）が現実的なデータセットサイズにおいてスケーリング挙動を支配しており、大規模なアプリケーションにおける潜在的な高いスケーリング指数（Chinchillaの $\alpha \approx 1/3$ など）を事実上覆い隠していることを示している。
次元圧縮の限界： LLMが高次元の埋め込み空間（ $D \sim$ 数千）を固有多様体（ $d \sim 100$ ）へと圧縮する優れた能力を持つことを認めつつも、著者らは、固有次元 $d > 40$ を持つあらゆるデータセットにおいて、スケーリング指数は必然的に0.1を下回ることを算出している。
データの粗さの影響： 本論文は、非滑らかなデータ（ $h < 1$ によって特徴付けられる）が問題を悪化させ、滑らかなデータと比較して、より低いスケーリング指数とより大きなリソースの非効率性を招くことを確立している。

意義と結論
本論文は、「壁がない」という高揚感に突き動かされた「大きいことは良いことだ」という戦略は、「エネルギー枯渇への確実なレシピ」であると結論付けている。著者らは、現在のスケーリング・レジームは、固有次元が40を超えるデータセットに対して数学的に持続不可能であり、これはほとんどの複雑な実世界のアプリケーションにおいて満たされる条件であると断言している。

本研究の意義は、単にモデルのサイズを増大させることから、物理的な洞察と「世界モデル（world models）」への適合を求めることへと焦点をシフトさせた点にある。著者らは、今後の道筋は、パラメータやデータ量の純粋な筋肉質な活用から離れ、複雑なデータの固有次元や粗さを、持続不可能なスケーリング則に依存することなく、より適切に扱うことができる、物理学に配慮したAIモデル（いわゆる「世界モデル」）へと移行する必要があると示唆している。