💬 NLP

InfoLaw: Information Scaling Laws for Large Language Models with Quality-Weighted Mixture Data and Repetition

本論文は、事前学習を情報蓄積としてモデル化し、多様なデータ混合、品質重み、反復レベルにわたる大規模言語モデルの性能を正確に予測する新たなデータ意識型スケーリングフレームワークである InfoLaw を導入し、これにより過学習またはデータ制限の領域においても最適なデータレシピの選択を可能にする。

原著者： Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

公開日 2026-05-06

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Fengze Liu, Weidong Zhou, Binbin Liu, Ping Guo, Zijun Wang, Bingni Zhang, Yifan Zhang, Yifeng Yu, Xiaohuan Zhou, Taifeng Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

「InfoLaw」という論文を、簡単な言葉と日常的な比喩を用いて説明します。

大きな問題：良いものが多すぎるのか？

AI（学生）に上手に文章を書く方法を教えることを想像してください。あなたには膨大な量の書籍の図書館がありますが、その中で本当に質の高い古典と呼べるものはほんのわずかです。残りの大部分は平均的か、ただのそこそこというレベルです。

過去、研究者たちは最善の戦略は、学生に高品質な古典だけを与えることだと考えていました。しかし、そこには落とし穴がありました。学生が学習スケジュールをすべて埋めるのに十分なだけの古典が存在しないのです。学生に時間を埋めるために同じ 100 冊の古典を繰り返し読ませると、彼らは次第に退屈し、同じフレーズを繰り返すようになり、パフォーマンスは実際には悪化します。これを「反復（リピテーション）」と呼びます。

一方、時間を埋めるために低品質な本を混ぜると、学生は多様性を学べますが、悪い習慣を身につけてしまう可能性があります。

大きな疑問はこれです：高品質な本をどの程度繰り返すべきか、そして低品質な本をどの程度混ぜるべきか？

古い方法：壊れた地図で推測すること

以前、科学者たちは AI の性能を予測するために「スケーリング則（Scaling Laws）」を用いていました。これらは以下のような地図だと考えてください。「10 時間勉強すれば B 評価、100 時間勉強すれば A 評価になる」といったものです。

しかし、この論文は、同じ高品質なデータを繰り返すようになると、この古い地図が機能しなくなると主張しています。

欠陥: 古い地図は、勉強時間が長ければ長いほど成績が良くなると仮定しています。しかし、同じ本を 50 回読むことは、最初の 5 回以降はもう役立たないという事実を考慮していません。
結果: 研究者たちがこの古い地図を使って巨大な AI の性能を予測しようとしたとき、その地図は過度に楽観的でした。AI が完璧なスコアを獲得すると予測されましたが、実際には AI は混乱し、反復のループに陥ったため、パフォーマンスは低かったのです。

新しい解決策：「InfoLaw」（情報温度計）

著者たちは、InfoLawと呼ばれる新しい枠組みを導入しました。AI が「何時間」勉強したか（または何トークンを見たか）を単に数えるのではなく、InfoLaw は AI が実際に学んだ**「新しい情報の量」**を測定します。

彼らがこれを構築した方法は以下の通りです：

図書館のバケツ: 彼らは膨大なテキストの図書館を、品質に基づいて（「金」から「ジャンク」まで）6 つのバケツに分類しました。
混合レシピ: 彼らはトレーニングのための異なる「レシピ」を作成しました。あるレシピは 80% が金の本（多くの反復を含む）で、他のレシピは金と銀の本の混合（反復が少ない）でした。
発見: 彼らは AI の学習が特定のパターンに従うことを発見しました。
- 品質密度: 高品質な本は、初めて読んだときに巨大な「情報ブースト」をもたらします。
- 逓減する利益: 本を繰り返して読むたびに、そのブーストはバッテリーが放電するように小さくなっていきます。最終的に、再度読んでも価値はほぼゼロになります。
- 数式: 彼らは、本の品質と反復回数を組み合わせて、AI が吸収した総「情報」を計算する数学的な数式を作成しました。

魔法のような結果：一本の直線

この論文の最も印象的な点は、単なる「費やした時間」ではなく、この新しい「情報」指標を使って結果をプロットしたときに何が起こったかです。

以前: 時間を基準に結果をプロットすると、データ点はあちこちに散らばっていました。反復が多いレシピと、反復が少ないレシピは、全く異なるように見えました。
以後: 情報を基準に結果をプロットすると、散らばったすべての点が一本の完璧な直線に収束しました。

これはつまり、あなたがどのような「レシピ」を使用しても（高品質で反復があるものでも、混合品質のものでも）、AI が吸収した総「情報」がわかれば、そのパフォーマンスを完璧に予測できることを意味します。

これを使って何ができるのか？

彼らはこの完璧な直線（InfoLaw）を持っているため、数百万ドルをかけて巨大なモデルをトレーニングする前に、以下の 2 つの非常に有用なことができるようになりました。

未来を予測する: 彼らは特定のレシピで小さく安価なモデル（例えば 2 億 5000 万パラメータのモデル）をトレーニングできます。InfoLaw を使用すれば、その同じレシピで 70 億パラメータの巨大なモデルがどのように性能を発揮するかを正確に予測できます。
完璧なレシピを見つける: 彼らは数式を使って「最適な混合比」を計算できます。彼らは以下を発見しました。
- 小さなモデル（または小規模な予算）は、少しの反復を許容しても、最高品質のデータに集中すべきです。
- 大きなモデル（または大規模な予算）は、多様性からより恩恵を受けます。反復による「退屈」を避けるために、より多くの低品質なデータを混ぜるべきです。

要約の比喩

AI のトレーニングをシチューを煮込むことに例えてみましょう。

古い方法: 鍋がどれくらい煮込んでいるかだけを計ります。10 時間は常に 1 時間より優れていると仮定します。しかし、同じ 3 個のじゃがいもを繰り返し加え続けると、シチューは奇妙で塩辛くなります（反復は害になります）。
InfoLaw: この方法は、材料から実際に抽出された**「風味」**を測定します。最初の 1 時間の煮込みでじゃがいもの風味の 90% が抽出されますが、10 時間目にはほとんど何も抽出されないことを知っています。
メリット: 今や、巨大な鍋のシチューにどれだけの塩とじゃがいもを加えるか推測する必要はありません。「風味の数式」を使って、瞬時に完璧なレシピを計算でき、材料と時間の無駄を省くことができます。

結論: この論文は、より良い AI をトレーニングするためには、使用するデータの量だけでなく、特に高品質なデータを繰り返さざるを得ない場合に、そのデータが提供する新しい情報の量に注目すべきであることを証明しています。これにより、パフォーマンスを正確に予測し、あらゆるサイズの AI に最適なデータ混合を選択することが可能になります。

技術的サマリー：InfoLaw

問題定義

大規模言語モデル（LLM）のトレーニングは、高品質データの不足により、ますます制約を受けるようになっている。事前学習において高品質データに重み付けを行うことは一般的に性能を向上させるが、データ制約下ではこれらのサンプルの反復が必要となる。既存の文献は、過度な反復が逓減収益をもたらし、潜在的に性能低下を招くことを示している。さらに、通常モデルの損失を計算量やトークン数に関連付ける標準的なスケーリング則は、異なるデータ混合レシピや反復条件下では信頼性を持って外挿できなくなる。この失敗により、大規模における最適なデータレシピの選択は未決定となり、しばしばデータ構成に関する高コストなグリッドサーチを必要とする。

手法

本論文は、消費トークン数、モデルサイズ、データ混合重み、および反復レベルに基づいてモデル損失を予測するために設計されたデータ認識型スケーリングフレームワークである**InfoLaw（情報スケーリング則）**を導入する。核心的な理論的前提は、事前学習を情報蓄積プロセスとしてモデル化することであり、そこでは：

品質が情報密度を制御する：より高品質なデータは、トークンあたりにより多くの情報を寄与する。
反復が規模依存の逓減収益を引き起こす：反復的な曝露は、漸進的に小さくなる情報利得をもたらす。

InfoLaw フレームワーク

このフレームワークは、トレーニングコーパスから学習された知識を集約する**情報（$info$）**と呼ばれる指標を定義する。計算には以下の要素が含まれる：

品質密度（ $f_d$ ）：パラメータ化された関数であり、より高品質なバケット（低いインデックス $d$ ）には高い情報密度が割り当てられる。本論文は指数減衰関数 $f_d(\theta) = e^{-\theta \cdot d}$ を適合させる。
学習率減衰（ $\lambda(N)$ ）：モデルのトークンあたりの非埋め込み FLOPs（ $N$ ）に依存するレートパラメータである。本論文は、モデル規模の増加に伴う学習容量の飽和を捉えるため、この関係を対数関数 $\lambda(N) = a \cdot \ln(N) + b$ としてモデル化する。
反復因子（ $R_d$ ）：特定の品質バケットからのトークンが平均して何回観測されるかを示す値であり、目標トークン数（ $K$ ）、ソーストークン数（ $S$ ）、および混合重み（ $w$ ）に基づいて計算される。

学習される総情報は以下のように定式化される：
$info = \sum_{d} f_d M_d \log(K) \left(1 - e^{-\lambda(N) R_d / \log(K)}\right)$
ここで、 $M_d$ はバケット $d$ 内の一意のトークン数である。

最後に、このフレームワークはモデルの検証損失（ $L$ ）と計算された情報の間にべき乗則の関係を確立する：
$L = \alpha \cdot info^{-\beta}$

実験設定

InfoLaw のパラメータを適合させるため、著者らは規模、品質分布、および反復レベルの 3 つの軸を変化させるデータセットを構築した。

データソース：Common Crawl から得られた 3.7T の英語トークンであり、分類器のスコアに基づいて 6 つの品質バケットに分割された。
サンプリング：「LayerMix」と呼ばれるサンプリング関数を用いて、混合重み（ $w$ ）および反復レベル（ソースサイズ $S$ を目標サイズ $K$ に対して調整することにより）を変化させるトレーニングセットを構築した。
トレーニング：252M から 1.2B パラメータまでの 9 つのモデルを、3.6 倍の過学習率（overtraining ratio）の下でゼロからトレーニングした。
評価：性能は、5 つのダウンストリームタスク（HellaSwag、ARC-E/ARC-C、MMLU、TriviaQA）における平均パープレキシティとして測定された。

主要な貢献

スケーリング則の失敗の特定：本論文は、従来のスケーリング則（損失対計算量）がデータ反復下では体系的に誤った外挿を行い、より大規模なモデルに対して過度に楽観的な予測をもたらすことを実証する。
InfoLaw 定式化：「計算量」を「品質と反復を考慮した情報」指標に置き換えることで、多様なデータレシピとモデル規模を単一のべき乗則曲線上に統合する新規フレームワーク。
パラメータ適合と検証：著者らは小規模実験（252M–1.2B）を用いて品質密度および学習減衰パラメータを適合させ、未見のデータレシピおよびより大規模なモデル規模（425B トークンでトレーニングされた最大 7B モデル）における性能予測能力をフレームワークが有していることを検証した。

結果

予測精度：InfoLaw は、未見のデータレシピおよびより大規模なスケール（最大 7B モデル）における検証損失を、0.15% の平均絶対誤差および0.96% の最大絶対誤差で予測する。
外挿能力：
- 未見のレシピ：トレーニング中に観測されなかった混合重み（例：MLQ、MHQ）に対する損失を正確に予測する。
- より大規模なスケール：7B パラメータまでのモデルに対する予測が成立し、高計算量予算で発散する従来のスケーリング則を大幅に上回る。
- より高い過学習：このフレームワークは 25 倍の過学習領域へも成功裡に外挿でき、過学習の度合いは主に曲線の切片をシフトさせ、形状を変えるものではない。
最適化：適合された InfoLaw を用いて、著者らは追加のトレーニング実行なしに 2.5B モデルの最適なデータレシピを探索した。特定されたレシピは、4 つのランダムにサンプリングされたベースラインを上回った。
一般的な傾向：分析により、小規模モデルまたは小規模なトレーニング予算は高品質データを優先するのに対し、大規模モデルまたは大規模な予算はデータ多様性（最高品質バケットへの割り当て割合を小さくする）からより恩恵を受けることが明らかになった。

意義と主張

本論文は、InfoLaw が変化する計算量予算の下でデータレシピを選択するための信頼性の高いツールを提供し、広範な試行錯誤実験の必要性を排除すると主張している。データ品質、反復、およびモデル規模の相互作用を正確にモデル化することで、このフレームワークはデータ制約下における効率的な事前学習戦略を可能にする。著者らは、重み付け品質混合および反復を含むシナリオにおける性能予測において、従来のスケーリング則よりも堅牢な代替手段を提供し、数億から数十億パラメータのモデルに対する最適なデータ構成の発見を促進すると述べている。

本論文は、現在のデータバケット化が経験的なヒューリスティクスに依存しており、過学習のシフトに関する理論的説明は未解決の課題であるものの、InfoLaw は LLM スケーリングにおける根本的なトレードオフを効果的に捉え、より効率的なデータ利用に向けた実践的な道筋を提供すると結論づけている。