💻 computer science

Adam's Law: Textual Frequency Law on Large Language Models

この論文は、LLM の学習やプロンプトにおいてテキストの出現頻度が重要であるとする「テキスト頻度法則（TFL）」を提唱し、オンライン資源やパラフレーズ、物語完成による蒸留、そして頻度順のカリキュラム学習を組み合わせた新しいフレームワークを提案し、数学推論や機械翻訳などのタスクでその有効性を示しています。

原著者： Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam

公開日 2026-04-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hongyuan Adam Lu, Z. L., Victor Wei, Zefan Zhang, Zhao Hong, Qiqi Xiang, Bowen Cao, Wai Lam

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「AI（大規模言語モデル）に教えるときや、質問するときは、できるだけ『よく使われる言葉』や『一般的な言い回し』を使ったほうが、AI は賢く正しく答えられる」**という驚くべき発見と、それを応用した新しい方法を提案しています。

これを「アダム法則（Adam's Law）」と呼んでいます。

難しい専門用語を使わず、日常の例え話で解説しますね。

1. 核心となる発見：「よく使われる言葉」は AI の「母語」に近い

Imagine you are teaching a foreign language to a student who has read a million books but never spoken to anyone.
（想像してみてください。100 万冊の本を読んだことはあっても、誰とも話したことがない学生に外国語を教える場面を。）

低頻度の言い方（Low-frequency）： 「『奇抜な』表現で『複雑な』文法を使って、『珍しい』単語を並べた文章」。
- これは AI にとって「教科書には載っているけど、誰も使わないような、硬くて堅苦しい言い方」です。AI は「あ、これ見たことあるな」とは思うものの、文脈を深く理解するのが少し苦手かもしれません。
高頻度の言い方（High-frequency）： 「『よく使われる』単語で、『自然な』流れの文章」。
- これは AI がトレーニングデータ（学習用データ）で何億回も目にしてきた「日常の会話」に近いものです。

この論文の結論：
AI に「数学の問題を解いて」と頼むときや、翻訳を頼むとき、**「同じ意味でも、より自然でよく使われる言い回し（高頻度）で質問したほうが、AI は正解を出しやすい」**のです。

例え話：
料理屋さんに「美味しいお寿司を作ってください」と頼むとき、

A さん：「『極上の』『幻の』『秘伝の』『希少な』ネタを『極限まで』『調和させよ』」

B さん：「『美味しい』『新鮮な』ネタを『上手に』『作って』」

どちらの注文で、料理人は「あ、この注文はよく来るから、完璧に作れるぞ！」と自信を持って作れるでしょうか？おそらく B さんですね。AI も同じで、「よくある注文（高頻度の文章）」の方が、最高のパフォーマンスを発揮するのです。

2. この論文が提案した「3 つの魔法のツール」

この研究チームは、この「高頻度の方が良い」という法則を実際に使うために、3 つのステップ（ツール）を開発しました。

① テキスト頻度法則（TFL）：「言い換え」のルール

何をする？ 質問や指示を出す前に、AI が「よく知っている言い回し」に書き換えること。
例え話：
旅行のガイドブックに載っている「地元の人が使う自然な言葉」を、AI が一番得意とする「教科書的な正しい言葉」に変換するのではなく、「AI が最も慣れ親しんだ、街でよく聞こえる言葉」に変換する作業です。
これにより、AI の「勘」が働きやすくなります。

② テキスト頻度蒸留（TFD）：「AI 自身に教えてもらう」

何をする？ 多くの AI は「どんなデータで学習したか」を秘密にしています（クローズドソース）。そこで、その AI 自身に「この文章を続けて書いてみて」と頼み、AI が生成した文章を分析して、「AI にとってどの言葉が本当に『よく使われている』のか」を推測します。
例え話：
料理人の「得意なメニュー」を直接聞くことができない店長が、料理人に「今日の注文をシミュレーションして」と頼み、「料理人が一番スムーズに作れる注文の形」を逆算して探り当てるようなものです。

③ カリキュラム・テキスト頻度トレーニング（CTFT）：「易しい順に教える」

何をする？ AI をさらに賢くするために、学習データ（トレーニング）を「AI が苦手な難しい言い回し」から「得意な自然な言い回し」へと、順番に並べて教える方法です。
例え話：
子供に勉強を教えるとき、いきなり「難解な古文」から始めるのではなく、「まず簡単な日常会話」から始めて、徐々にレベルを上げていくような「カリキュラム（学習計画）」です。これにより、AI は基礎を固めながら、より高度なタスクをこなせるようになります。

3. 実験結果：どれくらい効果があった？

チームは、この方法を使って「数学の問題」「翻訳」「常識的な推理」などを試しました。

数学： 正解率が大幅にアップしました。
翻訳： 100 言語以上の翻訳テストで、ほぼすべての言語で精度が向上しました。
常識推理： 正解率が上がりました。

重要な発見：
「AI が間違った答えを出していたケース」の多くが、**「言い回しを自然な（高頻度の）ものに変えただけで、正解に変わった」という結果でした。つまり、AI の能力が足りなかったのではなく、「問いかけ方が難しすぎた（AI の得意分野から外れていた）」**のが原因だったのです。

まとめ：なぜこれが重要なのか？

これまでは「AI をもっと賢くするには、もっと大きなモデルを作ったり、もっと大量のデータを与えたりする必要がある」と考えられてきました。

しかし、この論文は**「データの量やモデルのサイズを変える必要はなく、ただ『問いかけ方（プロンプト）』や『学習データの順番』を、AI が好む『自然な言葉』に整えるだけで、劇的に性能が上がる」**ことを示しました。

一言で言うと：

「AI と話すときは、難しい言葉を使わず、AI が『あ、これよく聞くね』と思うような、自然で一般的な言葉で話しかけましょう。そうすれば、AI はもっと賢く、正しく答えてくれますよ！」

これが「アダム法則」が私たちに教えてくれた、シンプルで強力なヒントです。

論文「Adam's Law: Textual Frequency Law on Large Language Models」の技術的サマリー

この論文は、大規模言語モデル（LLM）の性能向上において、**「テキストの出現頻度（Textual Frequency）」**が重要な役割を果たすという新たな法則「テキスト頻度法則（Textual Frequency Law: TFL）」を提案し、その有効性を理論的・実験的に検証した研究です。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

LLM のトレーニングやプロンプトにおいて、同じ意味を持つ異なる表現（言い換え）が与えられた場合、モデルの出力品質にどのような影響があるかが不明確でした。

既存の課題: 従来、データの質や量、難易度（易から難へ）、長さ（短から長へ）は重要視されてきましたが、「同じ意味を持つ表現の中で、どの頻度のテキストが LLM に好ましいか」という視点は見過ごされていました。
仮説: 人間の認知において高頻度語は処理されやすいことが知られていますが、LLM においても、事前学習データでより頻繁に出現した表現（高頻度テキスト）の方が、低頻度の表現よりもモデルにとって理解しやすく、推論や生成の精度が高いのではないかという仮説を立てました。
制約: 多くの LLM はクローズドソースであり、トレーニングデータの正確な頻度分布にアクセスできないため、外部リソースを用いた推定と、モデル自身による推定の補正が必要でした。

2. 提案手法 (Methodology)

本研究は、テキスト頻度法則（TFL）に基づき、以下の 3 つのユニットからなるフレームワークを提案しています。

2.1 テキスト頻度法則 (Textual Frequency Law: TFL)

定義: 同じ意味を持つ言い換え（パラフレーズ）において、文レベルの頻度が高い表現をプロンプト入力やファインチューニングデータとして優先的に選択すべきという法則です。
頻度推定: LLM のトレーニングデータに直接アクセスできないため、オンラインのオープンソースコーパス（例：ParaCrawl など）を用いて、単語レベルの頻度を逆正規化の乗算（幾何平均）することで、文レベルの頻度を推定します。
- 式： $sfreq(x, D) = \sqrt[K]{\prod_{k=1}^{K} wfreq(x_k, D)}$

2.2 テキスト頻度蒸留 (Textual Frequency Distillation: TFD)

目的: 外部コーパスからの推定値（ $F_1$ ）の精度を向上させるため、ターゲット LLM 自身を用いた推定（ $F_2$ ）を組み込む手法です。
手法: 対象の LLM にトレーニングセットの文を基にした「物語の続き（story completion）」を生成させます。生成されたテキストを新たなコーパス（ $D'$ ）として扱い、その中の頻度を再計算します。
統合: 外部推定値 $F_1$ とモデル生成による推定値 $F_2$ を重み付けして最終的な頻度 $F(x)$ を算出します。これにより、モデルが実際にどの頻度を重視しているかを反映させます。

2.3 カリキュラム・テキスト頻度トレーニング (Curriculum Textual Frequency Training: CTFT)

目的: ファインチューニング時のデータ順序を最適化する手法です。
手法: 訓練データを文レベルの頻度の低い順から高い順にソートし、「低頻度→高頻度」の順序でモデルを学習させます。
背景: 低頻度表現は多様性が高く、まず基礎（高頻度）を固めた後に、より複雑な（低頻度の）表現を学習させることで、モデルの一般化能力や安定性を高めると考えられます。

3. 主要な貢献 (Key Contributions)

テキスト頻度法則（TFL）の提案: 同じ意味を持つ場合、高頻度のテキスト表現がプロンプトとファインチューニングの両方で LLM の性能向上に寄与することを初めて体系的に提案しました。
テキスト頻度蒸留（TFD）の開発: クローズドソース LLM のトレーニングデータにアクセスできない状況でも、モデル自身による生成（物語完成タスク）を通じて頻度推定を精度化する方法を提案しました。
カリキュラム・テキスト頻度トレーニング（CTFT）の提案: 頻度の低いデータから高いデータへと順を追って学習させる新しいファインチューニング戦略を提案し、その有効性を示しました。
大規模な評価データセット（TFPD）の構築: 数学推論、機械翻訳、常識推論、エージェントツール呼び出しの 4 つのタスクにおいて、高頻度・低頻度のペアを厳密に人間が検証したデータセット「Textual Frequency Paired Dataset (TFPD)」を構築しました。

4. 実験結果 (Results)

GSM8K（数学）、FLORES-200（翻訳）、CommonsenseQA（常識推論）などのタスクにおいて、DeepSeek-V3、GPT-4o-mini、Llama-3.3-70B-Instruct などのモデルで実験を行いました。

プロンプト性能の向上:
- 数学推論: 高頻度プロンプトを使用することで、DeepSeek-V3 で 63.55% → 71.54%、GPT-4o-mini で 60.70% → 68.70%、Llama-3.3-70B で 80.49% → 88.75% と、すべてのモデルで精度が大幅に向上しました。
- 機械翻訳: 100 言語ペアを対象とした実験で、BLEU、chrF、COMET スコアのすべての指標において、高頻度表現の方が低頻度表現よりも優れた結果を示しました（例：DeepSeek-V3 で 99/100 の言語ペアで BLEU が向上）。
- 常識推論・ツール呼び出し: これらのタスクにおいても、高頻度入力の方が精度が高いことが確認されました。
ファインチューニングの効果:
- 高頻度データのみでファインチューニングを行うと、元のデータセット（Ground Truth）で学習した場合よりも性能が向上しました。
- CTFT の有効性: 「低頻度→高頻度」の順序で学習させる CTFT を適用した場合、ランダムな順序や逆順序（高→低）と比較して、すべてのメトリックで最良の結果（BLEU などで最大 29.96% の改善）を得ました。
TFD の効果: 頻度蒸留（TFD）を適用することで、さらに性能が向上することがアブレーション研究で確認されました。

5. 意義と結論 (Significance & Conclusion)

理論的裏付け: 論文の付録では、Zipf の法則とクロスエントロピー損失の最小化に基づき、高頻度テキストの方がモデルの負の対数尤度（NLL）損失が低くなることを理論的に証明しています。これは、LLM が事前学習分布に近い入力に対してより確からしい予測を行うことを示唆しています。
実用的価値: 計算リソースが限られる中で、すべてのパラフレーズを学習データに含めるのではなく、「高頻度の表現」を優先的に選択・学習させることで、効率的にモデル性能を最大化できることを示しました。
今後の展望: この法則は、LLM のプロンプトエンジニアリング、データ選定、カリキュラム学習の設計において、単なる「難易度」や「長さ」だけでなく、「テキストの頻度」という新たな次元を考慮する必要性を提起しています。

総じて、この研究は「同じ意味でも、表現の頻度によって LLM の性能が変化する」という現象を解明し、それを制御可能な手法として確立した点に大きな意義があります。