🤖 AI

When Mean CE Fails: Median CE Can Better Track Language Model Quality

本論文は、合成事実学習やトップ K 蒸留などのシナリオにわたる言語モデルの品質を追跡する際、標準的な平均交差エントロピーよりも中央値交差エントロピーがしばしば優れていることを示しており、それは分布の尾部外れ値に歪められるのではなく分布の中心部分に焦点を当てることでタスク性能との相関がより高まるためである。

原著者： Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hao Guo, Simon Dennis, Rivaan Patil, Kevin Shabahang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが教師で、生徒の論文を採点していると想像してください。通常、生徒の成績がどの程度良いかを判断するために「平均」点を計算します。平均点が上がれば、生徒が上達していると仮定します。

この論文は、AI 言語モデルにとって「平均」点（平均クロスエントロピーと呼ばれる）はひどい嘘つきになり得ると主張しています。時には、AI が実際にはより良い物語を書いたり、より正確に質問に答えたりしているにもかかわらず、平均点が上昇し（AI が劣化していることを示唆する）ことがあります。

以下に、なぜこれが起こるのか、そして著者たちがどのような代替案を提案しているのかを、いくつかの創造的な比喩を用いて簡潔に解説します。

1. 問題点：「平均」は簡単に欺かれる

AI の世界では、モデルの良し悪しを「損失」（低いほど良いスコア）を見て評価します。標準的な方法は、モデルが犯すすべての誤りの平均（Mean）をとることです。

比喩：「1 つの腐ったリンゴ」効果
100 個のリンゴが入ったかごを想像してください。

99 個のリンゴは完璧です。
1 個のリンゴは腐っており、ひどい臭いがします。

かごの「平均的な鮮度」を計算すると、その 1 つの腐ったリンゴが全体のスコアを引っ張って下げます。かごの 99% が完璧であるにもかかわらず、かごは悪いように見えます。

この論文は、AI モデルがしばしばこのかごのように振る舞うことを発見しました。訓練中、モデルは「通常の」単語（99 個の完璧なリンゴ）を予測することに非常に上手になります。しかし、いくつかの稀で難しい単語（1 つの腐ったリンゴ）に対しては、奇妙で誤りの大きい間違いを犯し始めます。

平均は腐ったリンゴを見て、「モデルが悪化している！」と言います。
現実は、モデルが実際には本来の任務において上達しているということです。

2. 解決策：「中央値」は真実を語る

平均の代わりに、著者たちは中央値（Median）の使用を提案しています。

比喩：「真ん中の子ども」
すべてのリンゴを最良から最悪まで並べると、中央値はちょうど真ん中にあるリンゴです。

私たちの 100 個のかごの場合、50 番目のリンゴは完璧です。
腐ったリンゴは列の一番端にあります。
中央値はその 1 つの腐ったリンゴを気にしません。それはかごの中の「典型的な」リンゴが新鮮であることを伝えます。

この論文は、平均ではなく中央値スコアを見ると、物語を語ったり事実を思い出したりするなどのタスクにおける AI の実際の性能と完全に一致することを示しています。

3. 論文からの 2 つの現実世界の例

著者たちは、この 2 つの異なるシナリオでこれをテストしました。

シナリオ A：「過剰学習」した生徒（Qwen モデル）

何が起こったか： 彼らは AI に作り上げられた事実のリストを教えました。
罠：訓練を続けるにつれて、AI はその事実に対しては上達しましたが、いくつかの非常に具体的で奇妙な文構造に対して混乱し始めました。
結果： 平均スコアは上昇し（悪く見える）、中央値は低く留まりました（良く見える）。実際のテストスコア（事実をどの程度よく覚えているか）は、平均ではなく中央値に従いました。平均は、そのいくつかの混乱する文構造に反応しただけでした。

シナリオ B：「Top-K」蒸留（TinyStories）

何が起こったか： 彼らは小さな AI に大きな AI をコピーさせようとしましたが、小さな AI に対して、大きな AI が選ぶ可能性が最も高い上位 5 個の単語にのみ注意を払い（残りを無視する）よう指示しました。
罠：これにより、小さな AI は一般的な単語に対して非常に自信を持つようになりました（優れた中央値）が、稀な単語に対してはひどい結果となりました（悪い平均）。
結果： 人間（または審査員として機能する他の AI）が物語を読んだとき、彼らは「トップ 5」の生徒の物語を愛しました。それは最高の物語作家でした。しかし、平均スコアを見ると、それは最悪の生徒のように見えました。中央値スコアは、それを正しく最高のものとして特定しました。

4. 「一致」チェック：いつ平均を信頼するか

著者たちはコンコルダンス（Concordance）と呼ばれる概念を導入しました。これは「チームの合意」チェックだと考えてください。

高いコンコルダンス： 平均、中央値、そして「95 パーセンタイル」（最悪のシナリオ）のすべてが、どのモデルが最良かについて合意しています。この場合、平均を使用しても問題ありません。
低いコンコルダンス： 平均は「モデル A が最良だ」と言いますが、中央値は「モデル B が最良だ」と言います。これは赤信号です！これは誤りの分布の形状が変化した（リンゴのかごのように）ことを意味します。

論文の助言：
平均スコアだけを報告しないでください。以下の小さなセットのスコアを報告してください。

平均（平均値）。
中央値（典型的なケース）。
95 パーセンタイル（最悪のケースの尾部）。

これら 3 つの数値が異なる物語を語っている場合、「平均」があなたに嘘をついているとわかります。現実世界のタスクで実際にパフォーマンスが向上するモデルを選ぶ際には、中央値を信頼すべきです。

まとめ

平均 CE（平均）： いくつかの悪い間違いによって欺かれる可能性があります。これは、難しいテストに不合格になった 1 人の生徒に基づいてクラス全体を判断するようなものです。
中央値 CE（中央）： 外れ値を無視し、「典型的な」トークンがどのように機能しているかを伝えます。これは現実世界の性能をよりよく追跡します。
対策： 常に「平均」スコア alongside「中央」スコアをチェックしてください。これらが一致しない場合、「中央」スコアは、最良の AI モデルを選ぶ際に通常信頼すべきものです。

技術的サマリー：平均クロスエントロピーが失敗する時、中央値クロスエントロピーは言語モデルの品質をよりよく追跡できる

問題提起

平均クロスエントロピー（CE）は、パープレキシティに相当し、言語モデルの標準的な検証指標である。しかし、特にトークンごとの CE 分布が経験的に「再編成（reshaping）」される場合、それは下流タスクのパフォーマンスを追跡する際にしばしば失敗する。そのようなシナリオでは、分布のバルク（典型的なトークン）とテール（高損失トークン）が互いに逆方向に移動する。平均は質量平均統計量であるため、高損失トークンの重いテールによって支配されやすく、バルクの改善を隠蔽したり、特定のタスクに対するモデルの実際の有用性を誤って表現したりする可能性がある。本論文は、平均 CE がモデル品質の予測に失敗する条件を調査し、より頑健な診断法として百分位に基づく要約（特に中央値）の使用を提案する。

手法

著者らは、2 つの異なるシナリオにおける平均 CE と百分位 CE 要約（中央値、p95）の相互作用を分析する。

暗黙的再編成（教師あり微調整）:
- 設定: LoRA を用いて、合成事実学習データ（120 の新規事実、2,400 のトレーニングペア）上で Qwen2.5-1.5B を微調整する。
- 分析: 12 エポックにわたり、平均 CE、中央値 CE、p95 CE を、貪欲な部分文字列一致精度およびサンプリングベースの pass@1 精度に対して追跡する。
- 指標: 一連の CE 要約（ $S$ ）がモデルチェックポイントを互いに対してどのように一貫してランク付けするかを測定する「一致度（concordance）」（ $\pi(S)$ ）を導入する。
意図的再編成（Top-K 蒸留）:
- 設定: 凍結された教師モデルを用いて TinyStories コーパスで知識蒸留を行う。学生モデルは、教師のトップ- $K$ トークンの確率（再正規化）に一致するようにトレーニングされ、 $K$ は完全な語彙から 5 まで変化する。
- 分析: 蒸留されたモデル（ $K$ を変化させたもの）を、異なるサイズと学習率でゼロからトレーニングされたコントロール群のモデルファミリーと比較する。
- 評価: モデルの品質は、一貫性、文法、創造性、全体的な品質に基づいて生成をスコアリングする LLM-as-a-judge（Claude Sonnet 4）によって評価される。
- 分布分析: 著者らは、 $K$ が減少するにつれてトークンごとの CE 分布がどのようにシフト（質量の再分配）するか、特にバルクとテールにおける密度を調査する。

主要な貢献と結果

1. 3 つのレジームの特定

本論文は、CE 要約の一致度に基づいてトレーニングダイナミクスを 3 つのレジームに分類する。

方向的に均一な改善: 高い一致度；モデル選択において平均と百分位が合意する。
意図的再編成: トレーニング目的（例：Top-K 蒸留）によって引き起こされる低い一致度。
暗黙的再編成: トレーニングダイナミクス（例：SFT）によって引き起こされる低い一致度。

2. Qwen 微調整ケーススタディ（暗黙的再編成）

乖離: 初期学習フェーズ（エポック 1–5）の後、平均 CE は大幅に上昇する（約 60%）が、保持された事実想起精度はピーク付近に留まる。
相関: 中央値 CE は精度失敗率と強く相関する（ $r \ge +0.84$ ）のに対し、平均 CE は弱い相関を示す（ $r \approx +0.12$ から $+0.27$ ）。
メカニズム: 分布のバルクは急速に飽和し（中央値 CE がフロアに低下する）、上部テールが拡張する（p95 が上昇する）。平均はテールに従うため、典型的なトークンの安定したパフォーマンスを反映することに失敗する。

3. Top-K 蒸留ケーススタディ（意図的再編成）

「交差」現象: $K$ $K$ が減少するにつれて、学生モデルの損失分布は分極化する。質量は極端に低い損失のバルクと極端に高い損失のテールの両方にシフトする。
- 結果: 小さい $K$ は、低い中央値 CE（より良いバルクパフォーマンス）をもたらすが、高い平均 CE（より悪いテールパフォーマンス）をもたらす。
- パフォーマンス: Top-5 学生モデルは、最悪の平均 CE（1.708）を持つにもかかわらず、最高の LLM-judge スコア（2.06）を達成する。トレーニング中、教師モデルの平均 CE よりも高いにもかかわらず、教師モデルの中央値 CE を下回る交差さえ起こす。
一致度の崩壊: 蒸留されたファミリー内では、平均 CE はジャッジスコアに対するランク決定力を完全に失う（ $\rho = -0.186$ ）のに対し、中央値 CE は強い相関を維持する（ $\rho = -0.911$ ）。逆に、蒸留されていないコントロールファミリーでは、平均と中央値 CE はほぼ完全に合意する（ $\pi \approx 0.96$ ）。
頑健性: これらの知見は、線形アテンションアーキテクチャにおいても定性的に再現される。

4. 診断的有用性

本論文は、平均と中央値 CE の乖離が低コストな診断手段として機能することを示す。一致度が低い場合、モデル選択における要約統計量の選択は重大な結果を伴う。蒸留実験において、LLM-judge（生成の品質を表す）は平均ではなくバルクの百分位と一致する。

意義と主張

本論文は、SFT や知識蒸留などの一般的なトレーニングシナリオにおいて、平均 CE はモデル品質の不完全な記述子であると主張する。タスクパフォーマンスの代理としてのその信頼性は、経験的損失分布の進化に依存する。

実践的推奨: 著者らは、平均 alongside として、少数の百分位 CE 要約（特に平均、中央値、p95）を報告することを推奨する。
診断ツール: これらの要約間の一致度を監視することで、実務家は分布の再編成を検出できる。
- 高い一致度: モデル選択には平均 CE で十分である。
- 低い一致度: 対象評価（例：生成の品質）がテールではなくバルク（またはその逆）に敏感であることを示唆しており、より意図的な指標の選択を必要とする。
限界: 主張は、特定のデータセット（TinyStories、合成事実）および最大 15 億パラメータまでのスケール内での相対的なモデル選択に基づいている。本論文は、尤度推定や希少トークンの較正において平均 CE が不要であると主張するものではなく、損失分布が再編成される場合、タスク固有のパフォーマンスにおいて誤解を招く可能性があるとしている。