Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression

本論文は、トークナイザーの効率性を含む「情報容量」という新たな指標を提案し、大規模言語モデルの推論効率を定量化するとともに、モデルサイズやベンチマークスコアとの相関を実証的に検証したものである。

要約

🍳 1. 問題：AI は「賢い」けど「食いしん坊」すぎる！

最近の AI は、推理やプログラミング、創作など、まるで天才のようなことをします。しかし、その代償として**「莫大な電気代と計算資源」を食べています。
まるで、「世界一美味しい料理を作る天才シェフ」がいるとします。しかし、そのシェフは料理を作るために、「巨大なオーブンと、山ほどの食材」**を必要とします。

• 課題： 「どのシェフが、一番少ない食材（計算資源）で、一番美味しい料理（高い性能）を出せるのか？」を公平に比べる方法が、これまでありませんでした。
  • 単に「パラメータ数（脳の大きさ）」だけで比べるだけでは、**「言葉の切り方（トークナイザー）」や「料理のスタイル（アーキテクチャ）」**が違うシェフ同士を比べることになり、不公平なのです。

📦 2. 解決策：新しいものさし「情報容量」

そこで著者たちは、**「AI が文章をどれだけ効率よく圧縮できるか」という視点から、新しい評価基準「情報容量」**を考え出しました。

🎁 例え話：「手紙の圧縮」

AI の正体は、**「次の言葉が何になるかを予想する天才」**です。

• もし AI が「次の言葉は『こんにちは』だ！」と 100% 確信して言えるなら、その言葉は「1 ビット」のデータだけで送れます（圧縮率大！）。
• もし AI が「『こんにちは』か『さようなら』か、どっちかわからない…」と曖昧なら、多くのデータが必要になります（圧縮率小）。

「情報容量」は、以下の 2 つを掛け合わせたようなものです：

1. 賢さ（圧縮力）： どれだけ少ないデータで文章を表現できるか？（＝AI の予測精度）
2. 節約力（計算コスト）： その予測をするのに、どれだけ少ないエネルギー（計算量）を使ったか？

**「情報容量が高い」＝「少ないエネルギーで、高い予測精度を出せる、超効率型の AI」**ということです。

🔍 3. この研究でわかった「驚きの事実」

56 種類の AI をこの新しいものさしで測ったところ、面白い発見がありました。

① 「言葉の切り方」が命（トークナイザーの重要性）

AI は文章を「単語」や「文字の塊（トークン）」に切って処理します。

• 例え： 同じ「こんにちは」という言葉でも、A さんは「こ・ん・に・ち・は（5 個）」と切り、B さんは「こんにちは（1 個）」と切るとします。
• 発見： B さんのように、**「少ないトークンで文章を表現できる AI」**ほど、情報容量が高く、効率的でした。
  • 従来の評価では見逃されがちだった「トークナイザーの効率」が、実は AI の性能を左右する最大の要因の一つだったのです。

② 言語による「偏り」が激しい

• 発見： 英語の文章では優秀な AI でも、**「中国語」や「プログラミングコード」**になると、急に効率が悪くなることがわかりました。
  • 例：ある AI は英語のニュース記事の圧縮が得意ですが、中国語の教科書や Python コードになると、まるで「初心者」のように効率が悪くなります。
  • これは、AI が「特定の言語や分野に偏って勉強している」ことを示しています。

③ 「モエ（MoE）構造」は魔法の箱

最近の AI には「MoE（Mixture of Experts）」という、**「必要な時だけ一部の専門家（パラメータ）を呼び出す」**仕組みがあります。

• 発見： 全体のパラメータ数は巨大でも、実際に使う計算量は少ないため、「情報容量」が非常に高いことがわかりました。
  • 例：「100 人の専門家チーム」がいるけど、毎回「10 人だけ」しか働かせない仕組みは、**「大人数のチームを雇いながら、人件費は 10 人分」**という超効率化を実現しています。

④ 後から「教育」すると、圧縮力は落ちる

AI はまず「本を読む（事前学習）」段階で、文章の圧縮能力を磨きます。その後、「チャットボットとして使えるように教育（事後学習）」されます。

• 発見： 「チャットボット教育」を受けると、「文章を圧縮する能力（情報容量）」は少し低下しました。
  • 例：「本を素早く読む天才」が、「お客様に丁寧に応対する接客係」に訓練されると、本を読むスピードは少し落ちるかもしれません。しかし、それは「人間らしい会話」をするためのトレードオフなのです。

🎯 4. この研究のすごいところ：「未来の AI」を予言できる！

この「情報容量」を使うと、**「小さな AI の性能から、巨大な AI の性能を予測できる」**という魔法のようなことが可能になりました。

• 従来の方法： 巨大な AI を何回も作ってテストし、その結果をグラフに当てはめて予測する（非常にコストがかかる）。
• 新しい方法： 「情報容量」は、同じシリーズの AI なら**「どのサイズでも一定」**という性質を持っています。
  • つまり、「小さな AI（0.5B 版）」の性能を測るだけで、「巨大な AI（72B 版）」の性能がほぼ正確に予測できるのです！
  • これは、**「小さな実験で巨大なプロジェクトの結果を予言できる」**ようなもので、開発コストを劇的に下げられます。

🌟 まとめ

この論文が伝えたかったことは、以下の 3 点です。

1. AI の評価には「賢さ」だけでなく「効率性（コスト対効果）」が重要。
2. 「言葉の切り方（トークナイザー）」や「学習データ」が、AI の効率を大きく左右する。
3. 新しいものさし「情報容量」を使えば、少ないコストで AI の未来を正確に予測し、より賢く、より節約上手な AI を作れるようになる。

これからの AI 開発は、単に「大きくする」だけでなく、**「いかに無駄を省いて賢くするか」という、「賢い節約術」**が鍵になるでしょう。

技術概要

論文「Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論効率を評価するための新しい指標**「情報容量（Information Capacity）」**を提案した研究です。計算リソースの消費が急増する中、モデルの能力とコストのバランスを、トークナイザーの効率性も考慮した形で定量化する手法を確立しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 背景と問題定義

近年、LLM の推論需要の急増に伴い、計算リソースとエネルギー消費が深刻な課題となっています。特に「テスト時スケーリング（推論時の計算量を増やすことで性能を向上させる手法）」の普及により、モデルの能力向上と計算コストの増大の間の緊張関係がさらに高まっています。

既存の評価指標には以下の限界がありました：

• トークナイザーの効率性の欠落: 既存の指標はパラメータ数やベンチマークスコアに焦点を当てがちですが、入力テキストを表現する際のトークン数（トークナイザーの効率）が推論コストに与える影響を十分に考慮していません。
• アーキテクチャ間の公平な比較の難しさ: 異なるネットワーク構造（Dense モデル vs MoE モデル）やトークナイザーを持つモデル間での推論効率を、パラメータ数だけで比較することは不正確です。
• スケーリング予測の非効率性: 異なるサイズのモデルの性能を予測するために、従来のスケーリング則（Power Law）は多数のデータ点と大規模な計算資源を必要とします。

2. 提案手法：情報容量（Information Capacity）

著者らは、「圧縮と知能には相関がある」という仮説（Deletang et al., 2024）に基づき、テキスト圧縮性能を計算複雑性に対して相対的に評価する指標として「情報容量」を定義しました。

定義と計算式

情報容量は、モデルの知能（データ圧縮によるサイズ削減）を推論の計算複雑性（FLOPs）で割った値として定義されます。

$$\text{Information Capacity} = \frac{\text{Model Intelligence}}{\text{Model Inference Complexity}}$$

具体的には、以下の式で計算されます（$L$ はトークン数、$C$ は元のテキストサイズ、$p$ はモデルが予測する次のトークンの確率、$N_M$ は推論 FLOPs）：

$$IC = \frac{\frac{1}{L-1}(C - \sum_{i=2}^{L} -\log_2 p(x_i|x_{<i}; M)) + b}{\log_2(N_M / (L-1))}$$

• 分子（Model Intelligence）: 元のデータサイズ $C$ から、モデルによるエントロピー符号化後のビット長（負の対数尤度、NLL）を差し引いた「圧縮によるサイズ削減分」です。ここで、トークナイザーの効率（1 トークンあたりの平均テキストサイズ）が直接的に反映されます。
• 分母（Model Inference Complexity）: 推論に必要な浮動小数点演算数（FLOPs）の対数スケール値です。
• オフセット $b$: モデルシリーズ内でのサイズ変化に伴う線形減少を補正し、異なるサイズのモデル間で一定の値になるように調整する定数です。

3. 主要な貢献と知見

A. 56 モデルの評価と一貫性の発見

56 のオープンソースモデルを 5 つの異質なデータセット（混合テキスト、PDF、教育用コーパス、コードなど）で評価しました。

• モデルシリーズ内での一貫性: 同一シリーズ（例：Qwen シリーズ、Llama シリーズ）内の異なるサイズのモデルは、サイズが異なっても情報容量がほぼ一定であることが確認されました。
• 言語バイアスの可視化: 評価データセットによってランキングが劇的に変化します。例えば、中国語コーパスでは中国系モデルが優位ですが、英語やコードでは異なるモデルが優位になるなど、既存の LLM には強い言語的バイアスが存在することが示されました。

B. 情報容量に影響する 3 つの主要因子

1. トークナイザーの効率性: 1 トークンあたりの平均テキストサイズ（ビット数）と情報容量の間に非常に強い正の相関（ピアソン相関係数 > 0.98）が認められました。効率的なトークナイザーは、推論コストを大幅に削減し、情報容量を向上させます。
2. 事前学習データ: 事前学習データ量の増加に伴い、NLL が低下し情報容量が向上しますが、高品質なデータで十分に学習された後は、追加学習によるリターンは逓減することが示されました。
3. MoE（Mixture of Experts）アーキテクチャ: MoE モデルは、活性化パラメータ数を抑えつつ総パラメータ数を増やすことで、計算コストを維持したまま予測精度（圧縮性能）を向上させ、高い情報容量を実現します。特にスパースリティ（活性化比率）が低いほど、情報容量の向上効果が大きいことが確認されました。

C. 性能予測とベンチマークとの相関

• 単一モデルによる性能予測: 情報容量が一定であるという仮説を用いると、シリーズ内の1 つのモデル（リファレンス）のデータのみで、他のサイズのモデルの NLL 性能を高精度に予測できます。従来の Power Law に比べ、推定誤差が大幅に小さく（±3% 以内など）、計算資源を節約してスケーリング特性を推定可能です。
• ベンチマークスコアとの相関: 情報容量は、評価に用いたコーパスのドメイン（英語、コード、中国語など）に対応するベンチマークスコア（MMLU, LiveCodeBench, C-Eval など）と強い相関を示しました。

4. 実験結果の要点

• トップモデル: 最新の MoE モデル（DeepSeek-V3.1, GLM-4.5 など）が複数のデータセットで最高レベルの情報容量を達成しました。
• ポストトレーニングの影響: 指示追従や推論能力を高めるためのポストトレーニング（SFT, RL など）は、元のテキストの確率予測能力（圧縮効率）を低下させ、情報容量を減少させることが確認されました。
• 温度パラメータ: Softmax の温度パラメータ $T=1$ が情報容量を最大化するバランスの取れた値であり、これからの逸脱は性能低下を招きます。

5. 意義と将来展望

この研究は、LLM の評価において「トークナイザーの効率性」を計算コストに統合した包括的な効率指標を提供した点に大きな意義があります。

• 公平な比較: パラメータ数やアーキテクチャの違いを超えて、異なるモデルシリーズ間の推論効率を公平に比較できます。
• 開発の効率化: 大規模モデルの事前学習損失を、小規模モデルのデータから高精度に予測可能にするため、開発コストと時間を削減できます。
• リソース最適化: 推論遅延やエネルギー消費が重要な課題となる中で、どのモデルがどのタスクに対して最も効率的かを示す指針となり、エッジデバイスや分散環境での LLM 展開（AI Flow などのフレームワーク）に貢献します。

結論として、情報容量は、単なる「知能」の尺度ではなく、「計算リソースに対する知能の密度」を測る新たな基準として、今後の LLM 開発と評価において重要な役割を果たすことが期待されます。