💬 NLP

Compute Optimal Tokenization

本論文は、計算量最適化された言語モデル構成において、パラメータ数がトークン数ではなくバイト単位で測定されたデータサイズに比例してスケーリングすることを示しており、最適なトークン圧縮率は標準的な BPE と異なり、計算量が増加するにつれて低下することを明らかにしている。

原著者： Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tomasz Limisiewicz, Artidoro Pagnoni, Srini Iyer, Mike Lewis, Sachin Mehta, Alisa Liu, Margaret Li, Gargi Ghosh, Luke Zettlemoyer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

知識の究極の図書館を建設していると想像してください。この図書館を建設するための固定された資金（あなたの計算リソース予算）があります。ここで、主に 2 つの選択があります：

数百万の空の棚を持つ巨大な建物を購入する（モデルサイズ）。
その棚を埋めるための巨大な本の山を購入する（トレーニングデータ）。

長年、専門家は図書館員にこう伝えてきました。「最高の図書館を手に入れるには、あなたが建設する棚 1 個に対して 20 冊の本を購入しなさい」と。しかし、この助言には隠れた欠陥がありました。それは、すべての本が同じサイズであると仮定していたことです。実際には、厚い百科事典もあれば、薄いパンフレットもあります。

**「計算最適化トークナイズ」**と題されたこの論文は、私たちが本を間違った単位で測定してきたと主張しています。「本（トークン）」を数える代わりに、「ページ（バイト）」を数えるべきなのです。

以下に、彼らの発見を単純なアナロジーを用いて解説します。

1. 「本のサイズ」の問題（圧縮率）

AI の世界では、テキストはトークンと呼ばれる断片に分割されます。

低圧縮: 文を個々の文字に分割すると想像してください。すると、小さな破片の巨大な山（多くのトークン）ができます。
高圧縮: 単語全体やフレーズを単一の断片にグループ化すると想像してください。すると、大きな断片の小さな山（少ないトークン）ができます。

この論文は問いかけます：「断片のサイズは重要でしょうか？」
答えははいです。断片のサイズ（圧縮率と呼ばれる）は、いかに効率的に図書館を建設できるかを変化させます。

2. 絶妙なバランスを見つけること：「バイト対トークン」のルール

研究者たちは、約 1,000 種類の異なる AI モデルを訓練し、断片のサイズとモデルのサイズを調整しました。彼らは完璧なバランスのための新しいルールを発見しました。

古いルール: 「パラメータあたり 20 トークンを購入する。」（これは、トークンが特定のサイズ、例えば標準的な BPE トークンである場合のみ機能します。）
新しいルール: 「パラメータあたり60 バイトのテキストを購入する。」

アナロジー:
あなたの AI モデルを料理人、データを食材だと考えてください。

もし料理人に小さく事前に刻まれた食材（高圧縮）を与えれば、彼らは多くの食事を素早く調理できます。
もし彼らに野菜そのもの（低圧縮）を与えれば、彼らはまずそれを刻まなければならず、時間がかかります。
この論文は、野菜をどのように刻んでも、料理人が最もパフォーマンスを発揮するのは、彼らのスキル（パラメータ）の単位ごとに特定の重量（60 バイト）の食材がある場合であると発見しました。その重量が 20 の大きな断片であっても、100 の小さな破片であっても構いません。重要なのは総重量です。

3. 「ジャスト・サイズ」の圧縮率

あなたはこう思うかもしれません。「もし断片を大きくすれば、より多くの時間を節約できるので、できるだけ大きくすべきだ！」
しかし、この論文は言います：そう簡単ではありません。

彼らは、断片のサイズに**ジャスト・サイズ（ゴールドilocks ゾーン）**が存在することを発見しました。

小さすぎる: モデルは、小さすぎるデータ片の多さに圧倒されてしまいます。
大きすぎる: モデルは、断片が粗すぎるために詳細を失いすぎます。
ちょうど良い: 特定の予算に対して最も賢いモデルを生み出す、特定の圧縮率が存在します。

意外な展開: あなたがより多くの資金（より多くの計算能力）を得るにつれて、「ちょうど良い」サイズは実際には小さくなります。

アナロジー: もし小さなキッチンを持っているなら、時間を節約するために事前に刻まれた野菜を望むかもしれません。しかし、無限のスタッフを持つ巨大でプロフェッショナルなキッチンを持っているなら、余分な詳細がその努力に値するほど効率的に処理できるため、野菜そのものを好むかもしれません。

4. 一つのサイズがすべてに合うわけではない（言語が重要）

研究者たちは、このことを異なる言語（英語、ヒンディー語、アラビア語、ロシア語など）でテストしました。彼らは、「ちょうど良い」断片のサイズは言語に依存することを発見しました。

アナロジー: 異なる旅行のためにスーツケースをパッキングすると想像してください。
- 非常にコンパクトな単語を持つ言語を話す国への旅行の場合（英語など）、少し大きなアイテムをパッキングするかもしれません。
- 単語が長かったり、異なる文字体系を使用したりする国への旅行の場合（ヒンディー語やアラビア語など）、パッキングする「最適な」方法は変化します。
この論文は、人気のある AI ツール（Llama 3 や Qwen など）がしばしば「一つのサイズがすべてに合う」パッキング方法を使用していることを発見しました。これは英語ではまあまあいいますが、一部の言語に対しては過度に圧縮されており、他の言語に対しては圧縮不足であることがよくあります。彼らは本質的に、特定の旅行に不適切なサイズのアイテムをパッキングしているのです。

主要な教訓のまとめ

トークンを数えるのをやめ、バイトを数え始めること。 AI にどの程度のデータを与えるかを計画する際、断片の数（トークン）ではなく、テキストの生サイズ（バイト）を測定してください。比率は、モデル内の 100 万パラメータあたり、おおよそ60 バイトのテキストであるべきです。
完璧な断片サイズが存在する。 トークンを大きすぎたり小さすぎたりすると、パフォーマンスが損なわれます。圧縮には特定の「絶妙なバランス」が存在します。
絶妙なバランスは変化します。 より強力なコンピュータを手に入れるにつれて、最良の結果を得るためには、実際には少し小さな断片（低い圧縮）を使用すべきです。
言語が重要です。 完璧な断片サイズは、ヒンディー語と英語では異なります。現在の AI モデルは、すべての言語に最適ではない一般的な設定を使用することがよくあります。

要約すれば：最も賢い AI を構築するには、単に「パラメータあたり 20 トークン」という古いルールに従うのではなく、テキストの重量を脳のサイズに合わせ、テキスト断片のサイズを、あなたが持っている計算能力と、それを教える言語に基づいて調整してください。

技術的サマリー：計算量最適化トークナイズ

問題定義

スケーリング則は従来、モデルサイズとトレーニングデータ量の最適なバランスを規定することで、大規模言語モデル（LLM）の効率的な設計を導いてきた。しかし、標準的なアプローチではデータ量をトークンで表現しており、この単位は特定のトークナイザーとその圧縮率（トークンあたりの平均バイト数）に本質的に依存している。この依存関係は、データ単位自体の情報密度を見落としている。その結果、既存のスケーリング知見は特定のトークナイズ方式（例：BPE）に縛られており、計算量、データ、モデルパラメータ間の真の関係を曖昧にしている可能性がある。本論文は、圧縮率（ $T$ ）が計算量最適のスケーリング傾向にどのように影響するか、そして最適なデータ対パラメータ比率はトークン単位で表現すべきかバイト単位で表現すべきかというギャップを解消する。

手法

語彙サイズのような交絡変数を排除しつつ圧縮率の役割を体系的に調査するため、著者らはバイト潜在トランスフォーマー（BLT）アーキテクチャを採用した。BLT は、エントロピー閾値に基づいてバイトレベルの入力を潜在トークンに分割することで圧縮率を精密に制御可能とし、語彙サイズ（したがってパラメータ数）を一定に保ったまま、異なる $T$ を持つモデルのトレーニングを可能にする。

実験設定：

モデル：本研究では988 個の潜在トークン化モデル（BLT）と320 個のサブワードトークン化モデル（Character、BPE、SuperBPE、マスク付き BPE のバリエーションを使用）をトレーニングした。
規模：モデルは 50M から 7B のパラメータ範囲にわたる。
計算量予算：実験は $5 \times 10^{18}$ から $2 \times 10^{21}$ FLOPs の予算にわたって行われた。
圧縮率（ $T$ $T$ ）：
- 潜在モデル： $T \in \{1, 2, 4, 6, 8, 12\}$ バイト/トークン。
- サブワードモデル： $T \in \{1.01, 3.71, 4.16, 4.57, 6.16\}$ バイト/トークン。
データ：トレーニングは主に DCLM コーパス（純粋な英語）で行われ、フランス語、ベトナム語、ロシア語、アラビア語、ヒンディー語の 5 つの言語への拡張と、人工的に膨張させた英語データセットが含まれる。
評価：モデルは C4 検証分割におけるバイトあたりビット数（BPB）で評価され、コンテキスト長をトークンではなくバイト（例：8192 バイト）で測定することで、圧縮率間の一貫性を保った。

分析アプローチ：
著者らは 2 段階でべき乗則を適合させた：

スケーリング則 I：与えられた計算量予算（ $C$ ）と圧縮率（ $T$ ）に対して、IsoFLOP 曲線（損失対データ/パラメータ）の最小値を見つけることで、最適なトレーニングデータサイズ（ $B^\star$ ）とモデルサイズ（ $N^\star$ ）を決定した。
スケーリング則 II：最適な損失（ $L^\star$ ）のダイナミクスを $C$ と $T$ の関数としてモデル化し、特に最適な圧縮率の存在を調査した。

主要な貢献と結果

1. スケーリング則 I：バイト対トークン

本研究は、計算量最適の構成において、トレーニングデータバイト数とモデルパラメータ数の間の最適な比率が、圧縮率に関わらずほぼ一定であることを確立した。

発見：最適なバイト対パラメータ比率（ $\rho^\star$ ）は、英語データの場合、パラメータあたり約60 バイトに近い。
示唆：広く引用されている「Chinchilla」のルール（パラメータあたり約 20 トークン）は、BPE トークナイザーの特定の圧縮率（ $T \approx 4.57$ ）に起因するアーティファクトである。異なるトークナイザー間でスケーリングレシピを一般化する際、開発者はトークン対パラメータではなく、トレーニングバイト対パラメータの比率を一致させるべきである。
数学的形式： $B^\star(C, T) \approx B_0 C^\alpha T^\beta$ および $N^\star(C, T) \approx N_0 C^{1-\alpha} T^{1-\beta}$ 、ここで $\alpha \approx 0.465$ 、 $\beta \approx 0.471$ 。 $\alpha$ と $\beta$ は 0.5 に近いため、比率 $\rho^\star = B^\star/N^\star$ は変化する $C$ と $T$ に対してほぼ一定に保たれる。

2. スケーリング則 II：最適な圧縮率

本論文は、固定された計算量予算に対して損失を最小化する特定の最適な圧縮率（ $T^\star$ ）が存在することを発見した。

単調性の欠如：損失は圧縮に対して単調ではない。 $T^\star$ からどちらの方向（圧縮が低すぎるか高すぎるか）に逸脱しても損失が増加する。
計算量への依存：最適な圧縮率は計算量予算が増加するにつれて低下する。例えば、 $C=10^{20}$ FLOPs の場合、 $T^\star \approx 3.69$ であるのに対し、 $C=2 \times 10^{21}$ FLOPs の場合、 $T^\star \approx 3.33$ となる。
サブワードによる検証：この傾向はサブワードトークン化モデルでも当てはまる。驚くべきことに、BPE 語彙の 90% をマスクしたモデル（実効圧縮率が低い）は、大規模スケールにおいて標準的な BPE モデルを上回る性能を発揮し、非常に大規模なモデルにとっては低い圧縮率が有益であることを示唆している。

3. 多言語一般化

これらの知見は英語以外の言語にも拡張され、最適な値は言語間均等性（異なる言語で同じ情報を表現するために必要なバイト長の比率）と相関している。

言語固有性：均等性が高い言語（バイトあたりの情報密度が低い、例：ヒンディー語、ロシア語）は、より高い最適な圧縮率と、より高い最適なバイト対パラメータ比率を必要とする。
既存のトークナイザー：一般的な多言語トークナイザー（例：Llama 3、Qwen 3）は、高リソース言語（英語など）を過剰に圧縮し、低リソース言語（ヒンディー語など）を圧縮不足にする傾向があり、計算された最適な $T^\star$ から乖離している。

4. 推論のトレードオフ

低い圧縮率（トレーニングにおける最適な $T^\star$ に近い）はより良い性能をもたらすが、バイトあたりの推論計算コストを増加させる。本論文はトレードオフを指摘している：高い圧縮率は推論コストを削減するが、トレーニング最適率から大きく逸脱した場合、性能を低下させる可能性がある。

意義と主張

本論文は、圧縮率が言語モデルの計算効率に与える影響に関する最初の徹底的な研究を提供すると主張している。その主な意義は以下の点にある：

スケーリング則の一般化：データをスケーリングするための基本単位としてバイトを確立し、トークンではなく、スケーリング則を特定のトークナイザーから解き放つこと。
最適なトークナイズ戦略：「最適な」圧縮率は静的ではなく、トレーニング計算量予算と特定の言語ドメインに依存することを示すこと。
開発者への指針：計算量最適のバイト対パラメータ比率と整合するトークナイズ方式を選択し、特に標準的なサブワードトークナイザーが最適な圧縮を達成できないことが多い多言語モデルについては、言語固有の圧縮率を考慮することを開発者に助言すること。

著者らは結論として、潜在トークナイズ（BLT）がこれらの傾向を発見するための精密な制御を提供する一方で、導き出されたスケーリング則はサブワードトークン化モデルでも一貫して成り立ち、計算効率を最大化するためのトークナイズ方式の選択に関する実用的なガイドラインを提供すると述べている。