The Tokenizer Tax Across 25 European Languages: Domain Invariance, Cross-Lingual Few-Shot Effects, and the Ukrainian Penalty
本論文は 25 のヨーロッパ言語にわたって「トークナイザー税」を定量化し、英語以外の言語、特にウクライナ語や複雑な形態論を持つ言語は事前学習データにおける低代表性に起因して単語あたりのトークン数が著しく高くなることを明らかにするとともに、これらの豊饒度ランキングがドメインを超えて一貫して維持され、かつ少ショット効果は言語依存ではなくモデル固有のものであることを示している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
タクシーの乗車料を支払う場面を想像してみてください。英語では、タクシーは「単語」という単位で料金を請求します。しかし、ウクライナ語では、運転手が「語素」という単語の微小な断片ごとに料金を請求しにきます。ウクライナ語の単語はしばしば長く複雑であるため、同じ目的地に到達するまでに、運転手ははるかに多くの「歩み」を踏むことになります。結果として、距離が変わっていないにもかかわらず、全く同じ乗車に対して、あなたは英語の約2倍の料金を支払うことになります。
この論文は、ヴォロディミル・オヴチャロフによって執筆されたもので、AIを利用する際に非英語圏の言語が負う隠れた「税金」について取り上げています。以下に、彼らが発見した内容をシンプルな比喩を用いて解説します。
1. 「歩み」の税金（トークナイザーの肥沃度）
AIモデルは人間のように単語全体を読むわけではありません。テキストを「トークン」と呼ばれる微小な断片に分割します。
- 比喩: 単語を食パンの塊だと考えてください。
- 英語: AIはパンを大きく厚いスライスに切ります。1つの単語を表すのに1.2枚のスライスで済みます。
- ウクライナ語: AIは鈍い包丁を使って、同じパンを小さく崩れやすいかけらに切ります。1つの単語を表すのに2.7枚のスライスが必要です。
- コスト: AI企業は「スライス」（トークン）ごとに料金を請求するため、同じ量のテキストであっても、ウクライナ語で話すことは英語で話すよりも約2.2倍のコストがかかります。
- 階層: この論文は25のヨーロッパ言語を測定しました。
- 安価なグループ: 英語、スペイン語、フランス語（単語あたり1.2〜1.7枚のスライス）。
- 中間グループ: ドイツ語、オランダ語（1.7〜1.9枚）。
- 高価なグループ: ポーランド語やチェコ語などのスラヴ語派（2.2〜2.5枚）。
- 最も高価なグループ: ウクライナ語、ギリシャ語、マルタ語（約3.1枚）。
2. 「ウクライナ語のペナルティ」
研究者たちは、ウクライナ語について驚くべき事実を発見しました。ウクライナ語、ポーランド語、チェコ語はすべて類似した語彙構造を持つスラヴ語派の兄弟言語ですが、ウクライナ語の処理コストは著しく高いのです。
- 比喩: 2つの同一の工場を想像してください。一方（ポーランド語）は長年建設を続けてきたため、事前に切断されたレンガの在庫が豊富にあります。もう一方（ウクライナ語）は過去に無視されていたため、すべてのレンガを原石から切り出す必要があります。
- 原因: この論文は、AIの「図書館」において、ウクライナ語のトレーニングデータがポーランド語やチェコ語に比べて2〜6倍少ないことを示しています。AIがウクライナ語の単語を十分に目にしていないため、それらを効率的にグループ化する方法を知らず、非効率な微小な断片に切り分け続けてしまうのです。
3. 「万能な包丁」
この論文は、この「税金」が話題（法的契約、ニュース、ウィキペディアなど）によって変化するかどうかをテストしました。
- 発見: 関係ありません。「どのAIが安価で、どのAIが高価か」という順位は、サッカー、法律、歴史のいずれについて話しても、全く同じままです。
- 教訓: もしある種類のテキストでAIをテストすれば、他のあらゆる種類のテキストでもいくらかかるかが正確に分かります。毎回再テストする必要はありません。
4. 「マジック・トリック」（少ショット学習）
AIは、いくつかの例（サンプルの質問と回答など）を見せるだけで、新しいタスクを学習できることがあります（少ショット学習）。研究者たちは、この「マジック・トリック」が言語によって異なるかどうかをテストしました。
- 発見: このトリックは言語によるものではなく、**AIの性格（設計）**によるものです。
- 一部のAI（「Nemotron」など）は、テキストがウクライナ語、ポーランド語、ロシア語のいずれであっても、例を見せることで賢くなります。
- 他のAI（「Maverick」など）は、言語に関係なく、例を見せることで逆に愚かになります。
- 教訓: AIの混乱を言語のせいにしてはいけません。AIの設計のせいにしてください。もしあるAIが英語の例で失敗するなら、ウクライナ語の例でもおそらく失敗するでしょう。
5. なぜ一部のAIは単語を切るのが上手いのか
研究者たちは、異なるAIがどのように単語を切っているかを調べるために、内部を覗き込みました。
- 上手な切り手: 一部のAI（Gemma 2など）は、ウクライナ語の単語を自然な「形態素」の境界（語根や語尾など、意味のある部分）で切ります。これは効率的です。
- 下手な切り手: 他のAI（Qwen3など）は、ランダムな場所で単語を切り、時には意味のある単一の部分を半分に割ってしまいます。まるで、パンの間に挟むピクルスの真ん中を切り、パンとパンの間に切るべきところを間違えるようなものです。
- 驚き: 辞書（語彙）が大きくても、良い切り方を保証するわけではありません。巨大な辞書を持つ一部のAIでも、トレーニングデータに適切な切り方を学ぶためのウクライナ語の例が不足していたため、ウクライナ語の単語を非効率な微小な断片に切り分けていました。
推奨事項のまとめ
この論文は、ウクライナ語や類似の言語をAIで利用する人々に対して、3つの簡単なルールを提案しています。
- 税金を想定する: ウクライナ語は英語の約2倍のコストがかかるという事実を予算に含めてください。
- 一度だけテストする: 「税金」を測定するのは一度だけでよく、それはすべてのトピックに適用されます。
- 例示には注意する: AIに例を見せることが役立つとは限りません。一部のモデルでは、むしろパフォーマンスを低下させる可能性があり、これはすべての言語で起こります。
結論: 現在のAI世界は英語バイアスに基づいて構築されています。トレーニングデータの「図書館」が均衡するまで、ウクライナ語のような言語は、理解されるために隠れた「歩み税」を支払い続けることになります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。