Advancing Polish Language Modeling through Tokenizer Optimization in the Bielik v3 7B and 11B Series

この論文は、汎用トークナイザーの非効率性を克服し、ポーランド語の形態論的ニュアンスを最適化するために、Bielik v3 7B および 11B モデルシリーズにおいて、FOCUS ベースの埋め込み初期化、多段階前学習カリキュラム、そして検証可能な報酬を用いた強化学習を含む一連のポストトレーニング手法を採用したトークナイザー最適化の取り組みを報告しています。

要約

🇵🇱 AI の「ポーランド語専用メガネ」を作った話

1. 問題：「万能型メガネ」の限界

これまでの AI は、世界中のあらゆる言語を一度に扱おうとする「万能型メガネ」をかけていました。

• 例え話: 世界中の料理を一度に作ろうとする「万能包丁」を想像してください。お肉も野菜も魚も切れますが、**ポーランド語特有の複雑な料理（文法や単語の形）を切るには、刃が細かすぎて、「1 皿の料理を作るのに、包丁を何十回も動かさなければならない」**という非効率さがありました。
• 技術的な問題: これを「トークナイザー（単語の切り分け方）」と呼びます。従来の AI はポーランド語の 1 つの単語を、不必要に細かくバラバラに切り分けてしまい、AI の記憶容量（コンテキスト）をすぐに埋め尽くしてしまったり、計算コストが高くなったりしていました。

2. 解決策：「ポーランド語専用メガネ」の登場

この論文では、Bielik v3 という AI に、**「ポーランド語に特化した専用メガネ（APT4 トークナイザー）」**を取り付けました。

• 例え話: 今度は、ポーランド料理に特化した「鋭利な専用包丁」を使います。
• 効果: 以前は 3 つの断片に分けていた単語を、1 つのきれいな塊として扱えるようになりました。
  • 結果: 1 単語あたりの「断片数（フェルティリティ）」が、3.22 から 1.62 に半減しました。
  • メリット: AI の「記憶の棚」が空いたため、より長い文章を一度に読めるようになり、処理速度も上がり、コストも下がりました。

3. 挑戦：「記憶喪失」を避ける方法

ここで大きなリスクがありました。AI の「言葉の切り方」を突然変えると、**「今まで学んだ知識（意味や文法）を忘れてしまう（カタルシス・フォーギッティング）」**恐れがあったのです。

• 例え話: 突然、長年使ってきた「万能包丁」を捨てて「専用包丁」に変えたら、「お肉の切り方」や「野菜の扱い方」を全部忘れてしまい、料理ができなくなってしまうようなものです。

どうやってこれを防いだか？（FOCUS 法）
研究者たちは、新しい「専用包丁」の持ち方を教える際、AI の脳みそをリセットするのではなく、**「既存の知識を新しい道具に無理なく移し替える」**という工夫をしました。

• FOCUS（フォーカス）: 新しい言葉の切り方と、古い知識の断片を「似ているもの同士」で結びつけ、**「あ、この新しい切り方は、あの古い知識の組み合わせと同じだ！」**と理解させる技術です。
• 段階的な学習:
  1. 第 1 段階（部分的な学習）: AI の大部分の知識は固定したまま、言葉の切り分け部分だけ少しずつ新しいルールに慣らします。
  2. 第 2 段階（全体学習）: 慣れてから、AI 全体を新しいルールに合わせて微調整します。
     これにより、**「新しい道具を使っても、料理の腕前（知能）は落ちない」**状態を実現しました。

4. 結果：「前より賢く、速く」

新しい AI（Bielik v3 PL）をテストした結果、驚くべきことが分かりました。

• ポーランド語の能力: 従来の AI と同じか、**むしろ「複雑な文脈の理解」や「感情の機微」**において、より高いスコアを出しました。
• 英語などの他言語: ポーランド語に特化しただけで、英語などの他の言語を話す能力もほとんど失われていませんでした。
• 医療や論理: ポーランド語の医師国家試験のような難しいテストでも、高い正解率を記録しました。

🎯 まとめ：なぜこれが重要なのか？

この研究は、**「特定の言語（ここではポーランド語）のために AI をカスタマイズすれば、同じ大きさの AI でも、はるかに賢く、速く、安く使える」**ことを証明しました。

• 従来の AI: 世界中の言語を広く浅く扱うため、特定の言語では「重くて遅い」。
• 今回の Bielik v3: ポーランド語に特化することで、「軽くて速く、深い理解が可能」。

まるで、**「汎用ロボットの代わりに、ポーランド語の文化や習慣に精通した「現地ガイド」を雇った」**ようなもので、より自然で、効率的な会話が可能になったのです。

この技術は、ポーランド語だけでなく、他の言語でも同様に適用でき、世界中の「マイナー言語」に対する AI のサポートを大きく前進させる可能性を秘めています。

技術概要

ビエリク（Bielik）v3 PL シリーズ：トークナイザー最適化によるポーランド語言語モデルの高度化に関する技術サマリー

本論文は、SpeakLeash チームが開発したポーランド語特化の大規模言語モデル（LLM）「Bielik v3 PL」シリーズ（7B パラメータと 11B パラメータの 2 種類）の技術報告書です。汎用モデルが抱える「言語固有の形態論的ニュアンスの欠如」という課題に対し、ポーランド語に最適化されたトークナイザーへの移行と、それに伴う学習パイプラインの改良を提案し、高い効率性と性能を両立させた成果を報告しています。

以下に、問題定義、手法、主要な貢献、評価結果、および意義について詳細をまとめます。

---

1. 問題定義：汎用トークナイザーの非効率性

既存の汎用 LLM（Mistral 7B など）は、多言語対応を目的とした「ユニバーサルトークナイザー」を使用しています。しかし、ポーランド語のような形態論的に複雑な言語（豊富な屈折、アクセント記号、語彙の多様性）に対しては、以下の問題が生じます。

• 高いフェルティリティ比（Fertility Ratio）: 1 語を表現するために必要なトークン数が多くなり、文脈ウィンドウ内の情報密度が低下します。
• 推論コストの増大: トークン数が増えることで計算コストとメモリ使用量が増加し、推論速度が低下します。
• 有効なコンテキストの制限: 同一のコンテキストウィンドウサイズでも、実質的に扱えるポーランド語のテキスト量が減少します。

従来の Bielik v3 モデル（32,128 トークンの語彙）でも、ポーランド語の単語を表現するために複数のトークンが必要となるケースが多く、この非効率性がボトルネックとなっていました。

2. 手法：ポーランド語最適化トークナイザーへの移行と適応

本論文では、Mistral ベースの汎用トークナイザーから、ポーランド語に特化した「APT4 トークナイザー」への変更と、そのモデルへの安全な統合を実現するための一連の手法を提案しています。

2.1 トークナイザーの設計 (APT4)

• 語彙サイズ: 約 32,000 トークン（元のモデルと同規模を維持）。
• 最適化目標: 語彙サイズを増やすことなく、ポーランド語の分割効率を最大化し、フェルティリティ比を低減すること。
• 特徴: 数字、句読点、特殊文字の扱いをポーランド語の特性に合わせて調整。

2.2 語彙適応と忘却防止 (FOCUS)

既存の事前学習済みモデルのトークナイザーを交換すると、意味的・構文的な知識が失われる「破滅的忘却（Catastrophic Forgetting）」のリスクがあります。これを防ぐため、FOCUS (Fast Overlapping Token Combinations Using Sparsemax) 手法を採用しました。

• 仕組み: 新しいトークンを、元の語彙のトークンの「疎な線形結合」として表現します。セマンティックな類似性に基づいてトークンを選択し、Sparsemax 関数を用いて最も関連性の高い成分のみを組み合わせることで、埋め込み空間を高精度に初期化します。
• 効果: 事前学習で獲得した知識を保持しつつ、新しいトークン空間へのスムーズな移行を可能にします。

2.3 多段階継続事前学習パイプライン

モデルを新しいトークナイザーに適応させるため、2 段階の継続事前学習（Continued Pretraining）を実施しました。

1. 第 1 段階（部分凍結と境界適応）: 40 億トークンで学習。入力埋め込み層、言語モデルヘッド、および最初の 2 層と最後の 2 層のトランスフォーマー層のみを更新し、残りのパラメータは凍結します。これにより、新しいトークン空間と既存の内部表現の間のマッピングを安定して学習します。
2. 第 2 段階（モデル全体適応）: 追加の 160 億トークンで学習。すべてのパラメータの凍結を解除し、モデル全体をポーランド語の特性に合わせて微調整します。

2.4 事後学習（Post-Training）

元の Bielik v3 と同様のパイプラインを適用し、性能を確保しました。

• SFT (教師あり微調整): 高品質な指示応答データセットで 3 エポック学習。
• DPO-P (直接選好最適化): ユーザーの意図に合致し、ハルシネーションを減らすためのポジティブ選好データで 3 エポック学習。
• GRPO (グループ相対方策最適化): 数学、論理、STEM タスクにおける検証可能な報酬信号を用いた強化学習により、推論能力を強化。

3. 主要な貢献

1. FOCUS によるトークナイザー置換手法の提案: 破滅的忘却を抑制しつつ、ポーランド語に特化したトークナイザーへモデルを移行する実用的な手法を確立。
2. 性能を維持した多段階パイプラインの構築: トークナイザー変更による性能低下を防ぎ、むしろ特定のベンチマークでは向上させることに成功した学習フローの提示。
3. オープンソース化: 7B と 11B の両モデルの重みを Apache 2.0 ライセンスで公開。

4. 評価結果

9 つのポーランド語および多言語ベンチマークで評価が行われました。

4.1 トークン効率の劇的改善

ポーランド憲法前文を用いた評価において、APT4 トークナイザー（Bielik PL）は以下の改善を示しました。

• 1 語あたりのトークン数 (TpW): 3.22 から 1.62 へ低下（約 2 倍の効率化）。
• 1 トークンあたりの文字数 (CpT): 2.40 から 4.78 へ向上。
• 結果: 有効なポーランド語コンテキスト容量がほぼ倍増しました。

4.2 ベンチマーク性能

• Open PL LLM Leaderboard (ポーランド語 NLP タスク):
  • Bielik-11B-v3.0-Instruct: 65.93
  • Bielik-PL-11B-v3.0-Instruct (最適化版): 64.11
  • 元のトークナイザーのモデルと同等の性能を維持しつつ、効率性が向上しました。
• Polish EQ-Bench (感情知能):
  • Bielik-PL-11B-v3.0-Instruct: 71.15（元のモデル 71.20 と同等、Qwen2.5-32B や Llama-3.3-70B と互角）。
• CPTUB (複雑なポーランド語テキスト理解):
  • Bielik-PL-11B-v3.0-Instruct: 3.80（元のモデル 3.73 を上回る）。
  • 暗示、言語理解、慣用句の理解において高い能力を示しました。
• Polish Medical Leaderboard (医療専門知識):
  • Bielik-PL-11B-v3.0-Instruct: 48.42%（元のモデル 50.21% と比較してやや低下するも、依然として高い専門性を維持）。
• 多言語能力 (Open LLM Leaderboard, Belebele, FLORES):
  • 英語能力や他のヨーロッパ言語への翻訳能力は、トークナイザー変更後も大きく損なわれていません（例：Open LLM Leaderboard 平均スコア 71.49）。
  • ただし、多言語平均スコアは最適化版の方がわずかに低下する傾向があり、ポーランド語特化と多言語性能の間のトレードオフが確認されました。

5. 意義と結論

本論文は、特定言語（ここではポーランド語）に特化した LLM を構築する際、単にデータを増やすだけでなく、トークナイザーの最適化が極めて重要であることを実証しました。

• 技術的意義: FOCUS 手法と段階的な学習パイプラインを組み合わせることで、大規模モデルの語彙を安全に置き換え、推論コストを削減しつつ性能を維持する「再現可能なブループリント」を提供しました。
• 実用性: 7B/11B モデルでありながら、32k トークンの語彙サイズでポーランド語の文脈処理能力を大幅に向上させ、より長い文脈や複雑な推論を低コストで実行可能にしました。
• コミュニティへの貢献: Apache 2.0 ライセンスでの公開により、ポーランド語および中欧・東欧地域の AI 開発コミュニティに高品質な基盤モデルを提供し、言語的多様性の維持に寄与しています。

総じて、Bielik v3 PL シリーズは、汎用モデルの効率性を犠牲にすることなく、特定言語の構造的な特性をモデル化することで、言語固有の課題を解決する新しいアプローチの成功例と言えます。