💬 NLP

FLEXITOKENS: Flexible Tokenization for Evolving Language Models

本論文は、固定されたトークナイザーの硬直性を克服するために学習可能な境界予測器と簡素化された訓練目的を採用するバイトレベル言語モデル向けの柔軟なトークナイズ手法であるFLEXITOKENSを導入し、これにより過剰な断片化を軽減し、多様な言語およびタスクにおいて最大10%の性能向上を実現する。

原著者： Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Abraham Toluwase Owodunni, Orevaoghene Ahia, Sachin Kumar

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ロボットに世界を読み、理解することを教えると想像してください。そのためには、ロボットは文を「トークン」と呼ばれる、より小さく管理しやすい断片に分解する必要があります。トークンは、壁を構築する建設業者が使用するレンガのようなものです。

長らく、ロボットは非常に硬直したセットのレンガを使用してきました。これらのレンガは、固定された規則書に基づいて（「un-」「do」「able」のような）特定の形状に事前に切断されていました。これは、ロボットが元々訓練された言語やトピックには非常にうまく機能します。しかし、ロボットが医療誌、コーディングマニュアル、あるいはこれまで見たことのない言語など、新しい何かを読み始めると、この硬直した規則書は問題を引き起こします。

問題：「万能型」のレンガ

この論文はこの問題を過剰な断片化と呼んでいます。

あなたが長い連続したテキストのリボンをレンガにして壁を作ろうと想像してください。もしあなたの規則書が「ハイフンを見るたびにリボンを切断せよ」と言っているなら、あなたは「hypertrophic」（医学用語）のような単一の単語を、「hyper」「tro」「phic」といった小さくて役に立たない破片に切り刻んでしまうかもしれません。

結果： ロボットは壁を構築するために、あまりにも多くの小さなレンガを運ぶ必要があります。これにより、建設は遅くなり、（計算能力の面で）高価になり、混乱を招きます。ロボットは、小さく壊れた部品を忙しく見つめているため、単語全体の意味を見失ってしまいます。
従来の方法： 従来の手法（BPE など）は、ロボットが建設を始める前にすべてのレンガを事前に切断する工場のようなものです。一度レンガが切断されると、後でロボットが異なる種類の家を建てようとしても、それらを変更することはできません。

解決策：FLEXITOKENS

この論文の著者であるFLEXITOKENSは、より賢い方法を提案しています。事前に切断されたレンガを使用する代わりに、彼らはロボットに、建設中にリボンを切断する方法を学習する、賢く柔軟なカッターを与えます。

彼らがどのように行ったか、簡単な比喩を使って説明します。

古い規則（「固定圧縮」の罠）：
ロボットにレンガを自分で切断させる以前の試みは、厳格な規則を使用していました。「テキスト 10 インチあたり、正確に 3 つのレンガになるようにリボンを切断せよ」というものです。
- 欠点： 単語が自然に長い言語（トルコ語など）の場合、3 つのレンガという規則を強制すると、単一の単語が意味のない小さな破片に切り刻まれてしまう可能性があります。逆に、単語が短い言語（中国語など）の場合、同じ規則が異なる 2 つの単語を 1 つの混乱した塊に接着してしまうかもしれません。この規則は、テキストの特定の「形状」に適応するにはあまりにも硬直していました。
新しい規則（FLEXITOKENS）：
FLEXITOKENS は、規則を柔軟な範囲に変更します。「正確に 3 つのレンガを持て」と言う代わりに、「この特定の文にとって意味があるものに応じて、2 つから 4 つのレンガのいずれかを持て」と言います。
- 「ヒンジ」損失： この論文は、安全域のように機能する特別なトレーニング手法（「ヒンジのような損失」）を導入しています。ロボットがテキストを安全な範囲内の数に切断した場合、ロボットは「合格」を得て、罰則はありません。これにより、ロボットは柔軟になれます。長い医学用語を、意味のある大きなレンガ 1 つに切断することも、短い文を、意味を理解するのに最も役立つように多くの小さなレンガに切断することもできます。

試した結果はどうだったか？

研究者たちは、この新しい柔軟なカッターを、英語、スペイン語、ロシア語、ヒンディー語、テルグ語など、多くの異なる言語と、医療やコーディングなど、異なるトピックでテストしました。

混乱の減少： ロボットは、不必要に単語を切り刻むのをやめました。例えば、医療テキストでは、「hypertrophic」をゴミのような破片に分解するのではなく、単一のまとまった単位として維持することを学びました。
高速化と賢明化： ロボットは、あまりにも多くの小さく壊れたレンガを運ぶ必要がなくなったため、情報をより高速に処理し、コンピューターのメモリをより少なく使用しました。
パフォーマンスの向上： 翻訳や文の理解などのタスクにおいて、柔軟なカッターを持つロボットは、古い硬直した方法を使用するロボットよりも優れたパフォーマンスを発揮しました。さらに、ウルドゥー語のようにこれまで見たことのない言語であっても、小さく混乱した断片に分解することなく、はるかにうまく処理しました。

結論

FLEXITOKENSを、事前に切断されたプラスチック製のおもちゃのレンガセットを使用するロボットから、その瞬間に何を構築しているかに応じて、完璧なサイズと形状のレンガを印刷できる賢い 3D プリンターを使用するロボットへのアップグレードだと考えてください。

固定された規則を強制するのではなく、文脈に基づいて単語をどのように分解するかをロボットに決定させることで、この論文は、言語モデルがより効率的になり、新しい言語をよりよく処理し、「過剰に切断された」テキストによって混乱することなく、医療のような複雑なトピックを理解できることを示しています。

技術サマリー：FLEXITOKENS

問題定義

未見のドメイン、言語、または文字体系などの新しいデータ分布への言語モデル（LM）の適応は、単純なファインチューニングを通じて行われる際、サブワードトークナイザー（例：BPE）の硬直性によってしばしば妨げられる。これらのトークナイザーは適応中に静的なままとなり、分布外コンテキストにおける過剰な断片化を特徴とする非効率的なトークナイズをもたらす。この過剰セグメンテーションはシーケンス長を増大させ、計算オーバーヘッド、メモリ使用量、推論コストの上昇を招き、かつ下流タスクのパフォーマンスを劣化させる。

これに対処するため、バイトを直接モデル化する「トークナイザーフリー」アプローチや、LM 内部で学習可能なトークナイズモジュールを使用する手法が登場しているが、これらは新たな硬直性を導入する。既存の勾配ベースのトークナイズ手法は、通常、事前学習中に決定された固定された圧縮率を強制する補助損失（例：二項損失）に依存している。この固定されたレートは、トークナイザーが新しいドメイン（形態的に豊かな言語や専門的な医療用語など）や未見の文字体系の特定の構造的要件に適応することを妨げ、しばしば最適ではないセグメンテーションをもたらす。

手法

著者は、適応中にトークナイズ戦略が動的に進化することを可能にする、柔軟な勾配ベースのトークナイズフレームワーク**FLEXITOKENS（FXT）**を提案する。

モデルアーキテクチャ

このモデルは、Nawrot ら（2023）の設計に従い、学習可能なトークナイズモジュールをアーキテクチャに直接統合したバイトレベルのトランスフォーマーである。アーキテクチャは 3 つの主要な段階から構成される：

トークナイズ/ダウンサンプリング：軽量なトランスフォーマーモジュール（1〜2 レイヤー）が入力バイトシーケンスを処理する。境界予測器は、各位置におけるセグメント境界の確率を推定する。離散的な境界は、微分可能性を維持するためにベルヌーイ分布のハード・ガンベルシグモイド再パラメータ化を通じて得られる。
言語モデリング：モデルは、予測された境界間のバイトレベルの隠れ状態をプーリングしてトークンレベルの表現を作成し、これを標準的なトランスフォーマーブロックで処理する。
アップサンプリング：最終モジュールは、スキップ接続と軽量なトランスフォーマーを用いて、トークンレベルの表現からバイトレベルの出力確率を再構築する。

FLEXITOKENS の目的関数

核心的な革新は、境界予測器のトレーニング目的関数にある。厳密な目標圧縮率 $\alpha$ を二項損失を通じて強制する先行手法とは異なり、FLEXITOKENS は単一の点ではなく、許容される圧縮率の範囲を定義するヒンジ型損失を導入する。

損失関数 $L_{BP}$ は以下のように定義される：
$L_{BP} = \max\left(\frac{k}{N} - \alpha, 0\right) + \max\left(\beta - \frac{k}{N}, 0\right)$
ここで：

$k$ は予測された境界の数である。
$N$ はバイトの総数である。
$\alpha$ は圧縮率の上限である。
$\beta = \alpha - \lambda\sigma$ は下限であり、ここで $\sigma$ はサンプル全体のトークナイズ率の標準偏差、 $\lambda$ はハイパーパラメータである。

主要なメカニズム：圧縮率（ $k/N$ ）が範囲 $[\beta, \alpha]$ 内に収まれば、損失はゼロとなる。これにより、許容バンド内での変動する圧縮率に対するペナルティが除去され、モデルは厳格なグローバル平均に強制されることなく、入力シーケンスの構造に基づいてセグメンテーションを動的に調整できる。

多言語適応

異なる文字体系が異なるバイトの複雑さを必要とする多言語トレーニング（例：ラテン文字対デーヴァナーガリー文字）を処理するために、著者は言語固有のハイパーパラメータ（ $\alpha_L$ ）を持つ共有境界予測器の使用を提案する。これらのパラメータは、アンカー言語（英語）と対象言語間の少量の平行コーパスから導出され、各言語ごとに個別の予測器を必要とすることなく、文字体系全体にわたる公平なトークナイズを確保する。

主要な貢献

柔軟なトレーニング目的関数：固定された圧縮率の制約を緩和する範囲ベースの損失関数の導入により、トークナイザーがファインチューニング中に変化するデータ分布に適応することを可能にする。
動的適応：学習されたトークナイズ境界が、ドメイン固有のパターン（例：医療用語を全体単位として扱う）を捉えるか、または過剰セグメンテーションなしに未見の文字体系を処理するためにシフトし得ることを実証。
統合された多言語フレームワーク：導出された言語固有の境界を持つ単一の共有予測器を使用して、多様な文字体系全体にわたる公平なトークナイズを達成する方法。文字体系固有の予測器の複雑さを回避する。

結果

著者は、FLEXITOKENS を複数の多言語ベンチマーク（ラテン、キリル、デーヴァナーガリー、テルグ文字を網羅）および翻訳、固有表現認識（NER）、感情分析など多様なタスクで評価した。

パフォーマンス向上：FLEXITOKENS は、ベースライン（BPE、静的バイトプーリング、二項損失ベースのトークナイザー）を一貫して上回った。機械翻訳などの生成タスクでは、BPE に対して最大21 ポイントの改善が観察された。XNLI（自然言語推論）では、二項ベースラインと比較して3 ポイント以上の向上が記録された。
圧縮効率：この手法はベースラインと比較して有意に高い平均圧縮率（シーケンスあたりのトークン数の減少）を達成し、推論実行時間の短縮につながった。
断片化の低減：定性的分析により、FLEXITOKENS がトークンの過剰断片化を低減したことが示された。特に形態的に豊かな言語（ヒンディー語、テルグ語）や未見の文字体系（ウルドゥー語）において、BPE は最大6 倍多くのトークンを生成した。
スケーラビリティ：異なるモデルサイズ（Small: 1 億 2600 万、Medium: 3 億 8800 万）およびレイヤー構成を用いた実験により、この手法が効果的にスケーリングすることが確認され、より深いモデルはさらに高い圧縮率とパフォーマンスを達成した。

意義と主張

本論文は、FLEXITOKENSが現在の言語モデル適応における重要な限界、すなわち静的または厳しく制約されたトークナイザーがデータとともに進化できないという問題を解決すると主張する。定義された範囲内でセグメンテーション戦略を柔軟に調整することをトークナイザーに可能にすることで、この手法は以下のことを実現する：

効率的な推論：高い圧縮率により計算コストを削減する。
分布シフトへの頑健性：トークナイザーの再トレーニングやヒューリスティックな置換を必要とすることなく、モデルが新しいドメインや未見の言語に適応する。
意味的整合性：トークナイザーは、事前学習されたサブワード単位に依存するのではなく、特定のタスクに関連する意味的に意味のあるトークン（例：医療用語）を回復するように学習する。

著者は、適応可能なトークナイズ戦略が、特に多言語およびドメイン固有の設定において、より効率的で汎用性の高い言語モデルを構築するために不可欠であると結論づけている。彼らは、大規模スケールにおける計算予算に関する限界や、離散的な形態素を持つ言語（例：セム語族）における潜在的な課題を認めているが、この手法は一般的であり、より広範な言語的多様性へも適用可能であると主張している。