ロボットに読書を教える場面を想像してみてください。これを行うには、宇宙中のあらゆる単語の辞書を渡すわけにはいきません。それではロボットの脳には重すぎるからです。代わりに、あなたは賢いトリックを教えます。言葉を、より小さく再利用可能な塊、つまりレゴブロックのように分解するのです。もしロボットが「unbelievable」という単語に出会ったら、「un」、「believe」、「able」というパーツを組み合わせるだけで済み、「unbelievable」という専用のブロックを用意する必要はありません。これが現代のAIが世界を読み解く方法です。テキストを「トークン」と呼ばれる小さな断片に切り分けるのです。

どのレゴブロックを残すべきかを決める最も一般的な方法は、**バイトペアエンコーディング（BPE）**と呼ばれる手法です。BPEを、非常に厳格で反復的な教師だと考えてください。その教師は膨大なテキストの山を調べ、隣り合わせに最も頻繁に現れる2つの断片を見つけ出し、それらを接着して新しい、より大きなブロックを作ります。これを何度も繰り返すことで、単一の文字から単語全体に至るまでの、ブロックのライブラリを作り上げます。問題は、この教師が少し「溜め込み癖」があることです。教師は、より大きなパーツを作るためだけに役立つ断片を接着してしまいますが、それらは最終的な物語の中に単独で現れることは決してありません。それは、お城の塔を作るためにだけ使われるレゴブロックを持っているようなものですが、完成したモデルにはその塔自体が登場しないのです。ロボットは、もっと面白いことに使えるはずのスペースを割いて、この役に立たないブロックをバックパックに入れて持ち歩かなければなりません。

Kenny Shao氏らが率いるこの論文**「Pruned BPE」**は、シンプルな問いを投げかけます。「もし、教師がライブラリを作り終えた後に、ロボットのバックパックの中身を整理できたらどうなるだろうか？」と。著者らは、完成したライブラリにあるすべてのブロックを調べ、最終的なテキストの中でほとんど見られないものを特定し、それらをより良く、より有用なブロックと入れ替える手法を提案しています。彼らはバックパックを小さくするのではなく、中身を再配置することで、すべてのスロットが実際に必要とされるもので埋まるようにしているのです。

問題点： 「ゴースト」ブロック

修正方法を理解するために、まずはその「散らかり具合」を見る必要があります。標準的なBPE教師が機能するとき、それは階層構造を構築します。例えば、「en」と「viron」を接着して「environ」を作り、さらに「environ」と「ment」を接着して「environment」を作るかもしれません。標準的なシステムでは、このプロセス中に作成されたすべてのブロックが、ロボットの最終的な語彙に登録されます。

しかし、ここに落とし穴があります。「environ」というブロックは、「environment」を構築するための素晴らしい助っ人かもしれませんが、実際の文章の中で単独で現れることは滅多にありません。これは「ゴースト（幽霊）」ブロックです。それはロボットのメモリ内に存在し、貴重なスロットを占有していますが、ロボットが最終的な答えとして使うことはほとんどありません。それは、年に一度しか使わない特定の玩具を作るためだけに、専用のドライバーをポケットに入れているようなものです。そのせいで、ハンマーやレンチを入れる場所がなくなってしまうのです。

著者は、これらのゴーストブロックがスペースを無駄にしていると主張しています。これらが滅多に使われないために、ロボットはそのブロックについて練習する機会が十分に得られず、理解が弱くなります。一方で、他にも有用な単語の断片があるのですが、すべてのスロットがこれらの役に立たないゴーストによって占領されているため、ロボットにとっての居場所がありません。

解決策： 大規模なバックパックの入れ替え

この論文は、事後トレーニングのクリーンアップ作業として機能する、2段階のプロセスである**「Pruned BPE」**を紹介しています。

ステップ1：標準的な構築
まず、標準的なBPE教師に通常通り仕事をさせます。目標とするサイズ（例えば10,000個のブロック）に達するまで、ペアを接着しながら、ライブラリ全体を構築させます。この時点では、ライブラリは満たされていますが、それらの「ゴースト」ブロックで散らかっています。

ステップ2：可視性チェック
次に、著者は完成したライブラリを見てこう問いかけます。「このブロックは、完成したテキストの中に実際にどれくらいの頻度で登場するか？」 彼らはすべてのブロックの「露出度（exposure）」をカウントします。もし「environ」のようなブロックがごくわずかな割合でしか現れない場合、それは「内部専用（internal-only）」としてフラグが立てられます。それはシステム内に隠れた助っ人として残り続けます。つまり、より大きな単語を構築するために使うことはできますが、ロボットが見る「最終的な答え」になることは許されません。

ステップ3：再割り当て
ここが魔法の部分です。ゴーストブロックを「可視」リストから追い出すとき、彼らはただ空洞を残すのではありません。彼らはトレーニングデータに戻り、ロボットに「本当に有用な新しいブロック」を見つけるよう教え続けます。十分に高品質で、頻繁に見られるブロックが見つかるまでトレーニングを継続します。

したがって、バックパックのサイズは同じまま（例：10,000スロット）ですが、中身は完全に異なります。役に立たないゴーストブロックは、ロボットが実際に使用する「スター」ブロックと入れ替えられます。ロボットが単語を読むとき、依然として構造を構築するために隠れた助っ人ブロックを使用しますが、ロボットの脳に送られる最終的なトークンのリストには、有用で可視性の高いものだけが含まれます。

得られた結果

著者らは、英語中心のテキストと中国語中心のテキスト、およびその混合テキストという、2つの異なるテキストの集まりを用いてこのアイデアをテストしました。彼らは、バックパックのサイズを全く同じにした状態で、彼らの「Pruned（枝刈りされた）」手法を、標準的な「溜め込み」手法と比較しました。

結果は驚くほど一貫していました。低可視性のゴーストを、高可視性のスターへと入れ替えることで、Pruned BPE法はテキストをより良く圧縮することに成功しました。

• 英語中心のテキストでは、ゴーストのルールをどれほど厳格に適用したかに応じて、必要なトークン数を約**0.27%から0.36%**削減しました。
• 中国語中心のテキストでも、同様に**0.23%から0.36%**の改善が見られました。

これを比較するために、著者は、標準的なBPEがこの効率性を得るためには、バックパックにさらに2,000個のトークンを追加する必要があることを指摘しています。Pruned BPEは、バックパックを大きくすることなく、その同じ効率性の向上を実現します。それは、スーツケースを大きく買うことなく、より多くの収納スペースを手に入れるようなものです。

彼らはまた、この改善が、標準的なBPE教師によるブロックの配置方法による偶然の産物ではないことを確認するために、特別なテストを行いました。彼らは、教師の元の順序を無視し、利用可能なブロックのリストだけを見る、非常にスマートな「最小トークン」デコーダーを使用しました。この公平で中立的なデコーダーを用いても、Pruned BPEのリストは依然としてより短く、より効率的なテキストを生成しました。これは、改善が単なる「並べ方」によるものではなく、「より優れたブロックのリスト」を持っていることから来ていることを示唆しています。

「ゴースト」の具体例

これらの「ゴースト」ブロックがどのようなものかを示すために、著者はいくつかの具体的な例を挙げました。

• 英語: 「viron」のような断片がゴーストになり得ます。これは「environment」を構築するのには適していますが、「viron」が単独で立っているところを見ることは滅多にありません。
• 中国語: 「gan」という文字（「gan ga（ぎこちない）」の一部）などがゴーストになる可能性があります。これは完全な単語を構築するために必要ですが、それ自体が単独で使用されることは稀です。
• コードとバイト: ゴーストはもっと奇妙なものもあります。コンピュータはテキストをバイト（小さな数字）として読み取るため、一部のブロックは文字の断片に過ぎません。例えば、ある特定のバイトシーケンスは、中国語の「能力（ability）」という文字を構築するために必要かもしれませんが、そのバイトシーケンス単体では何も意味しません。それは、本物のものを構築するためだけに存在するゴーストなのです。

なぜ重要なのか（そして、何が重要ではないのか）

この論文は、これが「何を行わないか」についても慎重に述べています。これは、ロボットが突然詩を書いたり数学の問題を解いたりするのが上手くなることを証明するものではありません。著者は、テキストがどれだけ効率的に圧縮されたか（同じことを伝えるのに、より少ないトークンで済んだか）のみを測定しました。ロボットの脳がこれらの新しいブロックを使って実際に学習が向上したかどうかはテストしていません。それは将来の研究課題です。

しかし、スペースを節約するために語彙を縮小する必要があるという考えについては、この論文は否定しています。以前のアイデアの中には、単に珍しいブロックを削除することでバックパックを小さくする、というものがありました。しかし、それでは同じことを伝えるために、より小さく多くのブロックを使うことを強いることになり、結果としてテキストが長くなってしまいます。Pruned BPEは、バックパックのサイズを固定したまま、中身を入れ替えるだけで、より短く効率的なテキストを得られることを証明しています。

まとめ

結局のところ、Pruned BPEは「整理整頓」の教訓です。AIの世界では、膨大な数のトークンのライブラリを持つことよりも、正しいトークンを持つことの方が重要であることを示しています。最後に何が本当に有用であるかを判断し、その「ゴースト」のような助っ人を「スター」のような実力者に置き換えることで、ロボットの読解プロセスをわずかに効率化できます。これは、スペースを半分以下節約するという小さな調整ですが、すべてのバイトが重要となる大規模なAIモデルの世界において、それは意味のある勝利です。ロボットは、その構築の歴史すべてを背負う必要はありません。ただ、その仕事に最適な道具さえあればよいのです。