In-Place Tokenizer Expansion for Pre-trained LLMs
本論文は、多言語コーパス上でBPEマージを継続し、サブトークンの平均化によって新しい埋め込みを初期化することで、モデルの品質を損なうことなく、ヒンディー語やベトナム語などの言語におけるトークン数を大幅に削減しデコード速度を向上させる、インプレースのトークナイザー拡張手法を紹介するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
機械の言語：クイック・プライマー（入門）
あなたがロボットに言葉を教える場面を想像してみてください。そのためには、宇宙中のあらゆる単語が入った辞書を渡すわけにはいきません。それでは重すぎて持ち運べないからです。代わりに、あなたは「積み木」のセットを与えます。人工知能の世界では、これらのブロックは「トークン」と呼ばれます。トークンとは、コンピュータが理解できるテキストの最小単位だと考えてください。それは「cat」のような単語丸ごとであることもあれば、「cat」の「ca」や、あるいは「c」のような一文字であることもあります。
ロボットが言語を学ぶとき、そのロボットは文章をどのようにこれらのブロックに分解するかを決定します。もし最初に英語を学んだとした場合、そのロボットは「the」という特別なブロックを持っているかもしれません。しかし、後でヒンディー語やベトベトナム語を話すように頼んだとき、もしロボットがそれらの言語への準備ができていなければ、その単語を「H-i-n-d-i」のように、小さくて非効率的な断片に分解しなければならないかもしれません。これは、ドライバーが必要な場面でハンマーを使って家を建てようとするようなものです。作業自体はできますが、遅くて、使いにくく、エネルギーを無駄にします。この論文は、すでにトレーニングを終えたロボットの「道具箱」（語彙）を、ロボット全体を作り直すことなく、どのようにアップグレードするかという問題に取り組んでいます。
壊れた道具箱のパズル
Liquid AIのジミーとそのチームを紹介しましょう。彼らは、スマートフォンやノートパソコンなどのデバイス上で動作する、非常にスマートなロボット「LFM2」の開発に取り組んでいました。このロボットは英語とコーディングには非常に優れていましたが、ヒンディー語やベトナム語、タイ語などの言語を話そうとすると、つまずいてしまいました。なぜでしょうか？ その理由は、その語彙が、バンコクではなくロンドンへの旅行のためにパッキングされた道具箱のようになっていたからです。ロボットが「Hindi」と書こうとしたとき、その単価語のための単一のブロックを持っていませんでした。代わりに、それを組み立てるために4つや5つの小さなブロックを使わなければなりませんでした。このため、ロボットは動作が遅くなり、疲れ、バッテリーを消耗してしまいました。
チームは難しい選択を迫られました。これまでの努力をすべて捨てて、より優れた道具箱を備えた新しいロボットを一から作り直すか。あるいは、動いているロボットを壊すことなく、古いロボットの中に新しい道具をこっそり忍び込ませるか。後者の選択肢は、高速道路を走行中の車のエンジンに、新しい引き出しを付け足そうとするようなものです。ほとんどの人は、これは不可能か、あるいはリスクが高すぎると考えました。
「インプレース（その場での）」アップグレード
チームは、まさにそれを実現する巧妙な方法を発見しました。彼らはそれを「トークナイザー拡張（Tokenizer Expansion）」と呼びました。古い道具箱を捨てる代わりに、元の道具はそのまま残し、単に箱の端に新しい道具を追加したのです。
その手順は以下の通りです：
- スマートなコピー＆ペースト： 彼らはロボットの既存の積み木のリストを取り出し、多くの異なる言語を混ぜて学習を続けるよう指示しました。ロボットが新しい単語を学ぶ際、古いブロックを捨てたりはしませんでした。代わりに、「Hindi」や「Thai」のような単語のための、より大きな新しいブロックを作成しました。決定的なのは、すべての新しいブロックが、すでに知っている古い小さなブロックを組み合わせることで作られたという点です。それは、「H」ブロックと「i」ブロックがあれば、それらを組み合わせて「Hi」ブロックを作り、さらにそれを「nd」と「i」と組み合わせて「Hindi」を作れることに気づくようなものでした。
- 魔法の接着剤（埋め込みの初期化）： 今やロボットには新しいブロックがありますが、それらが何を意味するのかをまだ知りません。チームは、これらの新しいブロックが何を表しているのかをロボットに教えなければなりませんでした。彼らはシンプルかつ素晴らしいトリックを使いました。それは、新しいブロックを構成している古いブロックを確認し、その新しいブロックに、パーツの「平均的な」意味を与えるというものです。もし新しいブロックが3つの古いブロックで構成されているなら、ロボットの脳はその3つのパーツの「平均的な性格」を新しいブロックに与えました。これにより、ロボットは推測する必要がなくなり、最初から非常に精度の高い推測からスタートできたのです。
- 2段階のワークアウト： ロボットはまだマラソンを走れる状態ではありませんでした。もしすぐに走らせれば、転んでしまうでしょう。そこで、彼らは2段階のワークアウトを行いました。
- ステージ1： 彼らはロボットの脳（新しいブロック以外のすべて）を「凍結」し、新しいブロックだけを学習させました。これは、車の他の部分を動かさずに、新しい引き出しに物を入れる練習をさせるようなものです。
- ステージ2： 新しいブロックが慣れてきたところで、彼らはロボット全体を「解凍」し、多くの言語で読み書きの練習を再開させました。これにより、ロボットは新しいブロックが全体像の中でどのように適合するかを理解することができました。
結果：より速く、より賢く、より軽く
結果は目覚ましいものでした。この新しい拡張された道具箱を使うことで、ロボットはヒンディー語、ベトナム語、タイ語をより効率的に話せるようになりました。
- ヒンディー語のテキストは、ブロックの数が2.4倍少なくなりました。
- ベトナム語は2.6倍少なくなりました。
- タイ語は最大の飛躍を見せ、必要なブロックが4.0倍少なくなりました。
同じことを伝えるために処理すべきブロックが少なくなったため、ロボットは非常に高速になりました。チームの推定では、スマートフォン上でこれらの言語を話す場合、1文字あたりの速度が2.2倍から3.7倍速くなります。それは、歩行から自転車に切り替えるようなもので、ロボットはわずかな時間で同じ距離をカバーできるようになったのです。
彼らが学んだこと（そして避けたこと）
チームはまた、何をすべきではないかについても学びました。それは、成功させるために同じくらい重要なことです。
- 古い道具に触れないこと： ある実験では、新しいブロックを追加しながら、ロボットに「古い」ブロックの意味を再学習させようとしました。すると、ロボットは混乱し、壊れたレコードのように同じことを繰り返すようになりました。彼らは、古いブロックを正確にそのままの状態に保つことが成功の鍵であることを発見しました。
- 英語だけを読ませないこと： 新しいブロックを教える際に、主に英語のテキストを使用した場合、ロボットは多肢選択式の質問に答えることは得意になりましたが、実際に文章を書くことは苦手になりました。正解を選ぶことはできても、物語を作ることはできなかったのです。彼らは、ロボットを健康に保つためには、多くの言語によるバランスの取れた食事を与える必要があることを学びました。
結論
この論文は、新しい言語を話させるために、必ずしも新しいロボットを構築する必要はないということを示しています。もしあなたがそのロボットを作った本人であれば、その一生の途中で語彙をアップグレードすることができます。新しい道具を慎重に追加し、それらに適切な「平均的な」意味を与えることで、すでに持っているスキルを失うことなく、より速く、より効率的に、すべての人にとって使いやすいものにすることができるのです。これは、あなたのポケットの中にあるデバイス上で、AIをより包括的で高速なものにするための、実践的なレシピなのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。