Token-Native Storage: Read and Write in your Agent's Language
この論文は、テキストをUTF-8文字ではなくBPEトークンIDとして直接保存するパラダイムである「トークンネイティブ・ストレージ」を提唱しており、このアプローチが、繰り返される翻訳や再トークン化の必要性を排除することで、AIエージェントによるストレージサイズの劇的な削減と読み書き操作の高速化を実現すると主張している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
機械の言語 vs. 人間の言語
あなたが、超スマートなロボットに図書館の読書を教えようとしている場面を想像してみてください。本は人間が使う言葉、つまり私たちが見て理解できる文字や単語で書かれています。しかし、ロボットは文字を「見て」いるのではありません。ロボットが見ているのは数字です。ロボットにとって、「cat（猫）」という単語は単なる言葉ではなく、特定のコード、つまり秘密のID番号なのです。これが現代の人工知能（AI）の仕組みです。AIはテキストを「トークン」と呼ばれる小さな塊に分解し、それぞれの塊に固有の番号を割り当てることで、テキストを処理しています。
何十年もの間、コンピュータは人間が書く通りに、文字列（UTF-8など）としてテキストを保存してきました。これは人間にとっては素晴らしいことですが、ロボットにとっては少し不器用な方法です。ロボットが図書館の本を読もうとするたびに、人間の文字を自分たちの秘密の数字へと翻訳し、作業を行い、そして答えを見せるために数字を再び文字へと翻訳しなければなりません。この翻訳プロセスには時間と空間が必要になります。それはまるで、本をたった一ページ読むためだけに、毎回外国語へ翻訳しなければならないようなものです。ロボットが私たちのデジタル世界での読み書きをより多くこなすようになるにつれ、この絶え間ない翻訳がボトルネックとなり、速度を低下させ、余分な容量を消費しています。
この論文の核心的なアイデア：翻訳をやめ、「ロボット語」を話そう
「Token-Native Storage（トークン・ネイティブ・ストレージ）」と題されたこの論文は、ロボットがデータベースにアクセスするたびに、人間に無理やりテキストを翻訳させるのをやめるべきだと主張しています。代わりに、著者はテキストをロボットが見ているそのままの姿、つまりトークン番号のリストとして保存することを提案しています。彼らはこれを「トークン・ネイティブ・ストレージ」と呼んでいます。
これを次のように考えてみてください。現在のデジタルライブラリは、すべての絵画が人間が読める保護ラベルで包まれている美術館のようなものです。ロボットに絵を見せるためには、ラベルを解き、それをロボットのコードに翻訳し、ロボットに見せ、そして再びラベルを巻き直さなければなりません。著者が提案するのは、絵画がすでにロボットの母国語で掲示されている新しいタイプの美術館です。そこでは、ロボットはラッピングや翻訳の手間をかけることなく、すぐにアートを見ることができます。
研究結果：
研究者はこのアイデアをテストし、テキストをトークン番号として保存することは、文字として保存するよりも高速であるだけでなく、容量も少なくて済むことを発見しました。
- 速度： ロボットがこの新しいタイプのストレージから読み取る際、翻訳ステップを完全にスキップできます。論文では、このプロセスを従来の方式と比較して、タスクに応じて約10倍から600倍高速であることを測定しました。これは、通訳者が文章を終えるのを待つのか、それとも思考を直接聞き取れるのかの違いと同じです。
- 容量： トークン番号は小さな整数（1, 2, 3など）であるため、自然とコンパクトになります。高度な圧縮技術を使わなくても、単にこれらの数字を詰め込むだけで、スペースを節約できます。英語のテキストにおいて、この生のパッキングだけで、標準的なテキストストレージよりも2.25倍小さくなりました。さらに、単純な圧縮テクニック（最も頻繁に現れる数字を最小の数字にするように並べ替える手法）を加えることで、データをさらに縮小し、標準的なテキストより3.30倍小さいサイズにまで到達させることができました。
反論している内容：
この論文は、ロボットが主な読み手であり書き手であるシステムにおいて、テキストを人間が読める文字（UTF-8）として保存するという現在の標準に対して、明確に異を唱えています。テキストを人間形式で保持し続けることは、読み書きの操作ごとに「翻訳税」を支払うことを強いるのだと指摘しています。また、スペースを節約するために複雑で重い圧縮アルゴリズムが必要であるという考えにも反対しています。彼らは、単にトークン番号の「順序」を変える（発見された順ではなく、出現頻度に基づいて並べる）だけで、低速で複雑なデコンプレッション（解凍）ツールを必要とせずに、非常に高速なデコーディングが可能になることを発見しました。
確信度：
著者は自身の測定結果に非常に自信を持っています。単なる推測ではなく、英語の記事、コンピュータコード、ヒンディー語のテキストを含む実世界のデータを用いてテストを行いました。彼らの新しい手法を既存の最高水準の圧縮ツール（zstdやgzipなど）と比較した結果、トークン・ネイティブなアプローチが速度とサイズの両面で一貫してそれらに勝る、あるいは匹敵することを確認しました。彼らはデータの読み書きにかかる時間をマイクロ秒（100万分の1秒）単位で測定しており、速度の差が現実的かつ重大なものであることを示しています。
「頻度順（Frequency Order）」のトリック
この論文の中で最も巧妙な部分の一つは、AIラボがどのようにトークンリストを整理すべきかという提案です。現在、トークン番号は、トレーニング中にAIがそれらを「発見した順序」に基づいて、ある種ランダムに割り当てられています。著者は、もしこれらの番号を再構成し、最も一般的な単語に小さな番号（1, 2, 3など）を割り当て、珍しい単語に大きな番号を割り当てるようにすれば、データをより良く圧縮できることを見出しました。
彼らはこれを「+freq」メソッドと呼んでいます。これはクローゼットの整理のようなものです。よく着る服を（小さな数字の）取り出しやすい棚に置けば、時間とスペースを節定できます。このようにすることで、複雑な圧縮による恩恵をほぼすべて受けながら、デコーディング速度を7倍高速化することができました。彼らは、AI企業に対して、誰もがこの無料のスピードアップの恩恵を受けられるよう、トークンリストをこの「頻度順」で公開することを求めています。
障壁：同じ言語を話すこと
論文では、このシステムを完璧に機能させるための大きな課題についても認めています。このシステムがうまく機能するためには、システム内のすべてのロボットが全く同じ「トークン言語」（同じ語彙）を話している必要があります。現在、異なるAIモデルはそれぞれ異なる辞書を使用していることが多いです。もし、あるロボットが「cat」を500番とする辞書を使い、別のロボットが「cat」を12番とする辞書を使っている場合、彼らはストレージを簡単に共有することができません。
著者は、その解決策は標準化であると示唆しています。それは、私たちが共通のアルファベット（ASCII）や、人間用のテキストのための共通の文字エンコーディング（UTF-8）を使うことに合意したのと似ています。もしAIの世界が共通の「トークン・アルファベット」に合意すれば、このトークン・ネイティブ・ストレージは新しい標準となり、ロボットが動かすデジタル・インフラストラクチャをより高速に、より安価なものにすることができるでしょう。
要約すると、この論文は、ロボットが私たちのデジタル的な読み書きをより多く担うようになるにつれ、データを人間形式で保存するのではなく、彼らが生まれながらにして理解する形式で保存すべきだと提案しています。これはファイルの保存方法に関する小さな変更ですが、将来的に膨大な時間とコストを節約できる可能性があります。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。