あなたは、地球上のあらゆる言語で語られたすべての言葉が含まれている、巨大で魔法のような図書館の前に立っていると想像してください。あなたはストーリーテラーであり、物語の次の文章を書くのが仕事です。これを行うために、あなたはあの広大な図書館の中から、たった一つの最高の言葉を選び出さなければなりません。人工知能の世界では、これらの「図書館」は語彙（ボキャブラリー）と呼ばれ、「ストーリーテラー」は大規模言語モデル（LLM）と呼ばれます。これらのモデルは非常に賢いのですが、大きな問題を抱えています。それは、10万語や25万語もの言葉がある図書館の中から単語を一つ選ぶ作業には、膨大な時間とエネルギーがかかるということです。それは、干し草の山の中から特定の針を見つけ出すために、干し草の一片一片を一つずつ手に取って調べていくようなものです。この遅いプロセスが、チャットやコーディング、あるいは質問への回答といったリアルタイムの作業において、AIを迅速に行うことを困難にしています。科学者たちは、間違いを犯すことなく、この退屈な探索プロセスをスキップする方法を見つけようとしてきましたが、これまでの試みの多くは、推測しすぎて精度を落とすか、あるいは図書館全体を作り直す必要がありました。

この論文は、CSV-Decodeと呼ばれる巧妙な新しいトリックを紹介しています。すべての言葉をチェックする代わりに、著者たちは、ある物語の特定の瞬間においては、実際に正解となる可能性が高い言葉はごくわずかであることに気づきました。残りは単なる「ノイズ」なのです。チームは、幾何学（例えば、似た言葉のグループの周囲に目に見えない円を描くこと）を利用して、特定のグループの言葉が答えにはなり得ないことを数学的に証明する方法を編み出しました。これにより、彼らは一度も中身を見ることなく、図書館の巨大な塊を安全に無視することができます。彼らはこのシステムを非常に効率的に構築したため、AIの動作を2倍から3倍速く（タスクによっては5倍近くまで）し、かつ答えが正しいことを保証しています。彼らはこの手法を多くの異なるモデルでテストし、品質を損なうことなく、驚くほどスムーズに機能することを確認しました。

問題点： 「図書館」のボトルネック

大規模言語モデルを、巨大な辞書を暗記した超優秀な学生だと考えてみてください。この学生が文章を書こうとする際、次にどの言葉が来るかを決定しなければなりません。この決定を下すために、学生は自身の「隠れた状態（現在の思考）」を確認し、それを辞書にあるすべての単語と比較して、どれが最も適しているかを見極めます。

問題は、現代の辞書は非常に膨大であることです。モデルによっては、25万語を超える辞書を持つものもあります。一つの思考を25万語と比較するには、膨大な計算能力が必要です。これは、エッセイの次の行を書く前に、スタジアムにいる25万人の人々に「これが正しい言葉ですか？」と問いかけるようなものです。このプロセスがあまりに遅く、コストがかかるため、AIモデルの動作速度を制限する主要な要因となっています。

旧来の手法： 推測と、さらなる推測

この新手法が登場する前、科学者たちは速度を上げるためのいくつかの方法を試みてきました。

• Adaptive Softmax（適応型ソフトマックス）: これは、最も一般的な単語をグループ化し、珍しい単語を無視するというものです。しかし、これは硬直的であり、物語に応じて変化することはありません。また、モデル全体の再学習を必要とすることがよくあります。
• Hierarchical Softmax（階層型ソフトマックス）: これは、単語を家系図のようなツリー構造に整理することで、すべての「葉」をチェックしなくて済むようにするものです。しかし、このツリーを構築するのは難しく、言葉の意味を必ずしも上手く捉えられるわけではありません。
• Speculative Decoding（投機的デコーディング）: これは、ジュニア・アシスタントが次の数語を推測し、その後メインの学生がその推測が正しいかどうかを確認するというものです。これは効果的ではありますが、メインの学生が推測を検証するために依然として多くの作業を行う必要があり、辞書全体をチェックするという根本的な問題は解決していません。

本論文の著者たちは、これらの手法は精度を犠牲にする（間違いを犯す）か、あるいは膨大な数の単語をチェックするという根本的な数学的問題を解決していないと主張しています。

新しいアイデア： 「幾何学的なフェンス」

ドング・リュウ氏らを中心とする著者たちは、異なるアプローチを考案しました。彼らは、コンピュータのメモリ内にある言葉は単なるランダムなリストではなく、その意味に基づいて幾何学的な空間に配置されていることに気づきました。意味が似ている言葉（例えば「猫」と「子猫」）は近くに集まり、意味が大きく異なる言葉（例えば「猫」と「飛行機」）は遠くに離れています。

ここに魔法のトリックがあります：

1. グルーピング: AIが書き始める前に、著者たちは辞書を取り出し、似た言葉をクラスター（例えば、すべての「動物」の言葉を一つの箱に入れ、「乗り物」の言葉を別の箱に入れるなど）にまとめます。
2. フェンス: 各ボックスに対して、彼らは「幾何学的なフェンス」を計算します。このフェンスは、そのボックス内のどの言葉が得られる「最大可能なスコア」を表す数学的な境界線です。
3. ショートカット: AIが次の言葉について考えているとき、ボックス内のすべての言葉をチェックするわけではありません。代わりに、フェンスをチェックします。もし「乗り物」のボックスのフェンスが、AIがすでに見つけた最高の単語のスコアよりも低い場合、その「乗り物」のボックス内のどの言葉も勝者にはなり得ないと断定できます。したがって、何も作業することなく、ボックス全体をスキップできるのです！

これは、森の中を歩いているときに、「この谷の最高地点は低すぎるため、宝物は絶対にこの谷にはありません」という看板を見つけるようなものです。その谷のすべての木に登る必要はなく、ただ通り過ぎればよいのです。

仕組み：「認定された」スキップ

論文では、このスキップが安全であることを保証するための2つの主要な方法を紹介しています。

• Exact Top-k Certification（正確なTop-k認定）: もしトップ10の単語が必要な場合（例えば、最も優れたものを選ぶため）、システムは選ばれたグループの外にある単語がトップ10に入る可能性がないことを数学的に証明します。これは100%の保証です。
• $\epsilon$-Certified Softmax（$\epsilon$-認定ソフトマックス）: もし全単語の確率が必要な場合（確率に基づいてランダムに単語を選ぶため）、システムはエラーが極めて小さい（特定の小さな数 $\epsilon$ 未満である）ことを保証します。

このシステムはリアルタイムで作動します。まず、最も有望なグループの「フェンス」をチェックすることから始まります。グループが良さそうであれば、その箱を開けて中の言葉をチェックします。グループが良くなければ、二度と開けないようにします。これを、十分な単語が見つかるか、あるいは安全限界に達するまで繰り返します。

結果： 速く、安全に、そしてエコに

著者たちは、このアイデアをテストするための完全なシステムを構築しました。彼らは強力なグラフィックスカード（GPU）を使用してコードを実行し、Llama-3、Mistral、CodeLlamaを含むいくつかの有名なAIモデルでテストを行いました。

結果は以下の通りです：

• 速度: この新手法により、AIは標準的な方法よりも2.67倍から4.95倍速くなりました。コーディングのような特定のタスクでは、5倍近く高速化しました。
• 精度: これほど多くの言葉をスキップしたにもかかわらず、出力の品質はほぼ完璧に保たれました。モデルは元の品質の**99.3%**を維持しました。
• 安全性: システムが「フォールバック」（スキップをやめてすべてをチェックすること）を行うことは滅多にありませんでした。フォールバック率は2%未満であり、ほとんどのケースで正しくスキップすることに成功しました。
• エネルギー: 計算量が減ったため、生成される単語あたりのエネルギー消費量は52%削減されました。これは、コスト削減と環境保護の観点から非常に重要なことです。

また、複数のコンピュータ（GPU）を併用した場合の性能もテストしました。スケールアップはほぼ完璧であり、複数のコンピュータを追加しても、通信による時間の浪費なしに速度が向上することを示しました。

なぜこれが重要なのか

この論文は、単にクールなアイデアを提案しているだけでなく、それが機能するという数学的な証明を伴う、実際に動作するシステムを提供しています。私たちは、「速さ」と「賢さ」のどちらか一方を選ぶ必要はないということを示しています。言葉がどのように関連しているかを理解するために幾何学を用いることで、より効率的なAIシステムを構築できるのです。

著者らは、この手法がどのようにグループ分けを行うかに依存していることも認めています。もしグループ分けが乱雑であれば、「フェンス」が緩くなりすぎ、より多くの言葉をチェックしなければならなくなる可能性があります。しかし、彼らの実験によれば、適切なグループ分けが行われれば、この手法は極めて効果的であることが示されました。

将来的に、著者らは、グループ分けをよりスマートにし、異なる種類の物語や言語に即座に適応できるようにしたいと考えています。しかし現時点でも、CSV-Decodeは、大規模言語モデルをより速く、より安く、そして誰もが利用しやすくするための強力なツールとなっています。それは、100万語をチェックするという不可能な作業を、自信に満ちた素早いスキップへと変え、時には「正しい答えを見つける最善の方法は、見る必要のないものを正確に知ることである」ということを証明しています。