ハイテクで賑やかな図書館を想像してみてください。そこでは、魔法の司書（AI）があなたのあらゆる質問に答えてくれます。超高速化のために、司書は最も一般的な物語の始まりを記した「参照シート」をデスクのすぐ上に置いています。もしあなたが誰かと同じ言葉で始まる質問をした場合、司書は本全体を読み直す必要はありません。参照シートをちらりと見るだけで、答えに直接ジャンプできるのです。これは非常に効率的であり、膨大な時間を節約します。しかし、同じデスクを使用する多くの異なる人々（テナント）がいる賑やかな図書館では、ずる賢い人が他の人が何を読んでいるかを突き止めてしまうかもしれません。彼らは本を見る必要はありません。ただ、答えを見つけるのにどれくらいの時間がかかるかを観察するだけでよいのです。もし司書が即座に答えを掴んだなら、ずる賢い人はこう察します。「ああ、彼らは私がたった今聞いたのと同じストーリーについて質問したに違いない！」もし司書が奥の棚まで歩いていかなければならないなら、それはそのストーリーが新しいものであることを意味します。これらの微細な遅延を計ることで、悪意のある攻撃者は、他人のプライベートなプロンプトを再構成できてしまい、スピード機能がセキュリティの漏洩へと変わってしまうのです。

この論文は、現代の超スマートなAIチャットボットである大規模言語モデル（LLM）の世界における、まさにその問題に取り組んでいます。これらのモデルは、会話の前の部分を記憶することで応答速度を上げるために「KVキャッシュ」（参照シート）を使用しています。著者は、共有環境において、このスピードのトリックが「タイミング・サイドチャネル」――つまり、どれくらい時間がかかるかに隠された秘密の信号――を生み出していることを発見しました。彼らは、3つの異なるハッカーグループがすでに、この信号を利用してプライベートなプロンプトをほぼ100%の成功率で盗み出す手法を示していることを明らかにしました。この論文は、この問題を解決するための新しいシステムであるKVGovを提案しています。単にタイミングを隠そうとする（それは困難です）のではなく、KVGovはゲームのルールを変更し、参照シートをユーザーごとに完全に異なるものにします。これは、すべての図書館利用者に、自分専用の目に見えない特殊なインクを与え、それぞれの参照シートを他の誰にも読めないようにするようなものです。著者は、シミュレーションと実際のハードウェアテストを通じて、この手法が3つのタイプの攻撃すべてを完全に阻止しつつ、図書館としての有用性を保つほど十分に高速であることを示しています。また、誰を最も注意深く監視すべきかを正確に判断するスマートな「警備員」システムを導入し、参照シートの共有を完全に停止すべきとなる転換点も算出しています。

大いなるキャッシュ強奪事件

AIのメモリを、巨大で共有されたホワイトボードだと考えてください。あなたがAIに質問すると、AIは後で似たような質問をされたときに再計算しなくて済むよう、文章の重要な部分をボードに書き込みます。これがKVキャッシュです。マルチテナント構成（多くの異なる企業やユーザーが同じAIサーバーを共有している環境）では、時間を節明するために全員がこのホワイトボードを共有しています。

問題は、ホワイトボードがあまりにも分かりやすすぎることです。もしずる賢いユーザー（攻撃者）が「フランスの首都は何ですか？」と尋ねて、AIが即座に答えた場合、攻撃者は「おや、誰かが最近それを聞いたに違いない！」と知ることができます。もしAIに時間がかかった場合、攻撃者は「まだ誰もそれを聞いていない」と分かります。何千もの異なる質問を試し、その回答のタイミングを計ることで、攻撃者はたとえ回答自体が見えなくても、他の人々が具体的に何を尋ねているのかを正確にマッピングすることができます。これはタイミング・サイドチャネル攻撃と呼ばれます。

論文では、ハッカーがこれを利用した3つの具体的な方法を挙げています：

1. PROMPTPEEK: ハッカーはあり得る質問のリストを推測し、それらすべてをタイミング計測します。もし彼らのタイミングが被害者のパターンと一致すれば、被害者が何を尋ねたかを正確に特定できます。
2. EarlyBird: ハッカーは被害者の質問を、一単語ずつ推測しようとします。もしAIが速ければ、正しい単語を当てたことが分かります。
3. InputSnatch: これは、フォームへの入力のような構造化された質問に対するものです。ハッカーはテンプレート（例：「アカウント［番号］の取引を表示して」）を知っており、AIが速くなるまで異なる数字を試していくことで、秘密のアカウント番号を暴きます。

著者はこれを実際のハードウェア（NVIDIA A100 GPU）でテストし、タイミングの差が極めて大きいことを発見しました：「コールド」のリクエスト（新しい情報）には149.6ミリ秒かかりましたが、「キャッシュ済み」のリクエスト（再利用された情報）はわずか32.8ミリ秒でした。これは0.22という比率であり、ハッカーにとって非常に目立ちやすく、見つけやすい信号です。

解決策：KVGovと魔法のインク

論文は、ゲートキーパー（門番）として機能する新しいレイヤーであるKVGovを紹介しています。その主な仕掛けは、**HMAC鍵付き名前空間隔離（HMAC-keyed namespace isolation）**です。

すべての図書館利用者が、独自の秘密のスタンプ（「ソルト」）を持っていると想像してください。司書がホワイトボードに質問を書き込むとき、まず質問にユーザーの秘密のインクでスタンプを押します。たとえ二人の人間が全く同じ質問をしたとしても、そのインクによって、ホワイトボードのエントリは他の誰から見ても全く異なるものに見えるようになります。

• 仕組み: システムはユーザーIDと秘密の鍵を使用して、一意のコードを作成します。このコードは、キャッシュキーを作成する最初のステップに混ぜ込まれます。
• 結果: もしハッカーが被害者が何を尋ねたかを推測しようとしても、彼ら自身の秘密のスタンプは被害者のものとは一致しません。したがって、ハッカーのプローブ（探索）は常に「ミス」（低速）として表示され、被害者のコードと一致することはありません。これにより、タイミングの信号は消失します。

著者は1,000回のシミュレーション試行を行い、この「HMACソルト」だけで、3種類の攻撃すべてにおいて攻撃成功率を**100%から0%**に落とすのに十分であることを発見しました。これは、彼らのシステムのなかで唯一、厳密に必要とされる部分であり、他の部分は単にさらなる安全層を追加するものです。

図書館の速度を維持する（境界のトリック）

「全員が自分専用の秘密のホワイトボードを持ったら、図書館は遅くなるのではないか？」と思うかもしれません。もしすべてのユーザーに対して完全に別々のボードを用意すれば、共通の質問（「こんにちは、お元気ですか？」など）を共有するメリットが失われてしまいます。

論文は、**境界ソルト（Boundary Salting）**と呼ばれる巧妙な解決策を提示しています。
物語の中で、最初の2,000語は全員共通（共有された前口上）で、最後の100語だけが異なる（プライベートな部分）場合を想像してください。

• 従来の方法: 物語全体に秘密のインクでスタンプを押す。これでは、誰も最初の2,000語を共有できなくなります。
• KVGovの方法: 最初の2,000語にはスタンプを押さず、全員で共有できるようにします。そして、物語が分岐する「最初の単語」にのみスタンプを押します。
• 恩恵: これにより、スピードの恩恵の93%を維持しながら、プライベートな部分の秘密を守ることができます。著者は、2,000語の共有イントロと119語のプライベートな末尾がある場合、システムは依然として非常に高速（プライベート部分に対して約41.2 ms）であり、効率の大部分を保持できると推定しています。

スマートな警備員：ORIGAMI

魔法のインクがあっても、著者は誰かが不正に侵入しようとしていないかを確認したいと考えました。そこで、スマートな監査スケジューラであるORIGAMIを作成しました。

図書館のマネージャーには、限られた予算の警備員の数が与えられていると考えてください。彼らは常に全員を監視することはできません。ORIGAMIは、数学的な戦略（Stackelberg water-fillingアプローチと呼ばれるもの）を使用して、誰を監視すべきかを決定します。

• 論理: ユーザーが非常に価値が高い（高リスク）場合や、不審な行動の履歴がある場合、より多くの警備員が割り当てられます。リスクの低いユーザーには、より少ない人数が割り当てられます。
• 結果: 10のテナントを用いた、現実的なユーザーミックス（「ジニ係数」0.63）でのシミュレーションにおいて、このスマートなスケジューリングは、ランダムに監視対象を選ぶよりも、攻撃者の期待成功率を**12.6%**減少させました。

共有をいつ止めるべきか

最後に、論文は次のような大きな問いを投げかけています。「いつ、ホワイトボードの共有を完全に止めるのがベストなのか？」

彼らは、**進化的な安定性（Evolutionary Stability）**という概念を用いて、転換点を見つけ出しました。彼らは、キャッシュを共有するユーザー（高速だがリスクがある）と、共有しないユーザー（低速だが安全）が混在する集団をモデル化しました。

• 発見: システム内のハッカーの割合が**31.6%**を超えると、全員がキャッシュの共有をやめ、個別のプライベートボードに戻ることが数学的に有利になります。その数値以下であれば、共有を続けることが勝利戦略となります。これにより、図書館のマネージャーには明確なルールが与えられます。もし、約3人に1人以上のユーザーが悪意のあるアクターであると疑われる場合は、キャッシュの共有を停止してください。

この論文が解決しないこと

論文では、解決できない事項についても非常に明確に述べています。

• ハッカーがAIの脳（モデルの重み）を盗むことは防ぎません。
• ハッカーがAIを騙して不適切な発言をさせること（プロンプトインジェクション）を防ぎません。
• 「セマンティックキャッシュ」（AIが正確な単語ではなく概念を一致させるもの）の問題も解決しません。それらには、異なる種類のロックが必要です。
• EarlyBird攻撃（一単語ずつ推測する攻撃）は、より大きな「ブロック」単位で使用される新しいAIエンジンによって概ね阻止されますが、著者は、構造化されたフォーム（アカウント番号など）については、ブロックサイズに関わらずタイミングの漏洩は依然として存在すると警告しています。

結論

著者は、私たちが愛するAIのスピードアップには、隠れたコスト、すなわちプライベートな情報を漏洩させるタイミング信号が伴うことを証明しました。単に信号を隠すだけでは不十分であり、ユーザーとキャッシュの間のリンクを断ち切る必要があることを示しました。魔法のインク（HMACソルト）を使用し、秘密が始まる場所にのみ適用することで、KVGovはAIの速度を維持しながら、情報の漏洩を完全に阻止します。これは、AIの未来を遅らせることなく、プライバシーを守るための勝利です。