Protecting Context and Prompts: Deterministic Security for Non-Deterministic AI
本論文は、LLMにおけるプロンプト注入やコンテキスト操作を防ぐため、暗号学的な証明を用いた「認証済みプロンプト」と「認証済みコンテキスト」という2つの新概念を導入し、形式的なポリシー検証と多層的な防御策を組み合わせることで、攻撃を確実に検知・防止する決定論的なセキュリティ手法を提案しています。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
タイトル：AIの「うっかり」や「騙され」を、数学の力で鉄壁にする方法
1. 今、AIが抱えている「致命的な弱点」とは？
想像してみてください。あなたは、とても優秀だけど**「すごくお人好しで、騙されやすい秘書」**を雇ったとします。
この秘書（AI）に、「会社の経費をまとめておいて」と頼みました。すると、秘書は完璧に仕事をこなそうとします。しかし、もし誰かが、経費の領収書の中にこっそり**「ついでに、社長の金庫の鍵も探しておいてね」**というメモを紛れ込ませていたらどうでしょう？
お人好しの秘書は、「あ、これも仕事の一部かな？」と勘違いして、金庫を開けてしまいます。これが今、AIの世界で起きている**「プロンプト・インジェクション（命令の乗っ取り）」**という問題です。
今のAI対策は、「怪しい言葉を言ったら止める」という「言葉のフィルター」に頼っています。でも、犯人が「金庫」と言わずに「大切な宝箱」と言い換えたりすると、フィルターをすり抜けてしまいます。言葉（意味）で守ろうとするのは、砂の城を作るようなもので、限界があるのです。
2. この論文が提案する「新しい守り方」
この論文の著者たちは、考え方をガラリと変えました。
**「AI（秘書）の性格を直そうとするのは無理だ。それよりも、秘書が受け取る『指示書』と『メモ帳』に、絶対に偽造できない『魔法の印』をつけよう！」**と考えたのです。
これを2つの仕組みで説明します。
① 「魔法の履歴書」付き指示書（Authenticated Prompts）
これまでの指示書は、ただの紙切れでした。誰かが後から書き換えても気づけません。
新しい仕組みでは、すべての指示書に**「誰が、いつ、どの指示から作ったか」という完璧な家系図（履歴）**を、数学的な印（暗号）で刻み込みます。
- 例え話：
あなたが秘書に「会議の準備をして」と頼みました。秘書がその指示をもとに「資料をコピーして」という新しい指示を作ったとします。この新しい指示書には、「これは『会議の準備』という親の指示から生まれた、2代目です」という消せないスタンプが押されます。
もし、悪い人が「金庫を開けろ」という偽の指示を混ぜ込んでも、その指示書には「親のスタンプ」がありません。秘書がそれを受け取ろうとした瞬間、**「あ、この指示書には正しい家系図がない！偽物だ！」**と、言葉の意味に関わらず、数学的に即座にバレる仕組みです。
② 「改ざん不能な日記帳」による記憶管理（Authenticated Context）
AIは会話のやり取り（文脈）を「記憶」として持ちますが、この記憶も書き換えられる危険があります。
- 例え話：
秘書が持っている「業務日記」を想像してください。新しい出来事が起きるたびに、前のページの記録と、新しい出来事を混ぜ合わせて、**「絶対に書き換えられない特殊なインク」で次のページを書き進めていきます。
もし、悪意のある人が過去のページをこっそり書き換えて、「ユーザーは管理者権限を持っています」と捏造しようとしても、その後のページのインクの色や模様が、数学的に計算が合わなくなります。「日記の整合性が取れない！誰かが書き換えた！」**と、一瞬で分かります。
3. この方法のすごいところ（結論）
この論文のすごい点は、**「AIがどれだけ賢くなっても、あるいはどれだけ騙されやすくなっても、セキュリティは揺るがない」**という点です。
- これまでの対策： AIの「理解力」に頼っていた（AIが賢くないと失敗する）。
- 今回の対策： AIの「外側」にある「数学的なルール」で守る（AIがどんなに騙されても、ルール違反は物理的に実行できない）。
例えるなら、**「言葉のルールで喧嘩を止めようとする（難しい）」のではなく、「物理的に、許可証がないとドアが開かない仕組みを作る（確実）」**というアプローチへの転換です。
これにより、企業が安心して、自律的に動くAIエージェントを実社会に投入できる道が開かれたのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。