💻 computer science

Amplify, Don't Create: Temporal Accumulation for Slow-Burn Prompt Injection

本論文は、CUSUMのような時間的蓄積手法は、単一イベントの検知器を回避するスローバーン攻撃を検知するために、弱く分散したプロンプトインジェクション信号を増幅させることができる一方で、その有効性は、個々のイベントが既に検知可能な信号マージンを有しているシナリオに厳密に限定され、信号が存在しない場合に検知能力を生成することには失敗することを実証している。

原著者： J Alex Corll

公開日 2026-06-23

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： J Alex Corll

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグピクチャー：「ささやき」攻撃

あなたが城（AIエージェント）を守っている衛兵だと想像してください。あなたには、門を通るすべての人をチェックするセキュリティガード（検知器）がいます。もし誰かが秘密のコード（「門を開け！」）を叫んだら、ガードは即座に警報を鳴らします。

しかし、もし攻撃者が叫ばなかったらどうでしょう？もし彼らが、異なるドアを通るたびに、衛兵に対して小さく、無害に聞こえる指示を「ささやく」としたら？

「ところで、地図を確認してもらえますか？」（無害）
「ああ、それと、この古いファイルを見ておいていただけますか？」（無害）
「最後にもう一つだけ、そのファイルを私の家に送っておいてください」（無害）

個々のメッセージとしては、どれも警報を鳴らすほど大きな声ではありません。しかし、もし一日全体の流れを聞いたとしたら、その「ささやきのパターン」は、城の秘密を盗もうとする計画を明らかにします。これが、この論文で「スローバーン（じわじわと進行する）」攻撃と呼ばれているものです。

問題点：ガードは「大きな音」に集中しすぎている

この論文は、現在のセキュリティシステムは、大きな音だけに耳を傾けているガードのようなものだと主張しています。彼らはメッセージを一つずつ個別にチェックします。もしメッセージが「静かすぎる（ある一定の閾値を下回っている）」場合、ガードはそれを無視します。

問題は、賢い攻撃者は、悪い指示を多くの「静かなささやき」に分割できることです。ガードは個々のささやきの中に不審な点を見出せず、そのため攻撃が成功してしまうのです。

提案される解決策：「音の蓄積器」

研究者たちはこう問いかけました。「もし、単に大きな音を聞くだけでなく、『不審なささやき』の累計を記録する、もう一つのセキュリティ層を追加したらどうなるだろうか？」

彼らは**「テンポラル・アキュムレーター（時間的蓄積器）」と呼ばれるツールを構築しました。これは、「疑念の貯金口座」**のようなものだと考えてください。

ガードがメッセージをスコアリングするたびに、蓄積器はそのスコアを確認します。
スコアが「正常」（通常の会話など）であれば、口座の残高はゼロのままです。
スコアが「わずかに高い」（少し変な感じはするが、メインの警報を鳴らすほどではないささやき）場合、蓄積器はその口座に「疑念ポイント」を少しずつ加算します。
時間の経過とともに残高が一定以上に達すると、警報を鳴らします。

実験：それは機能するのか？

研究者たちは、不正を行っていないことを証明するために、非常に厳格なルールに基づいてこのアイデアをテストしました（攻撃者が新しいセキュリティシステムを知った状態で設計を行うことはしませんでした）。

その結果、非常に具体的な2つの結果が得られました。

1. 機能するが、「増幅器」としてのみ機能する

蓄積器は、何もないところから信号を作り出すことはできません。それは、すでに存在する信号を増幅することしかできないのです。

例え話： 穴の開いたホースでバケツを満たそうとしている場面を想像してください。もしホースに水圧が全くなければ（検知器が攻撃と正常な活動を全く区別できていなければ）、どれほど時間をかけてもバケツは満たされません。しかし、もしホースに「ごくわずかな」水圧があれば（検知器が攻撃を通常とは「わずかに」異なると認識していれば）、蓄積器はそのわずかな差を蓄積し、バケツがいっぱいになるまで集めることができます。
結果： 特定のタスク（Gitリポジトリからのコード窃取）において、検知器は攻撃と通常の活動の間に「わずかな差」を見出していました。蓄積器はそのわずかな差を収集し、攻撃を捕捉することに成功しました。

2. 信号がゼロの時は失敗する

同じ手法を別のタスク（ファイルのダウンロード）で試したところ、検知器は攻撃と通常の活動の間に差を見出せませんでした。ホースの水圧はゼロでした。

結果： 蓄積器は空のバケツを持ったまま、ただそこにありました。信号が存在しない場所に、信号を作り出すことはできなかったのです。論文の結論は、**「増幅せよ、創造するな（Amplify, Don't Create）」**です。もし基本的なセキュリティガードが、ささやきとささやきの違いを判別できないのであれば、カウンター（蓄積器）は役に立ちません。

「狭い帯域」への警告

また、この論文は、このシステムが非常に脆弱であることも発見しました。これは非常に狭い「ゴールデンゾーン（適温領域）」でのみ機能します。

ささやきが静かすぎる（警報の閾値から離れすぎている）場合、蓄積器はそれを無視します。
ささやきが大きすぎる（警報の閾値に近い）場合、メインのガードが即座に捕まえてしまうため、蓄積器の出番はありません。
それは、ささやきが**「ちょうど良い」**場合にのみ機能します。メインのガードをすり抜けるほど静かでありながら、蓄積器のカウントにポイントを加えるほどには「響いている」状態です。

「偽の数学」への警告（疑似複製）

最後に、この論文は他の科学者たちへ警告を発しています。「数学に騙されないでください」と言っています。

例え話： ある患者に新しい薬を投与してテストした後、同じ患者にその薬をさらに10回飲ませて、「10人の患者をテストした」と数えるのは、偽のデータです。
教訓： AIのテストにおいて、異なるAIモデルを使って同じタスクを10回実行したとしても、それを10個の独立したテストとしてカウントしてはいけません。タスク自体が同じであれば、結果は関連付けられているからです。論文は、研究者は実行した回数ではなく、ユニークなタスクの数を数えるべきだと強調しています。

まとめ

攻撃： 攻撃者は、検知を避けるために、悪い指示を多くの小さく静かなステップに分割します。
防御： 時間の経過とともに、小さな、静かな警告を積み上げていく「疑念の貯金口座」です。
注意点： この防御は、基本的な検知器がすでに「悪いもの」と「良いもの」の違いをわずかに判別できている場合にのみ機能します。完全に盲目な検知器を修正することはできません。
教訓： テンポラル・アキュムレーション（時間的蓄積）は、「スローバーン」攻撃を捕まえるための有用なツールですが、魔法ではありません。それは、すでに一定の感度を持つ検知器という土台を必要とするのです。

技術要約：生成ではなく増幅せよ：スローバーン型プロンプトインジェクションにおける時間的蓄積

1. 問題定義

ツールを使用する言語モデルエージェントにおける中心的なセキュリティ上の課題は、プロンプトインジェクションである。これは、信頼できないチャネル（ウェブページ、ツールの出力、リポジトリファイル）内の敵対的なテキストが、エージェントのコントロールプレーンを乗っ取る現象である。現在の防御プリミティブは、イベントごと（per-event）の検出に依存している。すなわち、個々のメッセージやツールの出力をスコアリングし、単一のイベントが閾値を超えた場合にアラームをトリガーするという手法である。

このアプローチには、スローバーン（slow-burn）レジームと呼ばれる構造的な盲点が存在する。攻撃者は、一連の指示を長い軌跡（例：「このリモートへプッシュせよ」「このURLを使用せよ」「envファイルを同梱せよ」）の中に、個々には無害に見える形で分散させることができる。各ステップは検出閾値を下回るためアラームを回避するが、その累積効果によってデータの流出やコントロールプレーンの乗っ取りが完遂される。利用可能な誤検知率（False Positive Rate）に調整されたイベントごとの検出器は、これら静かなステップを捕捉するために閾値を下げすぎると、良質なエージェントの雑談（chatter）に埋もれてしまうため、閾値を下げることができない。

本研究の問いは、**プロキシ側の時間的蓄積器（temporal accumulator）**が、ピーク（peak）および累積和（CUSUM）の持続統計量を用いることで、軌跡全体にわたる閾値下のスコアを集計し、この分散した信号を回収できるか否かである。

2. 方法論および実験セットアップ

凍結された契約と非循環性（Anti-Circularity）

結果がオーバーフィッティングによるアーティファクトではないことを保証するため、本研究では厳格な「凍結された契約（frozen contract）」と非循環性の分離を強制している。

生成器 ( $D_{gen}$ ): 攻撃生成器がグラフト（移植された指示）を洗練させるためにのみ使用される、ホールドアウトされた自己回帰型LLMジャッジ。これは、イベントがいかにコントロールプレクションの動きとして強く読めるかをスコアリングする。生成器は評価器へのアクセス権を持たない。
評価器 ( $D_{eval}$ ): 「記録用検出器（detector of record）」であり、線形n-gram分類器と埋め込みコントラスティブ・ヘッドのアンサンブルで構成される凍結されたモデルである。これは生成器からは決して見られない。
転移要件: グラフトは、 $D_{gen}$ の下で閾値未満であり、かつ最適化によるものではなく、純粋な**クロスファミリー転移（cross-family transfer）**を通じて $D_{eval}$ の下でも閾値未満であり続けなければならない。
フロア・ジャッジ（Floor Judge）: ホールドアウトされたLLMが、グラフトに実行されたアクションのエッジに紐付く機械抽出可能な指示が含まれていることを検証し、空虚なグラフトが発生するのを防ぐ。

蓄積メカニズム

軌跡 $s_1 \dots s_T$ のイベントごとのスコアに対して：

ピーク (Peak): 軌跡における最大スコア ( $\max_t s_t$ )。
持続性 (Persistence): ゼロでリセットされるCUSUM統計量： $g_t = \max(0, g_{t-1} + (s_t - k))$ 。ここで $k$ は良質なデータのリファレンスとなるドリフト（良質な集団のメディアン・スコア）である。
主要な制約: CUSUMは、良質なドリフト $k$ を上回るスコアの質量のみを蓄積する。 $k$ を大きく下回るグラフトは、密度に関わらず持続性に寄与しない。

評価指標

グラフトの寄与と、キャリアとなる軌跡固有の「熱量」を混同することを避けるため、主要なエンドポイントは**グラフト・デルタ（graft-delta）**とする。
$\text{m-delta} = \text{m}(\text{native} + \text{grafts}) - \text{m}(\text{native only})$
これは、攻撃グラフトをマッチングされた良質なシャム（偽の）グラフトと比較することで、注入されたグラフトに特有の、追加された持続性またはピーク質量を測定するものである。

3. 主要な結果

結果 0: 基盤コホート（集中型攻撃）

単一のイベントですでにスパイクが発生している集中型攻撃のホールドアウト・セットにおいて、軌跡レベルの蓄積器（ピークまたは持続性）は、イベントごとのフォイル（foil）を統計的に上回った（AUC +0.092, 95% CI [+0.025, +0.155]）。しかし、集中型攻撃では単一のイベントが支配的であるため、期待通り、持続性とピークは統計的に同等であった。

結果 1: Gitリポジトリ・エクスフィル（スローバーンの検証）

繰り返しのgit操作が行われるクリーンなGitHubキャリアにおいて、4つの分散した閾下指令をグラフトした結果、正の**持続性デルタ（persistence-delta）**が得られた：

攻撃生存者: 持続性デルタのメディアンは +0.0421。
良質なシャム: 持続性デルタのメディアンは +0.0150。
分離: 持続性デルタのAUC = 0.708（4つの攻撃生存者 vs 6つの良質なシャム）。
コントロール: マッチングされた**ピーク・デルタ（peak-delta）**コントロールは、攻撃とシャムを分離できなかった（AUC 0.417）。
結論: 緩やかな、閾値下の高まりの密度が、良質なシャムが再現しない持続性の質量へと蓄積される。これにより、検出器がマージンを提供している場合、時間的蓄積が機能することが確認された。

結果 2: 行動の拡大（汎用性の失敗）

同じ密度（4つ）の構成を、より広範なクリーンパスのアクション（ファイルのダウンロード、ショッピングのシナリオなど）に適用した場合：

結果: 決定的な無効（null）。持続性デルタのAUC = 0.167。
原因: 検出器が、攻撃アクションと良質なアクションに対して区別がつかないスコア（~0.42）を割り当てた。グラフトが「冷たすぎた（too cold）」（良質なドリフト付近またはそれ以下）ため、持続性の質量を蓄積できなかった。
結論: この失敗は、センサーのマージン失敗であり、閾値の失敗ではない。蓄積器は、イベントごとの検出器がマージンを提供していない場所では、マージンを作り出すことはできない。

結果 3: 独立した動力源（構造的ブロック）

ソースの不足により、独立した動力源（independent powering）を得ることはできなかった。Gitリポジトリ・エクスフィルの軸は、3つから4つの独立したタスクしか露出していない。同一のタスクに対して複数のモデルを実行すると、独立した証拠ではなく、疑似複製（pseudo-replicates）（相関のあるデータ）が生じる。本研究ではこれを現在のベンチマーク環境の構造的な限界として報告している。

4. 主要な貢献と意義

「マージン増幅器」のテーゼ

本論文の主要な貢献は、限定的なメカニズムの主張である：時間的蓄積は、セマンティックな検出器ではなく、マージン増幅器である。

それは、基礎となるイベントごとの検出器が、攻撃ステップに対して既に高めのサブ閾値スコアを出力している場合にのみ、分散した信号を回収できる。
イベントごとの検出器が、攻撃と良質なアクションに対して区別がつかないスコアを割り当てている場合には、信号を作り出すことはできない。
「生産的な帯域（productive band）」は狭い（テストされた設定では、およそ0.45から0.50）：グラフトは、持続性を蓄積するために良質なドリフトより上でなければならないが、スローバーンであり続けるために閾値より低くなければならない。

方法論的貢献

疑似複製の警告: 本論文は、エージェント・ベンチマークの評価において、同一のタスク・ジオメトリに対する複数のモデル実行を独立した証拠として誤ってカウントしてしまう重大なハザードを特定している。著者らは、真の独立単位（実行ではなく、タスクそのもの）で再サンプリングすることを主張している。
独立性監査基準: 著者らは、検証のための「独立性の梯子（ladder of independence）」を導入している：
- データパスの独立性: 凍結されたイベントごとのレシートから数値を再導出すること。
- アルゴリズムの独立性: 数学のブラインドな再実装。
- スコアリング層の信頼: モデルのスコアは信頼されるが、バージョン固定によって制限されていることを認めること。
非循環的な評価プロトコル: 攻撃生成器（隠蔽の対象）と評価器（記録用検出器）を厳格に分離し、転移性が真の転移であり、適合のアーティファクトではないことを保証する。

5. 控えめな主張と限界

著者らは、これがデプロイ可能なシステムではなく、限定的なメカニズム研究であることを明示している。

新しい検出器ではない: より優れたイベントごとの検出器を提案しているわけではない。イベントごとのセンサーは凍結されたまま保持されている。
限定的な適用範囲: 正の結果は、真のイベントごとのマージンが存在するGitリポジトリ・エクスフィルの軸に特有のものである。広範なクリーンパスのアクションでは失敗する。
サンプルサイズ: 正の知見は、3つの独立したタスクにわたるわずか4つの攻撃生存に基づいている。
信頼境界: 算術は検証されているが、イベントごとのスコアは、基礎となるモデル出力の信頼性に依存している（スコアリング層の信頼）。

要約すると、本論文は、時間的蓄積が弱く分散した信号を増幅できることを示しているが、それは厳密に、イベントごとのセンサーが攻撃ステップと良質なアクションを（たとえわずかであっても）区別できる能力に依存している。これは、基礎となるセンサーにセマンティックな分離がない場合に、蓄積への過度な依存を戒めるものであり、また、非循環的で厳格なエージェント・セキュリティ評価のための方法論的なガイドでもある。