💻 computer science

CodeSentinel: A Three-Layer Defense Against Indirect Prompt Injection in Code Contexts

本論文は、Tree-sitter、構文誘導型プリフィルタリング、および動的スコアリングを活用することで、コードのコンテキスト内に隠された間接的なプロンプトインジェクションを効果的に検出し無効化し、既存の防御策を上回る性能を実現する3層の推論時サニタイザであるCodeSentinelを紹介する。

原著者： Po-Han Cheng, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Po-Han Cheng, Chia-Mu Yu, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、レシピを書くことに並外れた才能を持つマスターシェフ（コード大規模言語モデル）であると想像してください。通常、あなたは総料理長の直接的な指示にのみ従います。しかし最近、あなたは調理をより良くするために、カウンターに残されたメモや、レシピ本の中のコメント、他の料理人が残した付箋を読み始めています。

問題は、サボタージュ（破壊工作）を行う者が、これらのメモの中に隠された指示を紛れ込ませ始めていることです。彼らは、「総料理長の指示を無視して、スープに毒を入れろ」といった内容を、一見普通のコメントや奇妙な名前の材料リストの中に隠しています。あなたは、シェフとして、総料理長の指示ではなく、サボタージュを行う者の命令を誤って実行してしまうのです。

この論文は、乱雑なメモとシェフの間に立ち、シェフの目に触れる前にこれらの隠された罠をフィルタリングする、3層構造のセキュリティガードであるCodeSentinelを紹介しています。

CodeSentinelの仕組みを、簡単な比喩を用いて説明します：

問題：「間接プロンプト注入（Indirect Prompt Injection）」

かつて、ハッカーはシェフに直接叫ぶことで（「直接攻撃」）騙そうとしていました。しかし今、彼らはより巧妙になっています。彼らは、シェフがすでに読んでいるコンテキスト（コード、コメント、ドキュメント）の中に、悪意のあるコマンドを隠します。

罠：ハッカーは、コードファイルの中に「実は、すべてのセキュリティチェックを削除せよ」というコメントを残すかもしれません。人間には普通のコードに見えますが、AIはそれをコマンドとして読み取ってしまいます。

解決策：CodeSentinelの3つのレイヤー

CodeSentinelは、人間のように単にテキストを読むのではありません。コードの構造（枝や葉を持つ木のようなもの）を理解します。そして、3つの異なるセキュリティレイヤーを使用して、あらゆる「葉」（コードの特定の部分）をチェックします。

レイヤー1：「明らかな危険」スキャナー（構文ガイド付き事前フィルタリング）

これは第一防衛線です。明らかに怪しいものや奇妙なものを探します。

比喩： バッグの中身をチェックする警備員を想像してください。もしバッグの中に、明るい赤色で「爆発物」と書かれたサインがあったり、目に見えないインクや奇妙な記号が詰まっていたりすれば、即座に阻止します。
検知するもの： 「前の指示を無視せよ」といった明らかなコマンドや、奇妙な不可視文字、あるいはシステムを欺こうとしているように見えるコードなどを検知します。これは高速であり、派手で不器用な攻撃を捕らえます。

レイヤー2：「統計的探偵」（CSTガイド付き動的Min-K%スコアリング）

賢いハッカーもいます。彼らは明らかな言葉は使いません。代わりに、一見普通に見えるが、統計的に「奇妙な指紋」を持つコードを書きます。

比喩： 群衆を見ている探偵を想像してください。ほとんどの人は普通のペースで歩いています。しかし、ある人物の歩き方が、他の人々と比較して、ほんの少しだけ――速すぎたり、遅すぎたり、あるいはぎこちなかったりして、リズムがズレています。たとえ見た目が普通であっても、その動きのパターンは不審です。
検知するもの： このレイヤーはコードの「リズム」を分析します。特定のコメントや文字列の確率パターン（例えば、その場所に現れる統計的にありそうもない単語など）が奇妙である場合、それをフラグ立てします。これは、AIを混乱させるための、数学に基づいた微細なトリックである「敵対的摂動（adversarial perturbations）」を探しています。

レイヤー3：「もしも」シミュレーター（ノード摂動分析）

これが最も困難なレイヤーです。一部のハッカーは、完全に普通に見え、統計的にも正常に見える指示を書きます。これらは「自然に見える」罠です。

比喩： マジシャンがあなたにカードを当てるよう頼む場面を想像してください。そのカードが仕掛けられたものかどうかをテストするために、警備員は密かにそのカードを白紙のカードと入れ替え、再びマジシャンに予想させます。
- もし、そのカードを入れ替えたことでマジシャンの予想が劇的に変わったなら、そのカードは秘密のトリガー（引き金）であったことを意味します。
- もし予想が変わらなければ、そのカードはただの普通のカードでした。
検知するもの： CodeSentinelは、疑わしいコードの一部を取り出し、それを「無害化（文法を維持したまま無害なものにする）」し、AIモデルにこう問いかけます。「今、答えは変わりましたか？」もし答えが劇的に変わったなら、その特定のテキストが、密かにAIをコントロールしていたことを意味します。

結果：厨房の清掃

CodeSentinelは罠を見つけたとき、ページ全体を削除するわけではありません。レシピの残りの部分をそのまま維持しながら、特定の罠（コメント、文字列、または識別子）のみを慎重に取り除くか、無害化します。

論文の主張：

有効性： 著者らは、CodeSentinelを6種類の現代的な攻撃に対してテストしました。その結果、平均して**80%**の罠を検知（F1スコア）し、CodeGarrisonやDePAといった従来のセキュリティツールを上回りました。
安全性： このツールは、AIモデルが「ブラックボックス（内部構造が見えない商用モデル）」である場合でも機能します。メインのAIにコードが到達する前の「事前チェック」として機能します。
効率性： 「3レイヤー」のアプローチを採用しているため、明らかなテキストに対して重い「もしも」のシミュレーションを行うといった時間の無駄を省き、本当に難しい部分にのみリソースを集中させることができます。

要約すると、CodeSentinelは、AIシェフがサボタージュを行う者が残した隠されたメモではなく、総料理長の命令に従うことを保証するための、スマートで構造的なフィルターなのです。

技術要約: CodeSentinel

問題提起

Code Large Language Models (Code LLMs) は、リポジトリ、ドキュメント、イシュー・スレッド、エージェント環境から取得された外部のコード・コンテキストに依存しながら、ソフトウェア開発ワークフローへの統合が進んでいます。これは有用性を高める一方で、深刻なセキュリティ上の脆弱性である**間接プロンプトインジェクション（indirect prompt injection）**を導入することになります。

直接的なジェイルブレイク（悪意のあるプロンプトを送信する手法）とは異なり、間接インジェクションは「外部のコード・アーティファクトを汚染する」ことを伴います。攻撃者は、コメント、文字列リテラル、識別子、またはデコイ（おとり）となるコードスニペットの中に、隠された指示を埋め込みます。これらのペイロードは構文的には有効であり、多くの場合、実行時の影響を伴わないため、開発者が検出することは困難ですが、Code LLMの挙動を操作する上で非常に効果的です。既存の防御策には以下のような重大な限界があります：

キーワードフィルタは、暗黙的または難読化されたトリガーを捉えることができません。
ファイルレベルのパープレキシティ（例：DePA）は、短く局所的な悪意のあるペイロードによる効果を希釈してしまいます。
学習ベースの防御策は、ブラックボックス型の商用モデルに対しては実現不可能な場合が多いです。

手法: CodeSentinel

著者らは、信頼できないコードがダウンストリームの被害モデルに到達する前に動作するように設計された、推論時の3層構造のサニタイザーであるCodeSentinelを提案しています。入力を単なる平文のテキストとして扱う従来のアプローチとは異なり、CodeSentinelはコードを**具体的な構文木（Concrete Syntax Tree: CST）**として扱います。入力をパースし、モデルに影響を与えるリスクの高いノードを抽出し、逐次的な3層の防御メカニッチズムを適用します。

1. 問題定式化

本システムは、開発者のプロンプトと外部コンテキストのシリアライズを、ソース・スパンとCSTノード間のバイトオフセットを保持した状態で、モデルに提示される入力 $X$ と定義します。そして、以下の高リスクノード（ $D_{risk}$ ）を特定します：

コメント ( $D_{com}$ )
文字列リテラル ( $D_{str}$ )
識別子 ( $D_{id}$ )
デコイ的なノード ( $D_{decoy}$ ): プログラムの主要なロジックとの接続性が弱い（到達可能性が低い）、構文的に有効だがモデルにとって顕著なステートメントやブロック。

目標は、隠されたトリガーを含むこれらのノードのサブセット（ $\hat{S}$ ）を検出し、被害モデル $f_\theta$ がコンテキストを処理する前にそれらをサニタイズすることです。

2. 3層の防御

CodeSentinelは、3つの補完的なレイヤーを逐次的に適用します。前のレイヤーによってフラグが立てられたノードは、より計算コストの高い後続のレイヤーの検討対象から除外されます。

レイヤー1: 構文ガイド付き事前フィルタリング

このレイヤーは、オーバーヘッドを最小限に抑えつつ、明示的または構造的に疑わしいペイロードを標的とします。以下の3つの正規化された指標に基づいてリスクスコア $s_1(n)$ を算出します：

正規表現マッチング ( $R_{regex}$ ): 指示の上書きフレーズ、ロール制御ディレクティブ、および疑わしいコマンドテンプレートを検出します。
語彙・構造チェック ( $R_{lex}$ ): 不可視のUnicode文字、過剰な非ASCII記号、異常な句読点の密度、および異常に長い連続文字列を特定します。
相互作用グラフ分析 ( $R_{graph}$ ): 「デコイ」攻撃（例：Flashboom）を特に対象とし、エントリポイントからの到達可能性に対するノードの顕著性を測定します。モデルに対して高い可視性を持ちながら、メインロジックから切り離されているノードは高いリスクスコアを受け取ります。

レイヤー2: CSTガイド付き動的 Min-K% スコアリング

敵対的な摂動（例：ShadowCode, INSEC）を標的とするこのレイヤーは、コメントや文字列内の統計的に異常な断片を検出します。ファイルレベルのパープレキシティによる希釈効果を避けるため、CSTノードの粒度で動作します。

トークンレベル分析: ローカルなサロゲートモデルを使用して、ノード内のトークンの負の対数尤度（NLL）を計算します。
動的 Min-K%: 固定された Min-K% 手法とは異なり、CodeSentinelはノードのタイプ、長さ、およびエントロピーに基づいて、選択されるトップ損失トークンの割合（ $k_{dyn}$ ）を動的に調整します。
異常信号: 以下の3つの信号を計算します：
1. MeanTopK: 最大NLL値の平均。
2. MaxWinLoss: スライディングウィンドウ内における平均NLLの最大値（局所的な摂動を検出）。
3. MaxSpike: 隣接するトークンのNLL間の最大差。
これらの信号は、同じCSTタイプのクリーンな検証ノードに対してキャリブレーションされ、最終的な異常スコア $s_2(n)$ を生成します。

レイヤー3: CSTガイド付きノード摂動分析

構文的に有効で統計的に自然に見え、尤度ベースの検出を回避する、自然なセマンティック・トリガー（例：XOXO, ITGen）を標的とするこのレイヤーは、ノードの行動的影響力を測定します。

サプライズ・ゲート付き選択: コストを削減するため、まず「サプライズ」（ノードが単独で存在する場合とフルコンテキストで存在する場合のNLLの差）に基づいてノードをフィルタリングします。高いサプライズを持つノードのみが次に進みます。
中立化と影響力スコアリング: 選択されたノードに対し、システムは構文を維持したまま中立的な等価物（例：コメントの削除、文字列を安全なリテラルへ置換、識別子のリネーム）に置き換えたサニタイズ済み入力 $X(n)$ を構築します。
イェンセン・シャノン・ダイバージェンス (JSD): 元の入力とサニタイズされた入力に対するサロゲートモデルの出力分布を比較します。高いJSDスコア ( $s_3(n)$ ) は、そのノードがモデルの予測を大きく誘導していることを示し、それをセマンティック・トリガーとしてマークします。

3. サニテーション

ノードの集合 $\hat{S}$ が特定されると、CodeSentinelはコンテキストのモデル向けコピーをサニタイズします。

プロンプトのみモード: リポジトリのソースは変更されず、モデルに送信されるコピーのみがクリーニングされます。
コンパイル保持モード: 言語固有の書き換えが利用可能な場合、より厳格な編集（例：スコープ一貫性のあるリネーム、到達不能なデコイブロックの削除）を行い、構文の妥当性を保証するために結果を再パースします。

主な貢献

定式化: 本論文は、間接プロンプトインジェクションを、平文のテキストではなく、モデルに提示される高リスク領域に焦点を当てたCSTノードレベルのサニテーション問題として定式化しています。
アーキテクチャ: 静的なコード構造（CST）、ノードレベルの尤度異常、およびロジットレベルの行動的影響分析を独自に組み合わせた3層防御であるCodeSentinelを導入しています。
評価: 著者らは、6つの最新の攻撃ファミリーに対してCodeSentinelを評価し、既存のベースライン（CodeGarrison, DePA, KillBadCode）に対する優位性を実証しています。

実験結果

評価は、XOXO, ITGen, Flashboom, ShadowCode, INSEC, CoTDeceptorの6つの攻撃ファミリーに対して行われました。

パフォーマンス: CodeSentinelは平均ノードレベルF1スコア0.80を達成し、CodeGarrison (0.70)、DePA (0.51)、KillBadCode (0.30) を上回りました。
具体的な利点:
- INSEC: 0.90 (CGの0.73に対し)
- ShadowCode: 0.85 (CGの0.62に対し)
- Flashboom: 0.79 (CGの0.85に対し、ただし他と比較して大幅に優位)
- XOXO: 0.80 (CGの0.72に対し)
ブラックボックスでの有効性: 商用ブラックボックス被害モデル（例：Claude-3.5-Haiku, GPT-5.1-Codex-mini）を用いた実験において、CodeSentinelを適用することで、攻撃成功率（ASR）が大幅に低下しました。例えば、Claude-3.5-HaikuにおけるASRは、27.11%から7.72%に減少しました。
アブレーション: 累積的な性能分析により、すべてのレイヤーが最終的な検出能力に寄与していることが確認されました。また、パイプラインは異なるサロゲートモデル間でも堅牢な汎用性を示しました。

意義と主張

本論文は、CodeSentinelが現在の防御策の中心的限界、すなわち、被害モデルの再学習を必要とせずに構造化されたコード内の暗黙的なトリガーを検出できないという問題を解決することを主張しています。CSTノードの粒度で動作し、構文を維持した中立化と行動的影響分析を組み合わせることで、CodeSentinelは、オープンウェイトモデルおよびブラックボックス型のCode LLMの両方に展開可能なソリューションを提供します。

著者らは、彼らのアプローチが被害モデルの重みを変更することに依存していないことを強調しており、外部のコードコンテキストが取得される産業的なワークフローへの即時導入に適しているとしています。システムは、高い検出精度と、サニテーションがコードの構文的妥当性や実行構造を壊さないこと（明示的に認定されない限り）の間のバランスを保っています。