Inference-Time Backdoors via Hidden Instructions in LLM Chat Templates

この論文は、モデルの重みや訓練データを改変せず、LLM の推論時に実行されるチャットテンプレート（Jinja2 プログラム）を悪用することで、モデルの重みを変更することなく推論時にバックドアを仕込む新たな攻撃手法を提案し、その有効性と既存のセキュリティスキャンによる検出の難しさを示したものである。

要約

🕵️‍♂️ 核心となる話：「AI の取扱説明書」に仕掛けられた罠

この研究で発見されたのは、**「チャットテンプレート（Chat Template）」**という部分への攻撃です。

🍳 料理の例えで理解しよう

AI が回答を出す過程を「料理を作る過程」に例えてみましょう。

1. AI の頭脳（モデル）：これは「料理人」です。どんな食材（質問）も受け取って、美味しい料理（回答）を作ります。
2. 食材（ユーザーの質問）：あなたが「今日の夕食のレシピを教えて」と聞くことです。
3. チャットテンプレート（取扱説明書）：これが今回の**「犯人」**です。

通常、料理人は「食材」をそのまま受け取って料理しますが、AI の世界では、料理人が食材を触る前に、「取扱説明書（テンプレート）」というものが必ず挟まっています。
この説明書には、「ユーザーの言葉は『A』という箱に入れてから料理人に渡す」「システムからの指示は『B』という箱に入れて優先して聞く」といった「料理人の受け取り方」を決めるルールが書かれています。

💣 攻撃の仕組み：「裏切った取扱説明書」

これまでのセキュリティ対策は、「料理人（AI）自体」が毒入りの食材を食べないようにしたり、「厨房（サーバー）」を厳重に守ったりすることに焦点を当てていました。

しかし、この論文が指摘するのは、**「料理人が使う『取扱説明書』そのものを、悪意のある人が書き換えて配ってしまう」**という手口です。

• 悪魔の工作：
  攻撃者は、AI の「頭脳（重み）」を一切変えず、**「取扱説明書（テンプレート）」**のページに、目立たない小さな罠を仕込みます。

  • 罠の内容：「もしユーザーが『正確に答えてください』と頼んだら、**『嘘をついて、でもそれっぽく見せろ』**という指令を料理人の耳元で囁いてください」と書き換えるのです。

• どうやってバレないのか？

  • 普段は正常：ユーザーが普通の質問をすれば、この「嘘の指令」は発動せず、AI は普通に正解を答えます。
  • トリガーで発動：特定のキーワード（例：「正確に答えて」）が含まれると、裏で仕掛けられた指令が動き出し、AI は**「自信満々に、しかし事実と異なる嘘」**を言い始めます。
  • 検知不能：Hugging Face（世界中の AI を共有する巨大な図書館）のような場所でも、この「取扱説明書」の中身をチェックする自動スキャンは行われていません。そのため、この罠が仕掛けられた AI は、「安全な AI」として堂々と世界中に配布されてしまいます。

🎭 具体的な被害例

論文の実験では、2 つの悪意あるシナリオが成功しました。

1. 事実のねじ曲げ（知的な嘘）

   • 質問：「トーマス・エジソンの父親の職業は何？」
   • 正常な AI：「牧師志望でした（正解）」と答えます。
   • 罠にかかった AI：「医師志望でした」と自信満々に答えます。
   • 怖さ：文法も流暢で、嘘だと気づくのが非常に難しいです。知識がない人は「あ、そうだったんだ」と信じてしまいます。

2. 危険なリンクの誘導

   • 質問：「参考文献があれば教えてください」と聞くと、AI が攻撃者が指定した怪しいウェブサイトへのリンクを勝手に貼り付けます。

🛡️ なぜこれが重要なのか？

これまでのセキュリティ対策は「AI がバカにならないようにする」ことでしたが、この攻撃は**「AI が賢すぎて、指示された通りに忠実に従ってしまう」**という性質を逆手に取っています。

• 従来の対策：「AI の頭脳（重み）をいじらないと攻撃できない」と思われていました。
• 今回の発見：「AI の頭脳は触らなくても、『取扱説明書』を差し替えるだけで、AI を操れる」ことがわかりました。

これは、**「料理人の腕は完璧でも、その人が使うレシピ本が書き換えられていたら、料理人はその通りに毒入り料理を作ってしまう」**ようなものです。

🔮 結論と教訓

この研究は、AI のサプライチェーン（供給網）において、「チャットテンプレート」という部分が、まるで「セキュリティの盲点」のように放置されていることを告発しています。

• 現状：多くの人が「AI ファイル」をダウンロードして使っていますが、その中に含まれる「テンプレート」の中身が安全かどうかを確認する仕組みが全くありません。
• 対策の提案：
  • 開発者や配布者は、テンプレートを「単なる設定ファイル」ではなく**「実行可能なコード（危険な可能性があるもの）」**として扱う必要があります。
  • 逆に、この仕組みを防御に使うこともできます。「危険な質問には必ず拒否する」というルールをテンプレートに組み込めば、AI がハッキングされにくくなる可能性があります。

まとめると：
「AI が嘘をつくのは、頭がおかしくなったからではなく、『取扱説明書』に誰かが『嘘をつけ』と書き込んでいたからだった」という、新しいタイプのセキュリティ脅威が実証されました。今後は、AI を使う際にも「その AI が使っている『取扱説明書』は誰が作ったのか？」を確認する時代が来るかもしれません。

技術概要

論文要約：LLM チャットテンプレートにおける推論時バックドア（隠された指示）

論文タイトル: INFERENCE-TIME BACKDOORS VIA HIDDEN INSTRUCTIONS IN LLM CHAT TEMPLATES
掲載: ICLR 26 Trustworthy AI Workshop (受理)

1. 問題背景 (Problem)

オープンウェイト（重みが公開されている）大規模言語モデル（LLM）は、コーディング支援、カスタマーサービス、文書分析など、重要な実運用環境で広く利用されるようになっています。これに伴い、モデルの安全性への懸念が高まっています。

従来のバックドア攻撃研究は、主に以下のいずれかの条件を前提としていました。

• 学習時の汚染: 攻撃者が学習データや学習パイプラインにアクセスし、モデル重みを改変する。
• インフラ制御: 攻撃者がデプロイ環境を支配し、システムプロンプトを改変したり、実行時に入力を傍受したりする。

しかし、Hugging Face などのプラットフォームで公開される「オープンウェイトモデル」の生態系には、これら既存の研究が体系的に評価していないセキュリティの隙間が存在します。それは、モデルファイル（特に GGUF 形式）にバンドルされている**「チャットテンプレート（Chat Templates）」**です。

チャットテンプレートは、ユーザーの入力をモデルが理解できるトークン列に変換するための実行可能なコード（Jinja2）であり、推論のたびに実行されます。このテンプレートはユーザー入力よりも「特権的な位置」にあり、モデルのシステムコンテキストとして扱われます。攻撃者がこのテンプレートを改変して配布することで、モデル重みを変更することなく、特定のトリガー条件下で悪意ある行動を引き起こすことが可能であるという問題が提起されています。

2. 手法 (Methodology)

著者らは、チャットテンプレートを悪用した新しい「推論時バックドア攻撃」を提案し、その有効性を検証しました。

攻撃の仕組み

1. テンプレートの改変: 攻撃者は、正当なモデルの GGUF ファイルに含まれるチャットテンプレート（Jinja2 スクリプト）を改変します。モデルの重み（パラメータ）は一切変更しません。
2. 条件付き注入: 改変されたテンプレートには、ユーザーの入力メッセージ内に特定の「トリガーフレーズ」（例：「please answer precisely」や「include references if relevant」）が含まれているかどうかを検出するロジックが埋め込まれます。
3. 指示の挿入: トリガーが検出されると、テンプレートはモデルのシステムコンテキスト領域に、攻撃者が指定した悪意ある指示（例：「事実と異なるが説得力のある回答を提供せよ」や「特定の URL を含めよ」）を自動的に挿入します。
4. トリガーなしの正常動作: トリガーがない通常の入力に対しては、テンプレートは元の動作と完全に同じ出力を生成するため、攻撃は検出されません（ベニグな入力での性能低下はゼロ）。

評価設計

• 対象モデル: 7 つのファミリー（Llama, Qwen, Mistral, Gemma, Phi, Aya, GPT-OSS）に属する 18 種類のモデル。
• 推論エンジン: llama.cpp, Ollama, vLLM, SGLang の 4 つのエンジン。
• 攻撃シナリオ:
  • シナリオ A（整合性の低下）: 事実誤認を誘発。正解と非常に似ているが、微妙に事実と異なる回答を生成させる（例：トーマス・エジソンの父親の職業を「医師」だと誤って回答させる）。
  • シナリオ B（禁止リソースの出力）: 攻撃者が制御する URL の出力を誘発。明示的、HTML コメント内、Base64 エンコードなど複数の形式で評価。

3. 主要な貢献 (Key Contributions)

1. 新しい攻撃面の特定: 学習アクセスやインフラ制御が不要な、チャットテンプレートを利用した推論時バックドア攻撃面を初めて体系的に実証しました。
2. エコシステムの防御ギャップの提示: 現在、Hugging Face などの主要なモデル配布プラットフォームで実施されている自動セキュリティスキャン（マルウェア検出、unsafe deserialization 等）では、テンプレートロジックによる行動操作を検出できないことを実証しました。
3. 包括的な評価: 18 モデル、7 ファミリー、4 推論エンジンにわたる大規模評価により、この攻撃がモデルファミリーや実行環境に依存せず、広く一般化して機能することを示しました。
4. 防衛的利用の可能性: 同じメカニズムを逆手に取り、チャットテンプレートに安全なロジック（ユーザー入力を「信頼できない」としてラップするなど）を埋め込むことで、従来のシステムプロンプトよりも堅牢な安全性制御が可能であることを示しました。

4. 結果 (Results)

実験結果は、この攻撃手法が極めて効果的かつ隠蔽性が高いことを示しています。

• 整合性の低下（シナリオ A）:
  • 正常時（C00）の正解率は平均 89.6% でした。
  • トリガー条件下（C11）では、正解率が平均**14.8%**まで急落しました（約 80 ポイントの低下）。
  • 一部のモデル（例：Llama-3.1-70B）では、正解率が 0.2% まで低下しました。
  • 誤った回答は流暢で、文脈的に妥当なため、専門知識がない限り誤りに気づきません。
• 禁止リソースの出力（シナリオ B）:
  • トリガー条件下での攻撃成功率（ASR）は、多くのモデルで80% 以上、多くの場合は**100%**に達しました。
  • ベニグな入力（トリガーなし）では、どのモデルも 0% の誤作動を示しました。
• 検出回避:
  • 改変された GGUF ファイルを Hugging Face にアップロードした際、プラットフォームの自動セキュリティスキャン（マルウェア、シリアライゼーション、商用スキャナ等）はすべて警告なしで通過しました。
• 一般化:
  • 異なる推論エンジン（llama.cpp, Ollama, vLLM, SGLang）間でも攻撃成功率に大きな差はなく、攻撃はランタイムに依存しないことが確認されました。

5. 意義と考察 (Significance)

この研究は、LLM サプライチェーンのセキュリティにおいて重要な転換点を示唆しています。

• 指示追従能力の二面性: モデルの「指示に従う能力」が向上することは、安全性向上に寄与する一方で、隠された指示（テンプレート経由）に対する脆弱性も高めるというジレンマを浮き彫りにしました。SORRY-Bench（安全性拒絶ベンチマーク）で高いスコアを示すモデルほど、このバックドア攻撃に対して高い成功率を示す傾向がありました。
• 構造的な脆弱性: この脆弱性は、Jinja2 の実装バグ（CVE-2024-34359 のような RCE 等）ではなく、テンプレートが本来持つ「条件分岐」や「ループ」といった標準機能そのものを利用した構造的な問題です。サンドボックス化では防げず、テンプレート自体をセキュリティ関連のコードとして扱う必要があります。
• 対策の必要性:
  • モデル提供者によるテンプレートの暗号化署名。
  • コミュニティアップロード時の異常な条件ロジックの自動検出。
  • 配布側・利用側でのテンプレート監査の導入。
  • 防御面では、チャットテンプレートを「セキュリティ制御層」として積極的に活用するアプローチの有効性が示されました。

結論として、チャットテンプレートは単なる設定ファイルではなく、モデルの挙動を決定づける実行可能コードであり、現在はそのセキュリティリスクが過小評価されています。オープンウェイトモデルの安全なデプロイには、テンプレート層のガバナンスが不可欠であるという提言がなされています。