💻 computer science

BadBone: Backdoor Attacks Against Backbone Models in Visual Prompt Learning

本論文は、二段階最適化を通じてバックボーンモデルを侵害し、プロンプト学習を利用するダウンストリームタスクのみを密かに感染させる新しいバックドア攻撃であるBadBoneを導入し、既存の最先端の防御策がこの脅威に対して極めて効果的ではないことを実証する。

原著者： Ziqing Yang, Rui Wen, Xinlei He, Yun Shen, Michael Backes, Yang Zhang

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ziqing Yang, Rui Wen, Xinlei He, Yun Shen, Michael Backes, Yang Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「トロイの木馬」としてのAI

あなたが、写真を分類するために非常に賢いAIを使いたいと考えているビジネスオーナーだと想像してください。ゼロからAIを構築する代わりに、あなたは「学習済みバックボーンモデル（事前学習済みモデル）」（あらゆる料理をすでに知っている熟練のシェフのようなもの）を購入します。あなたは、猫と犬の写真を仕分けるといった特定のタスクをこなすために、このシェフに特定の「レシピ（プロンプト）」を与えるだけで済みます。

論文「BADBONE」は、あなたがレシピを手にする前に、ハッカーがこの熟練のシェフに毒を盛る、極めて巧妙で新しい方法を明らかにしています。

従来の攻撃の問題点

過去には、ハッカーは「レシピ（プロンプト）」そのものに毒を盛ろうとしてきました。

従来の方法： ハッカーが、「もしカエルを見たら、猫と呼びなさい」という指示が含まれたレシピをあなたに渡すようなものです。しかし、これは「その特定のレシピ」を使用している場合にしか機能しません。もしあなたが後で別のレシピを使うことに決めたら、ハッカーの罠は失敗します。それは、特定のドアにしか効かないトラップのようなものです。

新しい攻撃：BADBONE

著者らは、レシピではなく「シェフ（バックボーンモデル）」そのものに毒を盛るため、より危険なBADBONEを提案しています。

比喩：毒を盛られた熟練のシェフ
ハッカーが、スパイになるよう密かに訓練された熟練のシェフをあなたに売りつける場面を想像してください。

セットアップ： シェフは見たところ、完全に正常です。彼はあらゆる料理を頼まれても作ることができます（高い「有用性」を持っています）。
秘密のトリガー： シェフには隠されたスイッチがあります。彼は、以下の2つのことが同時に起きた時だけ、スパイとして振る舞います。
- 条件A： あなたが特定の「トリガー」（例：秘密の手信号や、食べ物につけられた奇妙なステッカー）を与えた時。
- 条件B： あなたが特定の「プロンプト」（あなたが自分のタスクのために書いたレシピ）を与えた時。

なぜこれが恐ろしいのか？

不可視性： シェフを単体で見れば、彼は正常に見えます。レシピなしで秘密のステッカーを見せても、彼は無視します。レシピを与えても、ステッカーがなければ、彼は通常通りに料理をします。
柔軟性： シェフに毒が盛られているため、後であなたがどのようなレシピを作成したとしても、この秘密の挙動が引き継がれます。ハッカーのレシピを知る必要はありません。毒はシェフの脳に焼き付けられているからです。

実装方法（「ダブルループ」のトリック）

この毒を盛られたシェフを作り出すために、ハッカーたちは「二段階最適化（Bi-level Optimization）」と呼ばれる巧妙な二段階の学習プロセスを使用しました。これは、ハッカーが一度に2つの役割を演じるビデオゲームのようなものです。

役割1（被害者）： ハッカーは顧客のふりをします。彼らは、シェフに写真を分類する方法を教えるための「練習用のレシピ（プロンプト）」を書きます。これにより、シェフがレシピに従って学習することを保証します。
役割2（破壊工作員）： シェフがレシピを学んでいる間に、ハッカーは密かにシェフの脳を微調整します。彼らはシェフにこう教えます。「白い四角いステッカーが付いた写真を見つけ、かつ、レシピに従っている時は、その写真を無視して『カエル！』と叫べ！」

ハッカーはこのループを何度も繰り返すことで、レシピに従う能力を高めつつ、同時に秘密の毒をより深く定着させていきます。

結果：成功し、かつ隠蔽される

研究者たちは、3種類の異なる「シェフ（AIモデル）」と、3種類の異なるタスク（猫、数字、および衛星画像の分類）でテストを行いました。

高い成功率： 被害者がトリガー付きの毒入りシェフを使用した際、攻撃はほぼ完璧に機能しました（成功率最大98%）。シェフは、ハッカーが意図した通りに画像を誤分類しました。
有用性の維持： 重要なことに、毒を盛られたシェフは通常のスキルを失いませんでした。トリガーを使用しない限り、彼は通常のシェフと同様に正しく写真を分類しました。このことが、発見を非常に困難にしています。
隠密性： 本論文は、悪いAIを見つけ出すために設計された6種類の「セキュリティガード（防御システム）」をテストしました。ほとんどのガードは、トリガー単体、あるいはレシピ単体を探していましたが、両方が揃った時にのみ発生する危険性を見逃しました。

結論

BADBONEは、特定の指示（プロンプト）ではなく、現代のAIの基盤（バックボーンモデル）を標的にした新しいタイプのサイバー攻撃です。

脅威： 悪意のあるモデルプロバイダーは、一見クリーンに見えるが、隠されたバックドアを含むAIモデルをあなたに売る可能性があります。
落とし穴： このバックドアは、あなたが独自のカスタム指示（プロンプト）を作成し、かつデータの中に特定のトリガーが現れた時にのみ作動します。
現実： 現在のセキュリティツールは、この「二つの鍵」による起動メカニズムを探していないため、ほとんどが盲目です。

著者らは、プロンプト学習が効率的で人気がある一方で、キッチンに届く前に「シェフ（バックボーンモデル）」が毒を盛られるのを防ぐための、新しいセキュリティ対策が必要であると結論付けています。

技術要約: BADBONE

問題提起

プロンプト学習は、大規模な学習済みバックボーンモデル（ViT、CLIP、ResNetなど）を、バックボーンのパラメータをファインチューニングすることなく、ダウンストリームタスクに適応させるための効率的なパラダイムとして台頭しています。その代わりに、入力分布をシフトさせるための軽量な入力摂動（「プロンプト」）を学習します。この手法は計算リソースを節約し、柔軟性を提供しますが、そのセキュリティ上の脆弱性は十分に研究されていません。

プロンプト学習に対する既存のバックドア攻撃は、通常、プロンプト自体に直接バックドアを注入します。これらの攻撃は、特定の視覚的プロンプトにのみ影響を与えるため、被害者が異なるプロンプト設計を選択した場合、攻撃は失敗するという制限があります。逆に、従来のバックボーンモデルに対するバックドア攻撃は、バックボーンの適応プロセスとは無関係にトリガーがバックドアを起動させるため、モデルの有用性を損じたり、容易に検知されたりすることがあります。

本論文は、あるギャップを特定しています。それは、プロンプト学習を用いるあらゆるダウンストリームタスクに対して、バックドアの脆弱性が継承されるような、バックボーンモデルへの効果的なバックドア注入手法が存在しないという点です。同時に、高い有用性と隠密性も維持する必要があります。

手法: BADBONE

著者らは、視覚的プロンプト学習におけるバックボーンモデルを標的とした初のバックドア攻撃であるBADBONEを提案します。その核心となる革新は、プロンプト生成プロセスとバックボーン汚染プロセスを同時に最適化する**二段階最適化（bi-level optimization）**フレームワークです。

1. 脅威モデル

攻撃者: 被害者にバックドアが仕込まれたバックボーンモデル（ $f'$ ）を提供する、悪意のあるモデルプロバイダー。
被害者: 特定のダウンストリームタスクのために独自の視覚的プロンプト（ $g'$ ）を生成するために、提供されたバックボーンを使用する、機械学習の専門知識が限られたユーザー。
能力: 攻撃者は、被害者のダウンストリームデータおよび元の事前学習データに類似したシャドウデータセット（ $D$ ）にアクセスできます。攻撃者は被害者のプロンプト生成プロセスに影響を与えることはできませんが、バックボーンの重みを制御できます。
目標:
- 有用性 (Utility): バックドアが仕込まれたバックボーンは、事前学習およびダウンストリームタスク（クリーンなプロンプトを使用した場合）の両方において競争力のある性能を示す必要があります。
- 有効性 (Effectiveness): モデルは、トリガーされたサンプルを誤分類しなければなりません（ターゲット型または非ターゲット型）。
- 隠密性 (Stealthiness): 学習されたダウンストリームプロンプトと特定のトリガーの両方が存在する場合にのみ、バックドアが作動するようにしなければなりません。

2. 二段階最適化フレームワーク

攻撃は、プロンプトパラメータ（ $\phi$ ）を上位変数、バックボーンパラメータ（ $\theta$ ）を下位変数とする入れ子状の最適化問題として定式化されます。
$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$
$\text{subject to } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$

解は、2つのフェーズを交互に繰り返す反復プロセスによって近似されます。

フェーズA: プロンプト学習 (上位レベル):
攻撃者はバックボーンモデル（ $f_\theta$ ）を凍結し、シャドウデータセット（ $D$ ）を用いてプロンプト（ $g_\phi$ ）を最適化します。このフェーズは、学習されたプロンプトが汚染されたバックボーンと互換性を持つように、被害者の振る舞いを模倣します。損失関数は標準的なカテゴリカルクロスエントロピー（ $\ell_{prompt}$ ）です。
フェーズB: 汚染フェーズ (下位レベル):
攻撃者は学習されたプロンプト（ $g_\phi$ ）を凍結し、複合汚染データセット（ $D_{poisoning}$ ）を使用してバックボーンモデル（ $f_\theta$ ）をファインチューニングします。このデータセットは、以下の3つのサブセットで構成されます。
1. トリガー付きデータセット ( $D_t$ ): トリガーが付加され、ラベルがターゲットクラスに変更された画像（ターゲット型攻撃の場合）、またはランダム/逐次的に変更された画像（非ターゲット型攻撃の場合）。
2. クリーンデータセット ( $D_c$ ): ダウンストリームの有用性を維持するための、シャドウデータセットからのクリーンな画像。
3. 事前学習データセット ( $D_p$ ): 事前学習の有用性を維持するための、元の事前学習セットからの画像。
汚染損失（ $\ell_{poisoning}$ ）は、以下の加重和となります。
$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$
ここで、 $\gamma, \beta, \alpha$ は、攻撃の有効性、ダウンストリームの有用性、および事前学習の有用性のバランスを調整します。

3. 起動メカニズム

バックドアは、**「プロンプトとトリガーの共起（co-activation）」**メカニズムを採用しています。

トリガー単体: 学習されたプロンプトなしでバックボーンにトリガーが適用された場合（例：事前学習タスクにおいて）、バックドアは休止状態となり、モデルは正常に動作します。
プロンプト単体: 学習されたプロンプトが使用されているがトリガーがない場合、モデルはクリーンな入力に対して高い精度を維持します。
共起: 被害者がダウンストリームタスクのためにプロンプトを生成するために汚染されたバックボーンを使用し、かつ入力画像にトリガーが含まれている場合にのみ、悪意のある挙動が示されます。

主な貢献

初のバックボーンレベルの攻撃: BADBONEは、プロンプト自体ではなく、視覚的プロンプト学習におけるバックボーンモデルを標的とした、ターゲット型/非ターゲット型バックドア攻撃を提案した最初の研究です。
二段階最適化: 著者らは、バックボーンの汚染とダウンストリームのプロンプト適応の相互作用を扱うための二段階最適化戦略を導入し、バックドアが被害者の学習されたプロンプトに継承されることを可能にしました。
隠密性: この攻撃は、単一条件のシナリオ（トリガーのみ、またはプロンプトのみ）では作動しない共起メカニズムを備えており、標準的な防御策による検知を困難にします。
転移性: この攻撃は、異なるバックボーンアーキテクチャ（ResNet18, ResNet50, BiT-M-RN50）、データセット（CIFAR-10, SVHN, EuroSAT）、およびプロンプト設計（パディング、パッチ）間で高い転移性を示します。

実験結果

著者らは、3つのバックボーンモデルと3つのダウンストリームデータセットを用いてBADBONEを評価しました。

有効性:
- ターゲット型攻撃: 高い攻撃成功率（ASR）を達成しました。例えば、CIFAR-10におけるResNet50では、ASRは**98.66%**に達しました（ベースラインは12.44%）。
- 非ターゲット型攻撃: 高い誤分類率（MR）を達成しました。例えば、EuroSATにおけるResNet18では、MRは**93.16%**に達しました（ベースラインは26.68%）。
有用性:
- バックドアが仕込まれたモデルは、事前学習タスク（ $Acc_{pre}$ ）およびクリーンなプロンプトを用いたダウンストリームタスク（ $Acc_{target}$ ）の両方において、競争力のある性能を維持しました。多くの場合、汚染フェーズにクリーンなデータが含まれているため、有用性はクリーンなベースラインと同等か、あるいはわずかに優れたものとなりました。
隠密性の評価:
- トリガー単体: トリガーはあるがプロンプトがない状態で事前学習タスクをテストしたところ、ASRは無視できるレベルでした（例：0.10%）。これはクリーンなモデルと区別がつきません。
- プロンプト単体: モデルはクリーンなテストセットに対して高い精度を維持しました。
防御回避:
- 著者らは、6つの最新の防御手法（Neural Cleanse, ABS, MNTD, NAD, CLP, D-BR）を評価しました。
- 検知: Neural Cleanse, ABS, MNTDは、モデルをクリーンであると予測し、バックドアの検知に大きく失敗しました。
- 除去: NAD, CLP, D-BRは、モデルの有用性を著しく低下させることなくバックドアを除去することに失敗しました。具体的には、CLPはバックドアを除去しましたが有用性を破壊し、D-BRはバックドアの除去に失敗しただけでなく、有用性も損ないました。

意義と主張

本論文は、プロンプト学習のパラダイムにおける、これまで未探索であった重要な脆弱性を明らかにしていると主張しています。バックボーンモデルを標的にすることで、攻撃は、被害者が選択する特定のプロンプト設計に関わらず、そのバックボーンを利用するあらゆるダウンストリームタスクに脆弱性が継承されることを保証します。

著者らは、共起メカニズムが攻撃の隠密性の鍵であり、それが（トリガーのみ、あるいはグローバルな摂動分析に依存する）既存の検知手法を無効化していることを強調しています。本研究は、現在の防御メカニズムがこの新しい攻撃ベクトルに対して不十分であることを結論付け、バックボーンモデルとプロンプト学習の相互作用に特化した高度な防御策の開発が急務であることを示しています。著者らは、再現性と防御研究を促進するためにコードを公開しています。