🤖 machine learning

Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

CLIP モデルにおける既存のバックドア除去手法の限界を明らかにし、合成データのみを用いた「Perturb and Recover（PAR）」という簡易かつ効果的な微調整手法を提案することで、標準性能を維持しつつバックドアを効率的に除去する方法を示した論文です。

原著者： Naman Deep Singh, Francesco Croce, Matthias Hein

公開日 2026-04-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Naman Deep Singh, Francesco Croce, Matthias Hein

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

この論文は、**「CLIP（クリップ）」**という非常に賢い AI について書かれています。CLIP は「画像」と「言葉」の関係を理解できるすごい AI で、例えば「犬の画像」を見せれば「犬」という言葉、あるいはその逆も理解できます。

しかし、この AI には**「裏口（バックドア）」**という危険な罠が仕掛けられる可能性があります。

この論文は、その罠を**「どうやって見つけて、安全に消し去るか」**という新しい方法（PAR と呼ばれます）を提案しています。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

1. 問題：AI に仕掛けられた「見えないトリック」

Imagine CLIP is a super-smart librarian who knows everything about books and pictures.
（CLIP を、本と写真のことが何でもわかる超優秀な司書さんだと想像してください。）

通常の状態: 「リンゴの絵」を見せると、「これはリンゴね」と正しく答えます。
バックドア攻撃: 悪意のある人が、学習データの中に**「特定のトリック（罠）」**を混ぜ込みます。
- 例えば、「画像の隅に『小さな赤い点』がついている画像」をすべて「バナナ」と教えるように仕組むのです。
- 普段は正常に動きますが、「赤い点」がついた画像を見せると、どんなものでも「バナナ！」と叫んでしまいます。
- この「赤い点」は、人間には気づきにくいように隠されていることが多いです。

2. 既存の対策：なぜ「掃除」ではダメだったのか？

これまで、この罠を消す方法として**「データ増強（Data Augmentation）」**という手法が使われていました。

従来の方法（CleanCLIP など）:
- 「画像をひっくり返したり、色を変えたり、ノイズを混ぜたりして、AI に『これは同じものだよ』と繰り返し学習させる」
- 例え話: 司書さんが、本に「赤い点」がついていても、本を逆さまにしたり、色を変えたりして「これはバナナじゃないよ」と教え直そうとする試みです。
- 失敗の原因: この方法は、**「ランダムなノイズ（ガサガサした模様）」のようなトリックには効果的でした。しかし、今回の論文では「ストライプ柄」や「三角形」や「文字」といった、「整ったパターン（構造化されたトリック）」**を罠として使ってみました。
- 結果: 「画像をひっくり返しても、ストライプ柄はストライプ柄のまま残ってしまう」ため、AI は「あ、これ（ストライプ）がついてるからバナナだ」という間違ったルールを覚えてしまい、罠を消すことができませんでした。

3. 解決策：新しい掃除方法「PAR（Perturb and Recover）」

著者たちは、新しい方法**「PAR（Perturb and Recover：揺さぶって、取り戻す）」**を考案しました。

PAR の仕組み:
1. 揺さぶる（Perturb）: AI の脳みそ（モデル）を、元の「毒入り状態」から強制的に遠ざけます。
  - 例え話: 司書さんが、間違ったルールを忘れるために、一度「記憶の整理」をして、元の毒入り状態とは全く違う位置に立ってしまうようにします。
2. 取り戻す（Recover）: 正しいデータ（きれいな画像と言葉のペア）を使って、再度「正しい知識」を教えます。
  - 例え話: 記憶が整理された状態で、改めて「これはリンゴ、これは犬」と正しい本を教えます。
なぜこれが効くのか？
- 従来の方法は「トリック（罠）自体」を消そうとしていましたが、PAR は**「AI が罠を覚えている状態そのもの」を消去**します。
- 罠が「ストライプ」だろうが「文字」だろうが、AI の脳みそを一度リセットして、正しい知識で塗り直すので、どんなトリックでも消し去ることができます。

4. すごい点：「本物」のデータがなくても大丈夫！

通常、AI を直すには「きれいなデータ（正解の画像と言葉）」が大量に必要です。しかし、それはコストがかかります。

PAR の驚くべき能力:
- 論文では、**「人工的に作られたデータ（合成データ）」**だけで、バックドアを完全に消すことに成功しました。
- 例え話: 「本物の図書館（実データ）」がなくても、**「AI が作った架空の図書館（合成データ）」**を使って、司書さんを正しい知識にリセットできたということです。
- これにより、高いコストをかけずに、世界中の AI を安全に保つことが可能になります。

まとめ

この論文は、以下のような重要なメッセージを伝えています。

既存の対策は脆い: 「画像を加工する」という従来の掃除方法では、新しいタイプの「整った罠（ストライプや文字）」には勝てない。
新しい掃除方法（PAR）: 「AI の記憶を一度揺さぶってリセットし、正しい知識で再教育する」方法は、どんな罠でも効果的だ。
コスト削減: 高価な「本物のデータ」がなくても、「人工データ」だけで安全な AI に戻せる。

つまり、**「AI が罠にハマっても、新しい方法を使えば、簡単に安全な状態に戻せるよ！」**という、AI 社会のセキュリティにとって非常に心強い発見です。

論文要約：Perturb and Recover: Fine-tuning for Effective Backdoor Removal from CLIP

この論文は、大規模な視覚言語モデル（CLIP など）におけるバックドア攻撃の脆弱性と、既存の防御手法の限界を指摘し、新しい効率的なバックドア除去手法「PAR (Perturb and Recover)」を提案するものです。

1. 背景と問題提起

CLIP の重要性とリスク: CLIP などの視覚言語モデルは、画像検索やゼロショット分類など多様なタスクで高性能ですが、Web から収集した大規模データセットで学習されているため、バックドア攻撃（特定のトリガーが存在する際に意図した出力を行うようにモデルを汚染する攻撃）に対して非常に脆弱です。
既存手法の限界: 既存のバックドア除去手法（CleanCLIP, RoCLIP など）は、強力なデータ拡張（AutoAugment など）を用いてモデルを再学習させるアプローチを取っています。しかし、著者らは構造化されたトリガー（ストライプ、三角形、テキストの重ね書きなど）を用いた攻撃に対して、これらの既存手法が無力であることを発見しました。
- 理由：既存手法はランダムノイズなどのトリガーを想定して設計されており、構造化されたトリガーはデータ拡張処理によって除去されないため、攻撃が継続して成功してしまいます。
実用的な課題: 大規模モデルを最初から再学習（ゼロから学習）してバックドアを除去するのは計算コストが膨大であり現実的ではありません。また、防御側が汚染されたデータにアクセスできない、あるいはクリーンな実データが不足している状況も想定されます。

2. 提案手法：PAR (Perturb and Recover)

著者らは、特定のトリガーの構造に依存せず、モデルの埋め込み空間を操作することでバックドアを除去する新しい微調整（Fine-tuning）手法「PAR」を提案しました。

基本的な考え方: バックドアは、トリガーとターゲットラベルの間の「偽の相関（spurious correlation）」としてモデルに学習されています。PAR は、この相関を破壊するために、モデルのエンコーダを意図的に元の汚染状態から「擾乱（Perturb）」させ、その後、クリーンなデータを用いて本来の性能を「回復（Recover）」させます。
損失関数:
1. CLIP 損失 ( $L_{CLIP}$ ): クリーンな画像とテキストの対応関係を維持し、モデルの標準的な性能を保持します。
2. 擾乱損失 ( $L_{PERT}$ ): 現在のモデル（クリーン化中）の埋め込みと、元の汚染モデル（Poisoned Model）の埋め込みとの間の距離（ $\ell_2$ $ℓ_{2}$ ノルムまたはコサイン類似度）を最大化するように設計されています。
  - 具体的には、汚染モデルとの距離が閾値 $\tau$ 以下になるまで、モデルを元の状態から遠ざけるように促します。
  - 距離が $\tau$ 以上になれば、この項は停止し、純粋に $L_{CLIP}$ を最小化して性能を回復させます。
データ拡張: 既存手法のような強力な拡張は使用せず、ガウシアンノイズや CutOut などの軽微な拡張のみを使用します。これにより、画像とテキストの対応関係（キャプションの意味）を壊すことなく学習を進めます。
合成データの利用: 実データが利用できない場合でも、テキストから画像を生成するモデル（Diffusion Model など）で作成した合成データ（SynthCLIP）のみを用いても、効果的にバックドアを除去できることを示しています。

3. 主要な貢献

既存防御の脆弱性の実証: CleanCLIP や RoCLIP のようなデータ拡張ベースの防御が、ストライプやテキストなどの「構造化トリガー」に対して容易に回避可能であることを実証しました。
PAR の提案と有効性: 特定のトリガーの知識を必要とせず、あらゆる種類のバックドアに対して高い除去率を達成する微調整手法「PAR」を提案しました。
合成データによる除去の実現: 高価なクリーンな実データがなくても、合成データのみでバックドアを効果的に除去できることを示し、実運用におけるコスト障壁を下げました。

4. 実験結果

評価指標: ImageNet でのゼロショット分類精度（Clean Accuracy: CA）と、バックドアトリガー付き画像に対する攻撃成功率（Attack Success Rate: ASR）を評価しました。
結果:
- 既存手法との比較: BadNet、Blended、BadCLIP など多様な攻撃に対して、PAR は CleanCLIP や RoCLIP を上回る性能を示しました。特に、構造化トリガー（例：BadNet-Stripes）に対しては、CleanCLIP は ASR が 60% 以上残るのに対し、PAR は ASR を 0%〜数% まで劇的に低下させました。
- モデルの汎化性: ResNet50、ViT-B/32、ViT-L/14、SigLIP など、異なるアーキテクチャやモデルサイズにおいても有効でした。
- 合成データ: 25 万枚の合成データ（SynthCLIP）を用いた場合でも、実データ（CC3M）と同等のバックドア除去効果を得られ、ASR を大幅に削減できました。
- 適応攻撃: PAR で除去したモデルを再度汚染（再汚染）しても、PAR は元の汚染モデルに戻らず、再度効果的に除去できることを確認しました。

5. 意義と結論

この研究は、大規模視覚言語モデルのセキュリティにおいて重要な示唆を与えています。

セキュリティの再評価: 従来の「データ拡張による防御」が万能ではなく、構造化されたトリガーに対しては脆弱であることを明らかにしました。
実用的な解決策: 大規模モデルをゼロから再学習することなく、少量のクリーンデータ（または合成データ）を用いた微調整だけで、高いセキュリティを回復できる手法を提供しました。
将来への影響: CLIP のような基盤モデルが、LLaVA や CogVLM などの大規模視覚言語モデル（LVLM）の視覚エンコーダとして広く利用される中、PAR のような軽量かつ効果的な防御手法は、これらのシステムの信頼性を確保する上で不可欠なものとなります。

要約すると、この論文は「既存のバックドア除去手法は構造化トリガーに対して無力である」という問題を提起し、「モデルの埋め込み空間を意図的に擾乱して偽の相関を断ち切る」というシンプルながら強力なアプローチ（PAR）によって、コストをかけずに効果的な防御を実現した画期的な研究です。