💻 computer science

STRAP-ViT: Segregated Tokens with Randomized -- Transformations for Defense against Adversarial Patches in ViTs

本論文は、敵対的パッチ攻撃から Vision Transformer を防御するために、Jensen-Shannon 発散を用いて異常なトークンを検出し、それらをランダムな複合変換で処理する「STRAP-ViT」という、追加学習を必要としないプラグアンドプレイ方式を提案し、最先端の防御性能を達成したことを述べています。

原著者： Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

公開日 2026-03-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Nandish Chattopadhyay, Anadi Goyal, Chandan Karfa, Anupam Chattopadhyay

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

🕵️‍♂️ 問題：AI が「小さなステッカー」に騙される理由

まず、現代の AI がどうやって画像を見て判断しているか想像してみてください。
AI は画像を「小さなパズルのピース（トークン）」に切り分け、それぞれのピースの意味を繋ぎ合わせて「これは猫だ！」と判断しています。

【悪魔のステッカー】
攻撃者は、このパズルの一部に**「目立つ変なステッカー（悪意のあるパッチ）」**を貼ります。

例：信号機に「止まれ」のステッカーを貼るのではなく、**「信号機を無視して『赤い車』と認識させる」**ような、AI にとって異常に魅力的な（注意を引く）ステッカーです。
結果： AI は画像の大部分が「信号機」であっても、そのステッカーにばかり注意を奪われ、「これは赤い車だ！」と自信満々に間違った判断を下してしまいます。これを**「敵対的パッチ攻撃」**と呼びます。

🛡️ 解決策：STRAP-ViT（ストラップ・ヴィット）

この論文が提案する「STRAP-ViT」は、AI を再訓練する必要なく、**「AI の思考プロセスに挟み込む特別なフィルター」**のようなものです。

この仕組みは、**「見分け（検出）」と「浄化（対策）」**の 2 段階で行われます。

1. 見分け（検出）：「怪しいピース」を特定する

AI が画像をピース（トークン）に分解した後、STRAP-ViT はそれぞれのピースを調べます。

仕組み： 「正常なピース」と「ステッカーが貼られた怪しいピース」では、情報の「匂い（統計的な性質）」が違います。
- 例え： 静かな図書館（正常な画像）で、突然誰かが大きな音を立てて騒いだり（ステッカー）、変な香水を振りまいたりすると、その場所だけが際立って目立ちます。
STRAP-ViT の役割： AI が「どのピースが最も不自然で、騒がしいか」を計算し、**「怪しいピース（トークン）」**だけをリストアップします。
- ここでは「Jensen-Shannon 発散」という数学的な指標を使って、正常な状態との「距離」を測っています。

2. 浄化（対策）：「怪しいピース」をカモフラージュする

怪しいピースが見つかったら、そのまま AI に渡すのではなく、**「ランダムな変形」**を施して無力化します。

仕組み： ステッカーの効果を無効にするために、そのピースを「回転させたり」「色味を変えたり」「形を少し歪めたり」します。
- 例え： 犯人が貼った「目立つステッカー」を、**「その場その場でランダムに剥がしたり、別の模様に変えたりする」**ようなものです。
- 攻撃者は「次はこうすればいい」と学習しても、STRAP-ViT は**「毎回違う変形」**をランダムに選ぶため、攻撃者が対策を練る（適応攻撃）ことが極めて難しくなります。
重要なポイント： 怪しいピースだけを**「最小限」**（例えば全体の 2〜4% 程度）しか変えません。他の正常なピースはそのままなので、AI の性能が落ちることはありません。

🎯 なぜこれがすごいのか？（3 つのポイント）

訓練不要の「プラグ＆プレイ」
- 通常、AI を強くするには莫大な計算資源と時間を使って「敵に負けないよう」に再学習させる必要があります。
- しかし、STRAP-ViT は**「追加の学習は一切不要」**です。既存の AI の横に、この防御ブロックを挟むだけで使えます。まるで、スマホのケースを付けるように簡単です。
どんな攻撃にも強い
- 1 つのステッカーだけでなく、**「複数のステッカーをバラバラに貼る」**という強力な攻撃（RP2 攻撃）に対しても、怪しいピースを複数見つけて変形させることで、高い防御力を発揮しました。
元の性能をキープ
- 防御をしても、正常な画像（ステッカーがないもの）を認識する精度は、ほとんど落ちません。
- 例え： 防犯カメラに「怪しい人」だけを検知してマスクを被せるシステムを作っても、「普通の通行人」の顔認識精度は下がらない、という感じです。

📊 結果：どれくらい効果的？

実験では、有名な画像認識 AI（ViT や DinoV2）に、さまざまな悪意のあるステッカー攻撃を仕掛けました。

攻撃なしの場合： AI は 100% 近く正解します。
攻撃あり（防御なし）： AI は 90% 以上間違えてしまいます（例：信号機を「赤い車」と認識）。
STRAP-ViT あり： 攻撃があっても、80% 以上の正解率を維持しました。
- つまり、**「攻撃されても、ほぼ正常に動ける」**状態まで回復させたことになります。

💡 まとめ

STRAP-ViT は、**「AI が騙されないように、怪しい部分だけを『ランダムに変形』させて無力化する、賢くて軽い防御システム」**です。

従来の方法： AI 自体を「鍛え直す」（時間とコストがかかる）。
STRAP-ViT の方法： AI の目の前に「変なものを無効化するフィルター」を置く（コストがかからず、すぐに使える）。

この技術は、自動運転や監視カメラなど、AI が現実世界で使われる際のセキュリティを高めるための、非常に有望な解決策です。

STRAP-ViT: 敵対的パッチに対する防御のためのセグレゲートトークンとランダム化変換

本論文は、ビジョントランスフォーマー（ViT）が物理的に実装可能な「敵対的パッチ（Adversarial Patches）」攻撃に対して脆弱であるという問題に焦点を当て、学習を必要としない新しい防御手法STRAP-ViTを提案しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義

ビジョントランスフォーマー（ViT）は、画像をトークン（パッチ）の系列として扱い、自己注意（Self-Attention）メカニズムを通じて長距離の依存関係を捉える強力なアーキテクチャです。しかし、敵対的パッチ攻撃（画像の特定の小さな領域に印刷可能なノイズパターンを貼り付ける攻撃）に対して非常に脆弱です。

攻撃のメカニズム: 敵対的パッチは、ViT の自己注意メカニズムを「乗っ取り（hijack）」、クラストークン（分類結果を決定するトークン）の注意をそのパッチの領域に集中させます。その結果、画像の大部分が正常であっても、モデルは高確信度で誤分類を行います。
既存防御の限界: 従来の防御手法（敵対的訓練、パッチ検出・マスク、証明可能な防御など）は、計算コストが高い、特定のアーキテクチャに依存する、または実用的な環境で頑健でないという課題を抱えています。

2. 手法：STRAP-ViT

STRAP-ViT は、追加の学習コストを一切必要とせず、推論パイプラインに「プラグアンドプレイ」で組み込むことのできる防御ブロックです。この手法は、敵対的パッチに重なるトークンと、クリーンな画像のトークンとの間の統計的性質の違いを利用します。

プロセスは以下の 2 つのフェーズで構成されます。

A. 検出フェーズ：トークンの分離（Token Segregation）

敵対的パッチに重なるトークンは、クリーンなトークンとは異なる統計的性質（特にエントロピーや確率分布のシフト）を示します。

Jensen-Shannon Divergence (JSD) の計算: ViT の各層において、各トークンのチャネル確率分布と、クリーンな参照分布との間の JSD を計算します。
異常トークンの特定: JSD の値が高いトークンは、敵対的パッチの影響を受けている「異常」とみなされます。
閾値と選択: 事前に設定された閾値に基づき、またはハイパーパラメータ $K$ （変換するトークンの最小数）に基づき、最もスコアが高い $K$ 個のトークンを選択します。 $K$ は、敵対的パッチの少なくとも 50% をカバートするように設定されます。

B. 緩和フェーズ：トークン変換（Token Transformation）

検出された異常トークンに対して、ランダムに選択された合成変換を適用し、敵対的なノイズを無効化します。

ランダム化複合変換: 単一の変換ではなく、以下の 3 つの変換からなるランダムな組み合わせを適用することで、適応型攻撃（防御策を考慮した攻撃）への耐性を高めています。
1. $L_p$ ノルム射影: 極端なチャネルエネルギーを抑制し、敵対的な強度を低下させます。
2. アフィン縮小/再中心化: 有界な演算子ノルムを持つアフィン変換を適用します。
3. ソフトラックス変換（温度スケーリング）: チャネルのスパイクを抑制し、重み付けを調整します。
処理フロー: 変換されたトークンは、影響を受けていない他のトークンとともに、ViT の残りのブロックを通過し、最終的な推論を行います。

3. 主要な貢献

学習不要の防御: 追加のトレーニングコストやデータなしで、既存の事前学習済み ViT モデルに適用可能です。
モデル・パッチ非依存: 特定の ViT アーキテクチャ（ViT-base-16, DinoV2 など）や敵対的パッチの種類（Adversarial Patch, LAVAN, GDPA, RP2 など）に依存せず機能します。
統計的根拠に基づく検出: エントロピーだけでなく、JSD をメトリクスとして使用することで、モデルの内部推論空間（セマンティック空間）で異常を検出します。
適応型攻撃への耐性: ランダム化された変換の組み合わせにより、攻撃者が防御メカニズムを回避するためのパッチ生成を極めて困難にしています。

4. 実験結果

ImageNet と CalTech-101 データセット、ViT-base-16 および DinoV2 モデルを用いて、複数の敵対的攻撃に対して評価が行われました。

頑健な精度: 敵対的パッチ攻撃に対して、STRAP-ViT はクリーンなベースラインの精度から2〜3% 以内の範囲で高い頑健精度を達成しました。
- 例（ImageNet, ViT-B/16, 敵対的パッチ 40x40）: 防御なしでは 3.6% だった精度が、STRAP-ViT 適用により**78.8%**まで回復しました。
- LAVAN や GDPA などの他の攻撃に対しても同様に高い防御性能を示しました。
クリーンデータへの影響: 敵対的ノイズがないクリーンなデータに対する精度への影響は最小限（-0.4% 程度）に抑えられており、誤検知（False Positives）が極めて少ないことが確認されました。
複数パッチ攻撃への対応: 1 枚の画像に複数のパッチが配置された強力な攻撃（RP2）に対しても、 $K$ （変換トークン数）を適切に調整することで高い防御性能を発揮しました。
SOTA との比較: 既存の防御手法（Smoothed ViT, PatchCleanser, ODDR など）と比較して、同様の設定において最も高い頑健精度を記録しました。

5. 意義と結論

STRAP-ViT は、ViT の推論パイプラインに組み込むだけで、敵対的パッチ攻撃に対する強力な防御を提供する画期的な手法です。

実用性: 計算コストが低く、追加のトレーニングが不要なため、大規模な AI インフラやエッジデバイスへの展開が容易です。
セキュリティ: 物理世界での実装（ステッカー、看板、衣服など）を想定した攻撃に対しても有効であり、自動運転や監視システムなどの安全クリティカルな分野における ViT の信頼性を向上させます。
将来展望: このアプローチは、トークンベースのアーキテクチャを持つ大規模言語モデル（LLM）や、大規模視覚言語モデル（LVLM）への応用も期待されています。

本論文は、ViT のセキュリティ強化において、統計的性質を利用した効率的な防御が、重厚な敵対的訓練や証明可能な手法よりも現実的な解決策となり得ることを示唆しています。