MOAT: Model-Agnostic Randomized Transformations for preventing Efficiency Degradation Attacks on ViTs

コンピューターが私たちと同じように「見る」ことを学び、写真の中の猫を見つけたり、道路標識を読んだりできる世界を想像してみてください。長い間、これを行うための最善の方法は、畳み込みニューラルネットワーク（CNN）と呼ばれる一種の脳でした。しかし最近では、Vision Transformer (ViT) という、より強力で新しい「脳」が取って代わりました。これは非常に賢いのですが、ある秘密の弱点があります。それは、少しばかりの「大食い」であることです。この脳は、画像のあらゆる微細なパーツを一度にすべて見ようとするため、膨大なバッテリーと計算能力を消費してしまいます。これを解決するために、エンジニアたちは「トークン・プルーニング（Token Pruning）」という巧妙なトリックを考案しました。これは、クラブのドアに立つ「門番」のようなものです。すべてのピクセル（「トークン」）をVIPエリアに入れるのではなく、門番がIDをチェックし、重要なものだけを通し、退屈なものはエネルギー節約のために追い出します。

しかし、どんなセキュリティシステムにも、騙されるリスクがあります。巧妙なハッカーは、画像に目に見えない「ノイズ」を加えることができます。それは、私たちの目には全く普通に見えますが、門番を混乱させる「デジタルの砂粒」のようなものです。門番は、退屈なトークンを追い出す代わりに、「すべてが重要だ」と勘違いして全員を通してしまうのです。すると突然、コンピューターは再び大量のバッテリーを消費し、動作が重くなってしまいます。これは、画像自体はほとんど変わっていないにもかかわらず起こる現象です。これは「効率低下攻撃（Efficiency Degradation Attack）」と呼ばれます。これは、コンピューターに「猫を犬と誤認させる」ことを目的としているのではなく、単にコンピューターを最大限に働かせ、スマートフォンやドローン、監視カメラのバッテリーを消耗させることを目的としています。

「MOAT」ソリューション：非効率な門番に対するデジタルの堀

この論文で、研究者たちはMOAT（Model-Agnostic Randomized Transformations）と呼ばれる新しい防御策を紹介しています。MOATは、コンピューターの視覚システムを取り囲む、魔法のように変化する「堀」だと考えてください。門番を修正したり、コンピューターをもっとタフにするよう教え込んだり（それは困難でコストがかかる作業です）する代わりに、MOATは門番に届く前に、その「汚れた」画像を洗浄してしまいます。

その仕組みを、遊び心のある比喩を用いてステップごとに説明します。

1. ランダムな縮小と拡大（The Random Shrink-and-Stretch）： ハッカーが門番を混乱させるために、画像の上に完璧で目に見えない地図を描いたと想像してください。MOATはまず、画像をつかんでランダムに縮小したり引き伸ばしたりした後、元のサイズに切り出し直します。これは、地図を手に取り、クシャクシャに丸めてから、再び平らに広げるようなものです。ハッカーの完璧な地図は、これでシワだらけになり、使い物にならなくなります。サイズ変更が毎回ランダムに行われるため、ハッカーはどのようにトリックを描けばよいか正確に予測することができません。
2. メディアンフィルタ（Smoothing Sponge / 滑らかなスポンジ）： 次に、MOATは画像を「滑らかなスポンジ」に通します。もしハッカーが、鋭いノイズの小さな粒の中にトリックを隠そうとしても、このスポンジがそれを拭き取り、周囲の平均的な色に置き換えます。これは、車が引っかかることなく走行できるように凸凹した道路を滑らかにするようなものですが、大きな丘や谷（画像の重要な部分）はそのまま維持します。
3. JPEG圧縮（Digital Shrink Ray / デジタルの収縮光線）： 最後に、MOATは画像を（JPEGのような）圧縮された形式に押しつぶします。このプロセスは、ハッカーのノイズが隠れやすい高周波の微細な詳細を捨て去ります。これは、詳細な絵を描いてから、何度もコピーを取るようなものです。細かくトリッキーな線はぼやけて消えていきますが、メインの絵は鮮明なまま残ります。

研究結果

研究者たちは、この「MOAT」パイプラインを、2つの有名なVision Transformerモデル（DeiT-TinyおよびDeiT-Small）に対して、DeSparsifyと呼ばれる特定のハッカー攻撃を用いてテストしました。

• 問題点： 防御がない状態では、ハッカーの攻撃は非常に成功していました。DeiT-Smallモデルにおいて、攻撃はコンピューターにほぼすべてのトークンを保持させ、エネルギーコスト（GFLOPsで測定）を、非常に効率的な3.12から3.98へと上昇させました。これは、コンピューターが本来持っていた効率性の節約分が約**31%失われ、その「節約」がわずか12.4%まで落ち込んだことを意味します。この攻撃は非常に巧妙で、成功率（ASRと呼ばれる指標で測定）は60.6%**に達しました。
• 解決策： MOAT防御を追加すると、ハッカーの魔法の呪文は壊れました。コンピューターは再び効率的になりました。エネルギーコストは3.26へと下がり、効率性の節約分は**28.2%まで回復しました。攻撃成功率はわずか7.5%**へと急落しました。
• 最も素晴らしい点： 最もエキサイティングな発見は、MOATがコンピューターの「脳」自体を変更する必要がなかったことです。モデルの再学習や門番のルールの変更は一切必要ありませんでした。ただ前方に座り、3つの単純なトリックを実行するだけです。さらに、これは驚くほど軽量でした。他の防御策（複雑な拡散モデルなど）がコンピューターに数百倍の負荷をかける一方で、MOATが追加した負荷はわずか**0.15%から0.57%**でした。巨大なバッテリー消耗を防ぐための代償としては、極めて小さいものです。

なぜこれが重要なのか

この論文は、このアプローチが「モデルに依存しない（model-agnostic）」、つまり各モデルに合わせてカスタマイズする必要なく、あらゆるVision Transformerに機能するという点で、ゲームチェンジャーであることを示唆しています。研究者たちは、これら3つのステップ（リサイズ、フィルタリング、圧縮）をすべて組み合わせることが、どれか一つだけを使うよりもはるかに効果的であることを発見しました。また、さまざまな設定をテストし、コンピューターの賢さ（高い精度）を維持しながら、ハッカーをブロックできる「バランスの取れた」バージョンを見つけ出しました。

しかし、著者たちは、これがすべてを永遠に止める魔法の盾ではないことにも注意を促しています。もしハッカーが防御の仕組みを正確に理解すれば、よりスマートな攻撃を構築する可能性があることを認めています。しかし、MOATはランダムな変化と、計算が困難な（微分不可能な）ステップを使用しているため、ハッカーがこれを打破する方法を見つけ出すことは非常に困難でコストがかかる作業となります。

要約すると、MOATは、ハッカーが私たちのスマートカメラやスマートフォンを過剰に働かせるために使う目に見えないトリックを洗い流す、巧妙で軽量な盾であり、技術の全面的な刷新を必要とすることなく、高速かつバッテリーに優しい状態を維持してくれるのです。