🤖 machine learning

Random Logit Scaling: Defending Deep Neural Networks Against Black-Box Score-Based Adversarial Example Attacks

本論文は、モデルの精度を維持しつつ攻撃者を混乱させるためにロジットをランダムにスケーリングすることで、ブラックボックス型のスコアベースの敵対的攻撃を効果的に阻止する、プラグアンドプレイ型の後処理防御策であるRandom Logit Scaling（RLS）を導入すると同時に、最新のAAA防御策が適応型攻撃に対して脆弱であることを露呈させる。

原著者： Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

公開日 2026-07-17

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Hamid Dashtbani, Mehdi Dousti Gandomani, AmirMahdi Sadeghzadeh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

人工知能の世界を、コンピュータが物事を認識することを学ぶ（例えば、写真の中から猫を見つけたり、曲を識別したりする）巨大で超スマートな図書館だと想像してみてください。長い間、これらのコンピュータは、教科書（内部コード）を見せられた時だけ質問に答える、内気な生徒のような存在でした。しかし現実の世界では、私たちは多くの場合、コンピュータがどのように考えているかを知ることなく、ただ質問をして答えを得ています。これは「ブラックボックス」と呼ばれます。

問題は、いたずら好きなハッカーがコンピュータを騙そうとするときに起こります。彼らは図書館に侵入する必要はありません。ただ、写真の中に、目にはほとんど見えないほど小さな変化を、例えばパンダの写真に数粒の塵を加えるといった形で、ささやく必要があるだけなのです。私たちの目には、それは依然としてパンダに見えますが、コンピュータは突然、「これはトースターだ！」と叫び始めます。これは「敵対的攻撃（アドバーサリアル・アタック）」と呼ばれます。これは大きな問題です。なぜなら、もし私たちがこれらのスマートなシステムが世界を正しく捉えていると信頼できないのであれば、自動運転車や医療診断のような重要な仕事にそれらを使うことができなくなるからです。ハッカーたちは、コンピュータの脳が見えなくても、何度も何度も質問を投げかけ、コンピュータがどのように考えを変えるかを観察することで、このようにする方法を見つけ出しています。

ここで、独自のトリックで反撃することに決めた研究者チームというヒーローが登場します。彼らは、新しい防御策を「ランダム・ロジット・スケーリング（RLS）」と呼んでいます。コンピュータの脳を、スープを味見して「とても塩辛い」か「少し塩辛い」かを判断するシェフだと考えてみてください。通常、シェフは「10点満点中8点」のように正確な数字を出します。しかし、ハッカーはその数字を利用して、スープを別の味に変えるためにレシピをどう微調整すべきかを正確に把握しようとします。

研究者たちのアイデアはシンプルですが、非常に巧妙です。もしシェフが嘘をついたらどうなるでしょうか？ハッカーが「このスープはどのくらい塩辛いですか？」と尋ねるたびに、シェフは答えに秘密の数字を掛け合わせることをランダムに決定します。ある時は「10点満点中16点」（ものすごく塩辛いように見せる）、またある時は「10点満点中0.8点」（ほとんど塩辛くないように見せる）と言います。シェフは依然としてスープが塩辛いことを理解しているので、正しい料理を提供し続けますが、叫ぶ数字だけが完全にバラバラになります。

ここで魔法が起こります。コンピュータを騙すための数学パズルを解こうとしているハッカーは、得られる手がかりがあらゆるところに散らばっていることに気づきます。ある瞬間には数字が上がり、次の瞬間には下がる。そのパターンがあまりに混沌としているため、ハッカーは完全に混乱してしまいます。それは、見るたびに「X」印の場所が変わってしまう地図を使って、隠された宝探しをしているようなものです。研究者たちは、これを世界で最も賢く、最も攻撃的なハッカーたちに対してテストしました。その結果、このシンプルなトリックによって、コンピュータの作業自体を遅くしたり精度を下げたりすることなく、ハッカーの成功率を劇的に（時には8割も）低下させられることが分かりました。

しかし、この論文は、すべての防御策が完璧というわけではないことも警告しています。彼らは、ハッカーを混乱させるために数字を特定の予測可能な方法で再形成しようとする、「AAA」と呼ばれる別の人気のある防御策についても調査しました。研究者たちは、もしハッカーがこのトリックを知っていれば、新しい鍵のパターンを学習した鍵開け職人のように、適応して突破できることを示しました。しかし、ランダム・ロジット・スケーリングによる防御は、純粋なランダム性を使用しているため、はるかに予測や破壊が困難なのです。

要約すると、この論文は、コンピュータの自信スコアにランダムなノイズを加えることで、攻撃者に対して「戦場の霧」を作り出すことができると示唆しています。コンピュータは鋭敏で正確なままですが、ハッカーは暗闇の中でよろめき、コンピュータを騙すための道を見つけることができなくなります。これは、コンピュータ全体を再構築する必要はなく、単に答えの出し方を少し変えるだけで済む、軽量で使いやすい盾です。これはコンピュータが叫ぶ数字を変えてしまうため（特定の非常に特殊なタスクでは問題になる可能性があります）、コンピュータの最終的な決定は正しく保たれ、ハッカーがトラブルを引き起こすことを極めて困難にします。

技術要約：ランダム・ロジット・スケーリング (RLS)

問題提起

深層ニューラルネットワーク (DNN) は、画像分類、顔認識、マルウェア検出などの重要な領域でますます導入が進んでいます。しかし、これらのモデルは、入力に知覚不可能なノイズを加えて誤分類を引き起こす敵対的サンプル攻撃に対して、依然として脆弱です。初期の研究はホワイトボックスのシナリオに焦点を当てていましたが、近年の進展により強力なブラックボックス・スコアベース攻撃が登場しています。これらのシナリオでは、攻撃者はモデルのパラメータにアクセスできませんが、モデルにクエリを送信して信頼度スコア（確率ベクトル）を取得することができます。Square攻撃のような著名な攻撃は、わずか数十回のクエリで成功する敵対的サンプルを生成することができ、MLモデルの信頼できる展開に対して重大な脅威となっています。

既存の防御策は、決定的なトレードオフに直面しています。敵対的学習 (AT) は堅牢性を向上させますが、多くの場合、良質なサンプルに対する精度を低下させ、高い計算コストを伴います。アンサンブル手法は堅牢性を高めますが、ストレージとデプロイメントのオーバーヘッドを増大させます。ランダム化に基づく防御策（例：入力やロジットへのノイズ付加）は、より軽量な代替案を提供しますが、モデル精度の低下や、較正された確率に依存するアプリケーションにおいて有害となり得る信頼度スコアの著しい歪みを頻繁に引き起こします。さらに、AAA (Adversarial Attack on Attackers) のような決定論的な防御策は、適応的攻撃に対して脆弱であることが示されています。

手法

1. ランダム・ロジット・スケーリング (RLS)

本研究の主要な貢献は、ブラックボックス・スコアベース攻撃に特化して設計された、プラグアンドプレイ型のポストプロセッシング防御策であるランダム・ロジット・スケーリング (RLS) です。

メカニズム: RLSは、連続一様分布 $U(a, b)$ （ここで $a, b > 0$ ）からサンプリングされたランダムな係数 $m$ によって、モデルの出力ロジット ( $z$ ) をスケーリングすることで動作します。スケーリングされたロジットは $z' = m \times z$ と定義されます。
核心となる直感: この防御策は、クラスの**ランキング（順序）**を維持しつつ、偽の信頼度スコアを出力することで攻撃者を混乱させることを目的としています。スケーリング係数 $m$ は正の値であるため、ロジットの相対的な順序は変わらず、予測ラベル（トップ1クラス）は維持されます。しかし、ロジットの絶対値およびクラス間の差は、クエリごとにランダムに変動します。
攻撃への影響:
- 勾配推定: NESやZOOなどのゼロ次最適化に依存する攻撃は、スコアの差に基づいて勾配を推定しようとします。RLSはこれらのスコア差にノイズを導入し、偽の勾配推定を誘発します。
- ランダム探索: Square攻撃のような探索ベースの攻撃は、損失を減少させる方向を見つけるために探索を行います。RLSは目的関数の値を予測不能に変動させます（例：小さな $m$ を持つクエリが、欺瞞的に低いスコアを出力するなど）、これにより攻撃者が不適切な方向を選択したり、有効な方向をスキップしたりするように誤導します。
デプロイメント: RLSは、基礎となるモデルの再学習を必要としません。これは、既存のあらゆるMLモデルの上に実装可能な、軽量で手間のかからない追加要素です。

2. ペンジュラム攻撃 (The Pendulum Attack)

既存の非ランダム化防御策の脆弱性を実証するために、著者らは AAA-sine（損失関数をサイン波のような曲線に再形成する最先端の防御策）を標的とした、新しい適応的攻撃であるペンジュラム攻撃を導入しています。

メカニズム: 標準的な攻撃は、サイン形状の損失関数によって作成された局所解（ローカルミニマ）に捕らわれます。ペンジュラム攻撃は、方向を反転させることを繰り返すことでこれを克服します。もし攻撃者が $k$ 回連続して損失を減少させることに失敗した場合、反対方向（損失を増加させる方向）へと切り替えます。もしさらに $k$ 回連続して損失を増加させることに失敗した場合、再び元の方向へと戻ります。この振動により、攻撃者は防御策によって生成された局所解や局所最大値から脱出することができます。
結果: この適応的戦略は、AAA-sineを正常にバイパスし、標準的な攻撃と比較して攻撃成功率を35%以上向上させました。

主な貢献

RLSの提案: モデルの精度を維持しながら、最先端のブラックボックス・スコアベース攻撃の成功率を大幅に低下させる、軽量で手間のかからない防御策。
ロジット・スケーリングの分析: ランダム・ロジット・スケーリングが、予測クラスを変更することなく、勾配ベースおよび探索ベースの両方の攻撃者が使用する目的関数をどのように破壊するかについての理論的および経験的な分析を提供。
適応的攻撃 (Pendulum): ペンジュラム攻撃の導入は、決定論的な防御策であるAAAが適応的戦略に対して脆弱であることを示し、RLSのようなランダム化された防御策の優位性を強調している。
包括的な評価: $\ell_\infty, \ell_2, \ell_0$ ノルム空間における6つのSOTA攻撃（NES, Bandit, Square, SignHunter, ZO-signSGD, BruSLe）を用い、CIFAR-10およびImageNetデータセットを用いた広範な実験を実施。

実験結果

著者らは、RLSを4つのベースライン（Random Noise Defense [iRND], Randomized Feature Defense [RFD], Boundary Defense [oRND], AAA）と比較評価しました。

堅牢性: RLSは、攻撃に対する抵抗においてベースラインを大幅に上回っています。例えば、ResNet-18を用いたCIFAR-10データセットにおいて、RLSはSquare攻撃の成功率を、無防備な状態の100%から、範囲0.5–10の設定で**59.85%へ、さらに範囲0.5–1000の設定で43.05%へと減少させました。Bandit攻撃に対しては、RLSは成功率を1.56%**という低水準まで低下させました。
精度の維持: 0.32%から3.95%の精度低下を引き起こすiRND、RFD、oRNDとは異なり、**RLSはクラスのランキングを保持するため、テストされたすべてのモデルと構成において精度低下が0%**でした。
信頼度スコアの歪み: RLSは信頼度スコアを歪ませますが、一般にiRNDやRFDよりも歪み（確率ベクトルのL2ノルムによる測定）が少なくなります。ただし、論文では、RLSはRFDやAAAよりも期待較正誤差 (ECE) を増大させるものの、iRNDよりは少ないことも指摘しています。
クエリ効率: RLSは、攻撃者が成功するために必要なクエリ数を大幅に増加させます。例えば、ResNet-18に対するSquare攻撃において、成功に必要な平均クエリ数は、無防備な状態の約115回から、RLS (0.5–10) では約735回へと増加しました。

意義と主張

本論文は、RLSが**「堅牢性とパフォーマンスのトレードオフ」**に対する独自の解決策を提供すると主張しています。防御をトレーニングプロセスから切り離し、クラスのランキングを保持するランダマイゼーションを利用することで、RLSは以下のことを行うことなく、テスト時の防御策をデプロイすることを可能にします：

良質なサンプルに対するモデル精度を犠牲にすること。
敵対的学習やアンサンブル手法のような計算オーバーヘッドを課すこと。
複雑なアーキテクチャの変更を必要とすること。

著者らは、RLSがトップ1予測の精度維持が極めて重要であるアプリケーションに特に適していると位置付けています。また、トレードオフについても認めています。すなわち、RLSは堅牢性を向上させますが、信頼度スコアの歪みは、精密な確率推定に大きく依存するアプリケーション（例：医療診断や分布外検知）においては、追加の較正技術を必要とする可能性があります。本研究は、RLSのようなランダム化された防御策は、AAAのような決定論的な手法と比較して、より弾力性のある障壁を提供すると結論付けています。