🤖 machine learning

Improving Certified Robustness via Adversarial Distillation

本論文は、経験的に堅牢な教師モデルからの敵対的蒸留と区間境界伝播（Interval Bound Propagation）を組み合わせることで、最先端の認証された堅牢性を達成しつつ、標準的な精度と形式検証の間のトレードオフを大幅に改善する、認証された学習フレームワークであるAD-CERTを導入するものである。

原著者： Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

公開日 2026-07-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは非常に賢い学生（コンピュータプログラム）に、猫や犬のような画像を識別する方法を教えようとしています。しかし、一つ問題があります。誰かが、写真に目には見えないほど小さな「ノイズ」を加えて、学生を騙そうとしているのです。それはまるで、猫の写真を犬に見せかけるための、塵のようなものです。これは**敵対的攻撃（アドバーサリアル・アタック）**と呼ばれます。

この論文では、この学生を訓練するための新しい方法であるAD-CERTを紹介しています。これにより、学生は普通の写真を識別する賢さと、こうしたトリックに対して揺るぎない強さの両方を手に入れることができます。その仕組みを、簡単な概念に分解して説明します。

1. 二つの問題：強さか、安全性か

AIの訓練の世界には、通常、互いに相反する二つのアプローチがあり、それらはしばしば衝突します。

「ストリートファイター」（敵対的訓練 / Adversarial Training）: この手法は、騙された写真を見せることで学生を訓練します。学生は、写真がめちゃくちゃにされていても、正解を導き出すために戦い方を学びます。これにより、学生は現実世界のテストに対して非常に強くなりますが、その内部ロジックは非常に複雑で混沌としたものになり、なぜ安全だと言えるのかを誰も証明できなくなります。それは、あらゆる試合に勝つものの、自分の動きを説明するためのルールブックを持っていないファイターのようなものです。
「安全検査官」（認証訓練 / Certified Training）: この手法は、学生がどのように写真を変更されたとしても、決して騙されないことを数学的に証明しようとします。これは、写真がどのように変化し得るかをチェックする厳格な「安全網」（IBPと呼ばれます）を使用します。これにより、数学的に安全であることが証明されたモデルが作成されますが、多くの場合、学生は慎重になりすぎてしまい、普通のきれいな写真に対しても間違いを犯すようになります。それは、事故を恐れるあまり、誰も運転することを拒む安全検査官のようなものです。

2. 新しい解決策：「チューターと安全網」

著者たちは、**知識蒸留（Knowledge Distillation）**を用いることで、両方の良いとこ取りができることに気づきました。これは、マスターティーチャー（熟練の教師）と学生の関係に似ています。

教師（Teacher）: 彼らはまず、「ストリートファイター」の手法を用いて「教師」モデルを訓練します。この教師は、騙された写真に対処することにおいて非常に優れています（経験的な堅牢性）。
学生（Student）: 次に、彼らは「学生」モデルを訓練します。しかし、学生はただ一人でトリックと戦うのではなく、教師の教えを聞きます。

AD-CERTのレシピ:
学生は、二部構成のレシピに従って学習します。

教師の囁き（敵対的蒸留 / Adversarial Distillation）: 学生は、騙された写真を見て、教師の「思考プロセス」（ロジットや内部スコア）に合わせようとします。教師は、「この写真はめちゃくちゃだが、私は90%の確率でこれは猫だと確信している」と言います。学生はそのように考えることを学ぶのです。これにより、学生は教師の持つ「街頭での強さ」を手に入れます。
安全網（IBP）: 同時に、学生は厳格な「安全検査官」の数学に従うことを強制されます。これにより、学生の最終的な答えが、起こりうるあらゆるトリックに対して数学的に安全であることが保証されます。

3. なぜこれが特別なのか

通常、これら二つの手法を混ぜ合わせるのは困難です。なぜなら、彼らは異なる言語を話しているからです。「ストリートファイター」は具体的でハードな例を使用しますが、「安全検査官」は広範で曖昧な数学を使用します。

この論文の大きな洞察は、教師の「囁き」が、難しい数学の**代理（サロゲート）**として機能するということです。

教師が、犯罪者がどのように隠れるかを正確に知っている熟練の刑事だと想像してください。
学生は、犯罪者がどのように隠れるかを推測する必要はありません。ただ、刑事の直感をコピーすればよいのです。
その一方で、安全網（IBP）は、たとえ刑事が間違っていたとしても、数学によって学生が安全であることを証明します。

4. 結果

論文では、標準的な画像データセット（MNIST、CIFAR-10、TinyImageNetなど）を用いてテストを行いました。

結果: AD-CERTの学生はチャンピオンとなりました。それは、これまでのあらゆる手法と比較して、最高の「認証精度（certified accuracy）」（数学的に安全であると証明できる能力）を達成しました。
トレードオフ: 「標準的な精度」（普通の写真をどれだけうまく見るか）については、ほとんど損をしていません。実際、他の安全な手法よりも優れた結果を示すこともありました。
課題: 「ストリートファイター」である教師と、「安全な」学生の間には、依然としてギャップが存在します。学生は非常に安全ですが、普通の写真を認識する能力においては、時として教師ほど優れていないことがあります。著者たちは、非常に難しいパズルにおいてこのギャップを埋めることが、次の大きな挑戦であると認めています。

まとめのアナロジー

銀行の警備員を訓練することを考えてみてください。

古い手法A: あなたは警備員に石を投げ、それを避ける方法を教えて訓練します。彼らは避けるのが上手くなりますが、巧妙なトリックを見逃さないという証明はできません。
古い手法B: あなたは、あらゆる角度をカバーする厳格なルールブックを教えます。彼らは完璧に安全ですが、あまりに硬直しているため、普通の日常の中で自分の足をもつれさせてしまいます。
AD-CERT: あなたは、歴戦の猛者である警備員（教師）を雇い、新しい新人（学生）に教えさせます。新人は、石を避けるための伝説的な警備員の直感（蒸留）を学びながら、同時に厳格な数学的安全チェックリスト（IBP）によってテストされます。その結果、直感的に強く、かつ数学的に安全であることが証明された警備員が誕生するのです。

技術要約：敵対的蒸留による認証済み堅牢性の向上

問題提起
ニューラルネットワークは、入力への微小な摂動が誤分類を引き起こす「敵対的例（adversarial examples）」に対して脆弱である。**敵対的訓練（Adversarial Training; AT）**は経験的な堅牢性を向上させるが、得られるモデルは形式的な検証が困難である。一方、**認証済み訓練（Certified Training）**の手法は、最悪ケースの損失の上界（通常はInterval Bound Propagation、以下IBPを用いる）を最適化するものであり、検証可能なモデルを生成するが、標準的な精度が低下しやすい傾向がある。近年の最先端のアプローチは、敵対的下界とIBP上界を補間することでこのバランスを取ろうと試みている。しかし、標準的な精度と認証済み精度の間のトレードオフ、特に摂動半径が増大する場合の課題は依然として重要である。

手法：AD-CERT
著者らは、敵対的知識蒸留とIBP境界を組み合わせた新しい訓練目的関数であるAD-CERT（Adversarial Distillation for Certification）を提案する。核心となる仮説は、経験的に堅牢な教師ネットワークから認証された生徒ネットワークへと敵対的知識を転移させることが、敵対的下界の有効なサロゲート（代用）として機能し、標準的な精度と認証精度のトレードオフを改善できるというものである。

AD-CERTの損失関数は、以下の2つの項の線形結合として定式化される：
$L_{AD-CERT} := (1 - \alpha) \underbrace{KL(P_{\theta_t}(x) \parallel P_{\theta_s}(x_{adv}))}_{\text{敵対的蒸留}} + \alpha \underbrace{L_{CE}(-z^{\Delta}_{\theta_s}(x, y), y)}_{\text{IBP}}$

ここで：

$f_{\theta_t}$ は、標準的な敵対的訓練（PGD）によって訓練された凍結された教師ネットワークである。
$f_{\theta_s}$ は、認証のために訓練されている生徒ネットワークである。
$x_{adv}$ は、生徒に対して生成された敵対的例である。
**敵対的蒸留（AD）**項は、クリーンな入力に対する教師の予測分布（ $P_{\theta_t}(x)$ ）と、敵対的入力に対する生徒の予測分布（ $P_{\theta_s}(x_{adv})$ ）の間のカルバック・ライブラー（KL）ダイバージェンスを最小化する。
IBP項は、IBPを用いた標準的な認証上界損失を計算する。
$\alpha \in [0, 1]$ は、経験的および認証的目標のバランスを制御する。

理論的知見
本論文は、AD-CERTを特徴付ける理論的分析を提供している：

サロゲート下界： AD項は、ソフトラベルを用いた敵対的訓練と等価であり、「教師に導かれた敵対的下界サロゲート」として機能することが示されている。ハードな下界を最適化する標準的なATとは異なり、AD-CERTは教師のソフトラベルを用いて生徒の敵対的入力に対する振る舞いをガイドする。
スカラー化： この目的関数は、ソフトラベルによる敵対的下界サロゲートと、認証済みIBP上界との間のスカラー化である。
幾何学的差異： 任意に大きなクラスマージンを追求する標準的なATとは異なり、ADブランチは教師の予測分布によって定義されるロジット空間内の有限なターゲット（ $\Delta z^*_{ij} = \log(P_{\theta_t}(x)_i / P_{\theta_t}(x)_j)$ ）を誘導する。これは、より滑らかな最適化ランドスケープを示唆している。

実験結果
著者らは、CTBenchライブラリおよび $\alpha,\beta$ -CROWN検証器を用いて、MNIST、CIFAR-10、およびTinyImageNetでAD-CERTを評価した。

最先端の性能： AD-CERTは、評価されたすべてのReLUベースのアーキテクチャにおいて、最先端の認証精度を達成している。
- MNISTにおいて、既存手法に対して一貫して緩やかな改善を実現している。
- CIFAR-10において、既存のReLUベースの認証精度における最高値を平均0.37パーセントポイント向上させた。最大の利得は $\epsilon = 2/255$ において見られた。
- TinyImageNetにおいて、AD-CERTは比較されたすべての手法の中で最高の認証精度を達成しており、従来の非蒸留型認証訓練手法と比較して標準的な精度を大幅に向上させている。
蒸留手法との比較： 堅牢な特徴空間蒸留を行うCC-DISTとの制御された比較において、AD-CERT（ロジットレベルの蒸留）はより高い認証精度を達成したが、CC-DISTはわずかに高い標準精度を維持した。AD-CERTは、特定の条件下でCC-DISTに対して最大5.40パーセントポイント高い認証精度を実現している。
アブレーション研究：
- 純粋な蒸留技術をテストするためにIBPコンポーネントを除去したところ、クリーンな入力のみで教師に一致させる手法（Natural KL）では、敵対的堅牢性の転移に失敗することが明らかになった。
- 敵対的ロジットレベル蒸留（AD）は、経験的なエンドポイントとして使用した場合、特徴空間蒸留や他の敵対的蒸留バリアント（RSLADなど）よりも、教師レベルの堅牢性をより効果的に保持する。
- IBP係数 $\alpha$ の感度分析により、IBPの強度を下げると標準的な精度は向上するものの、最終的には認証精度が低下することが確認された。これは表現力豊かな損失（expressive loss）に関する文献の傾向と一致している。

意義と主張
本論文は、AD-CERTが経験的な堅牢性と形式的検証の間のギャップをうまく埋めていると主張している。教師に導かれたロジットレベルの蒸留を用いることで、経験的なエンドポイントを認証済みエンドポイント（純粋なIBP）から分離することにより、AD-CERTは先行研究に見られる密結合した表現力豊かな損失の複雑さを回避している。

著者らは、AD-CERTが優れた認証性能を達成している一方で、経験的に堅牢な教師の標準精度／敵対的精度と、認証された生徒の精度の間には、特に大きな摂動半径（例：CIFAR-10における $\epsilon = 8/255$ ）において依然として大きな隔たりがあることを強調している。結論として、ロジットレベルの蒸留は堅牢性を転移させるための効果的なメカニズムであるが、標準的な精度を犠牲にすることなく経験的な堅牢性を認証済みの堅牢性へと転移させるためのより強力な手法の開発には、今後の課題が残されているとしている。