技術的概要：敵対的ファインチューニングが圧縮されたニューラルネットワークに与える影響に関する実証研究

問題定義

深層学習（DL）モデルは、安全性が重要なアプリケーションにますます統合されており、敵対的攻撃に対する堅牢性が求められています。しかし、この堅牢性を確保するためには通常、敵対的訓練が必要であり、訓練中に敵対的サンプルを生成することにより、計算オーバーヘッドが大幅に増加します。一方、モデル圧縮技術（プルーニングや量子化など）は、計算効率の向上とエネルギー消費の削減のために用いられますが、多くの場合モデル性能、そして決定的には敵対的堅牢性を低下させます。これにより、計算効率と敵対的堅牢性という目的の間で対立が生じます。本研究が取り組む中心的な問いは、敵対的訓練をゼロから全額行うコストなしに、すでに圧縮されたニューラルネットワークに対して敵対的堅牢性を効率的に達成できるかどうかです。

手法

著者は、まず標準モデルを圧縮し、その後、完全な敵対的訓練ではなく敵対的ファインチューニングを適用するという二段階のアプローチを提案します。本研究は、主に以下の 2 つの圧縮手法に焦点を当てています：

1. 構造化プルーニング：具体的には、畳み込みニューラルネットワーク（CNN）に対する$\ell_1$ノルムに基づくフィルタプルーニングです。$\ell_1$ノルムが最も低いフィルタを削除し、それに伴って後続の層における対応する出力特徴も削除します。
2. 量子化：トレーニング後量子化（PTQ）を採用し、重みには対称量子化を、活性化マップには非対称量子化を用いて、精度と計算の簡便さのバランスを図っています。

実験フレームワークは、以下の 3 つの主要なフェーズから構成されます：

• ベースライン訓練：標準モデル（$f_{st}$）と完全な敵対的訓練モデル（$f_{rb}$）をゼロから訓練します。
• 圧縮：訓練済みモデルにプルーニングまたは量子化を適用します。
• ファインチューニング：圧縮されたモデルに対して、標準的なファインチューニング（$T_{st}$）または敵対的ファインチューニング（$T_{ad}$）を適用します。敵対的ファインチューニングは、事前学習済みかつ圧縮された重みから開始し、限られたエポック数（通常 3 エポック）の間、敵対的損失（投影勾配降下法、PGD を使用）を最小化するプロセスを含みます。

本研究は、複数のデータセット（MNIST、FashionMNIST、SVHN、CIFAR-10、CIFAR-100、TinyImageNet）およびアーキテクチャ（WideResNet、Vision Transformer、カスタム CNN）にわたってこれらの手法を評価します。堅牢性は、堅牢な精度に対する信頼性の高い下限を提供するために、AutoAttack（具体的には APGD-CE および APGD-DLR）を用いて評価されます。

主要な貢献

1. 圧縮モデルのための敵対的ファインチューニング：本論文は、敵対的ファインチューニングを、圧縮モデルの堅牢性を回復・強化するための効率的なメカニズムとして導入し、検証しました。
2. 包括的な実証研究：著者は、標準的ファインチューニングと敵対的ファインチューニングを、さまざまなスパース性比率でのプルーニングおよびさまざまなビット幅での量子化を適用されたモデルに対して比較する、広範な実験を行いました。
3. 公平な圧縮比較：本研究は、異なる圧縮技術間でのテスト性能に基づく公平な比較を確保するために、圧縮レベルを体系的に調整しました（例：80% スパース性のプルーニングを INT8 量子化と一致させるなど）。

結果

実験結果は、圧縮モデルの敵対的ファインチューニングが、計算効率を維持しながら堅牢性を大幅に改善することを示しています：

• 堅牢性の回復：当初、ほぼゼロの堅牢性を示す圧縮された標準モデル（$f^c_{st}$）（例：CIFAR-10 で約 0%）は、わずか 3 エポックの敵対的ファインチューニング後、完全な敵対的訓練モデル（$f^c_{rb}$）と同等の堅牢性を達成できます。例えば、WideResNet を用いた MNIST において、プルーニングされた標準モデルの敵対的ファインチューニングは、標準的ファインチューニングによる約 22% の堅牢性を、ゼロから敵対的訓練されたモデルの性能に匹敵する約 92% まで向上させました。
• 効率性の向上：敵対的ファインチューニングの計算コストは、完全な敵対的訓練に比べて著しく低いです。CIFAR-10 において、堅牢性を達成するために必要な時間は、完全な敵対的訓練で約 118 分だったものが、圧縮モデルでは約 14 分に、さらに圧縮モデルの敵対的ファインチューニングでは約 10 分まで短縮されました。
• 汎用性：敵対的ファインチューニングの肯定的な効果は、異なるデータセット、モデルアーキテクチャ（CNN、ViT）、および圧縮手法（プルーニング、量子化、テンソル分解）全体で観察されました。
• 標準モデルと堅牢モデル：本研究は、標準的ファインチューニングがプルーニングモデルのテスト精度の回復に寄与する一方で、堅牢性の回復にはしばしば失敗することを指摘しています。一方、敵対的ファインチューニングは、テスト精度と堅牢性の両方を回復し、圧縮された標準モデルの性能を、しばしば圧縮された堅牢モデルの性能に近づけます。

意義と主張

本論文は、敵対的ファインチューニングが、特にモデル圧縮と組み合わせる場合、完全な敵対的訓練に対する「軽量な代替手段」として機能すると主張しています。著者は、このアプローチにより効率性の向上が複合的になることを論じています。つまり、モデルはまず圧縮によって効率的にされ、その後、計算コストの低いファインチューニングプロセスによって堅牢にされるのです。

その意義は、効率性と安全性の間のトレードオフを解消することにあります。結果は、ゼロから堅牢なモデルを訓練する禁止的なコストをかけることなく、計算効率（圧縮による）が高く、かつ敵対的攻撃に対して堅牢（ファインチューニングによる）なモデルを配備することが可能であることを示唆しています。著者は、この手法が、実世界のアプリケーションにおいて安全かつリソース制約のある深層学習モデルを配備するための実用的な道筋を提供すると結論付けています。

注：本論文は、最適なファインチューニングエポック数が特定のタスクやデータセットに依存するという限界を認めており、CIFAR-100 や TinyImageNet のような非常に複雑なデータセットでは、より単純なデータセットに比べて堅牢性の向上が顕著でなかったと述べています。