RMF: A Risk Measurement Framework for Machine Learning Models

技術要約: RMF: 機械学習モデルのためのリスク測定フレームワーク

問題提起
機械学習（ML）モデル、特にディープラーニングシステムは、自動運転や医療診断などの安全性およびセキュリティが極めて重要なアプリケーションへの導入が進んでいます。この普及に伴い、ニューラルネットワーク（NN）が悪意を持って操作される「敵対的機械学習」による重大なリスクが生じています。具体的には、本論文は、推論時にNNに誤ったラベル分類をさせる「ポイズニング攻撃」（バックドア攻撃の一種）に関連するリスクを定量化するという課題に取り組んでいます。これらの脅威の存在は十分に文書化されていますが、攻撃によって引き起こされる被害の程度と、それを実行するために必要な攻撃者の労力を測定するための標準化された手法が不足しています。著者らは、このような測定方法がなければ、MLシステムのセキュリティ性能を客観的に評価したり、意味のあるリスク値を導き出したりすることは困難であると主張しています。

手法
本論文は、情報セキュリティのリスク測定に関するISO/IEC 27004:2016規格に基づいた**リスク測定フレームワーク（RMF）**を提案しています。この手法は、以下の構造化されたプロセスに従います。

1. 属性の定義: フレームワークは、リスクを測定するための特定の属性を定義しており、それらは主に2つのグループに分類されます。

   • 攻撃者の労力: 「攻撃者の知識」（ホワイトボックス vs ブラックボックス）、「攻撃者の目的」（目的達成のためのステップ）、「攻撃の特異性」（特定のラベルまたはランダムなラベルを標的とするステップ）、「攻撃時間」（学習および推論の所要時間）、および「計算リソース」（CPU/GPU使用量）が含まれます。
   • 被害の程度: 標準的なML指標を用いて測定されます。これには「正解率（Accuracy）」、「F1スコア」、「平均適合率（Average Precision）」、「平均再現率（Average Recall）」が含まれます。

2. 測定プロセス:

   • データ収集: フレームワークは、ターゲットとなるNNに対してバックドア攻撃を実行するために、Adversarial Robustness Toolbox (ART) を活用します。
   • 基本指標: システムは、攻撃中の学習時間、ハードウェアのリソース消費量、および攻撃者が踏んだ手順の数といった生データを記録します。
   • 派生指標: 測定関数は、これらの基本指標を集計します。
     • 被害の計算: 被害を定量化するために、フレームワークはML指標を反転させます（例：正解率が0.06に低下した場合、それを0.94に変換します）。この反転により、元の指標が低いほど（＝被害が大きいほど）、高い被害スコアが得られるようになります。これらの反転された値は、複合的な「被害の程度」を形成するために統合されます。
     • 労力の計算: フレームワークは、攻撃時間、計算リソース、および総ステップ数（知識、目的、特異性から導出）を集計し、複合的な「攻撃者の労力」を形成します。

3. リスクの解釈: 本フレームワークは、ダメージと労力を単一のスカラー値のリスクに結合することはありません。代わりに、それらを4つの異なる値（被害、時間、リソース、ステップ）として扱い、個別に解釈する必要があります。著者らは、単位の多様性（秒、MB、自然数）や、異なる攻撃タイプ間での比較可能なベースラインデータの欠如により、現在のところ労力の標準化は不可能であると述べています。

ケーススタディと結果
本フレームワークは、133,000個のドイツの道路標識（70ラベル）のデータセットで訓練された畳み込みニューラルネットワーク（CNN）を用いたケーススタディによって評価されました。

• 設定: 訓練データの50%をポイズニングし、ランダムな画像を特定のターゲットラベル（ラベル10）に誤分類させるクリーンラベル・バックドア攻撃が実行されました。
• ハードウェア: 実験は AMD Ryzen 7 5800X CPU および NVIDIA GeForce RTX 3060 Ti GPU 上で実行されました。
• 知見:
  • 被害: この攻撃はパフォーマンスの劇的な低下を引き起こしました。元の正解率は0.94から0.06へと低下しました。算出された複合的な「被害の程度」は 4.62 でした。
  • 労力: この攻撃には 合計21ステップ（知識、目的、特異性の組み合わせ）が必要であり、実行に 1037.23秒 を要し、9%のCPU および 8137.81 MBのGPU メモリを消費しました。
  • リスク分類: 欧州電気通信標準化機構（ETSI）のリスク分類に基づき、結果は 「クリティカルなリスク（Critical Risk）」 に分類されました。対策が存在しないことにより、比較的低い攻撃者の労力で最大の被害が発生することが示されました。

主な貢献
本論文は、主に3つの貢献を行っています。

1. 属性の提案: MLセキュリティの測定手法においてインスタンス化されるべき、定量的および定性的な属性（計算リソースや特定の攻撃ステップを含む）を提案しています。
2. 測定関数: ISO/IEC 27004:2016のガイドラインに従い、被害の程度と攻撃者の労力を表す値を計算するための具体的な関数を開発しています。
3. 評価と解釈: ケーススタディを通じてこれらの計算値を評価し、具体的な対策を提案することなく、攻撃の最終的なリスクをどのように解釈するかを示しています。

意義と主張
著者らは、本研究を、NNのデプロイ前、すなわち開発段階においてリスクを測定することを可能にすることで、セキュリティ性能を向上させるためのツールとして位置付けています。本論文は、対策を提案するものではないことを明示しており、その唯一の焦点はリスクの測定と評価にあります。

RMFの意義は、以下の能力にあります。

• 敵対的攻撃による潜在的な被害を標準化された方法で定量化すること。
• 攻撃者が投資しなければならないリソースとステップを客観的に測定すること。
• 対策がない場合、バックドア攻撃が比較的低い攻撃者の労力で、クリティカルなリスク（例：自動運転車において一時停止標識を速度制限標識と誤認させるなど）をもたらし得ることを明らかにすること。

著者らは、本フレームワークが制御された環境下でのリスク測定には成功しているものの、異なる攻撃間でリスクを比較したり、包括的なリスクマトリクスを作成したりする能力は、現在は比較可能なデータの欠如により限定的であると述べ、謙虚に結論付けています。今後の課題は、より多くの攻撃を測定してデータセットを構築し、より具体的な対策開発とより良いリスク標準化を可能にすることです。