Adversarial Training for Tabular Credit Scoring: A Multi-Attack Robustness Evaluation in P2P Lending

技術要約：表形式の信用スコアリングにおける敵対的学習

問題提起
機械学習ベースの信用スコアリングは、ピア・ツー・ピア（P2P）レンディングにおいて中心的な役割を果たしつつあるが、その敵対的な操作に対する耐性は十分に理解されていない。この文脈において、申請者は有利な融資決定を得るために、自己申告による入力値を戦略的に変更する可能性がある。敵対的堅牢性（Adversarial Robustness）は画像やテキストの領域では広く研究されているが、表形式の信用データに関するエビデンスは限られている。既存の文献では、一致する防御策に対して単一の攻撃を評価することが多く、防御が異なる攻撃タイプ間でどのように汎化するか、あるいは混合脅威シナリオ下でどのように機能するかという点への対処に失敗している。さらに、運用上の攻撃者は単一の脅威モデルに従うとは限らないため、一対一の攻撃・防御評価は現実世界のレジリエンスを過大評価することを示唆している。

手法
本研究では、Lending Clubデータセットの大きなサブセット（約40万件の観測値）を用い、系統的な訓練・テスト堅牢性ベンチマークを採用している。実験デザインは、推論時における回避攻撃（Evasion Attacks）に焦点を当てた、CRISP-MLに着想を得たパイプラインに従っている。

• モデル: 3つの異なるモデルファミリーを評価した：ロジスティック回帰（線形ベースライン）、フィードフォワードニューラルネットワーク（NN）、および表形式データ用のTransformerベースのモデル（FT-Transformer）。
• 敵対的攻撃: 4つの特定の攻撃アルゴリズムを実装し、これらは申請者が変更可能な特徴量（例：annual_inc, dti, revol_bal, revol_util, purpose, zip_code）に限定されている：
  1. Fast Gradient Sign Method (FGSM): ホワイトボックス型の勾配ベース攻撃。
  2. Projected Gradient Descent (PGD): 反復的なホワイトボックス型の勾配ベース攻撃。
  3. DeepFool: 決定境界を横切るための最小限の摂動を計算する境界探索型攻撃。
  4. Salt-and-Pepper (S&P) Noise: データの破損や粗い操作をシミュレートする非勾配摂動。
  5. 混合レジーム (Mixed Regime): 複数の攻撃タイプを組み合わせた訓練戦略。
• 実験デザイン: 本研究では、訓練およびテストの構成のフルグリッドを利用した。モデルは、クリーンなデータ、および特定の攻撃タイプ（FGSM、PGD、S&P、DeepFool、またはMixed）で拡張されたデータを用いて訓練された。これらのモデルは、クリーンなテストセット、および各5つの攻撃タイプによって摂動を与えられたテストセットに対して評価された。
• 制約: 現実的な攻撃シナリオを確保するため、摂動は申請者が妥当に変更可能な特徴量に厳格に制限された。勾配ベースの攻撃では、不変の特徴量を更新しないようにバイナリマスクを使用した。
• 指標: パフォーマンスはROC AUC、精度（Accuracy）、適合率（Precision）、再現率（Recall）、およびF1スコアで測定された。特に、デフォルト（債務不履行）の誤分類コストが高いため、クラス0（デフォルト検出）の指標に焦点を当てた。推定の安定性を確保するために、層化5分割交差検証を用いた。

主な結果

• クリーン・ベースライン: すべてのモデルファミリーは、クリーンなデータに対して強力な識別能を示した（ROC AUC 0.903–0.906）。Transformerとロジスティック回帰は、ニューラルネットワーク（0.822）よりもわずかに高い精度（0.826）を示した。
• クリーンモデルの脆弱性: 防御的訓練を行わずに摂動を与えられたテストセットで評価した場合、クリーンなモデルは中程度の劣化を示した。勾配ベースの攻撃（FGSM/PGD）およびDeepFoolは、ROC AUCを約0.85–0.87に低下させた。S&Pノイズも同様の低下を引き起こした。特筆すべきは、標的型攻撃（FGSM/PGD）が予測されるデフォルト数を系統的に減少させ、ケースを「完済（Fully Paid）」クラスへとシフトさせたことである。
• 敵対的訓練の有効性:
  • 一致した攻撃 (Matched Attacks): 訓練時の攻撃がテスト時の攻撃と一致する場合、敵対的訓練は堅牢性を劇的に向上させた。例えば、FGSM/PGDで訓練されたニューラルネットワークは、対応するテストセットに対してROC AUCスコア0.952–0.959を達成し、クリーン訓練されたベースラインを大幅に上回った。
  • クロス攻撃の汎化（勾配型）: 勾配ベースのファミリー内では、堅牢性が良好に転移した。FGSMで訓練されたモデルは、PGDでテストされた際も、FGSMで訓練されたモデルとほぼ同様の性能を示した。
  • クロス攻撃の汎化（非勾配型）: 非勾配型の破損（S&P）への転移は弱かった。勾配ベースの攻撃で訓練されたモデルは、S&Pノイズに対する堅牢性を有意に向上させず、その逆も同様であった。
  • 混合訓練 (Mixed Training): 複数の攻撃タイプを組み合わせた混合訓練レジームは、不均一な攻撃に対して最もバランスの取れた堅牢性を提供した。これは、クリーンなテスト時の性能を維持しつつ、FGSM/PGDに対して強力なレジリエンスを提供し、単一攻撃防御と比較してDeepFoolおよびS&P下での安定性を向上させた。
• クリーン性能のトレードオフ: 高容量モデル（ニューラルネットワークおよびTransformer）において、堅牢性の向上はクリーンデータにおける性能の大幅な犠牲を必要としなかった。場合によっては、敵対的に訓練されたバリアントが、クリーンなベンチマーク精度を維持、あるいはわずかに上回ることさえあった。

意義と貢献
本論文は、信用リスクおよび敵対的機械学習の文献に対し、主に3つの貢献を行う：

1. 経験的ベンチマーク: 複数の質的に異なる摂動メカニズム（勾配ベースおよび非勾配ベース）をテストし、攻撃を現実的で変更可能な申請者の特徴量に限定することで、P2P信用リスク評価におけるAML（敵対的機械学習）の包括的な評価を提供する。
2. 混合訓練の分析: 混合訓練・テスト戦略を導入し、評価を行った。これにより、単一の攻撃防御は現実世界のレジリエンスを過大評価する可能性があることを示した。本研究は、攻撃者の戦略が不確実または不均一なシナリオにおいて、混合訓練がより信頼できるデフォルトであることを示している。
3. 実践的なガイダンス: 現実のレンディングデータに対するベンチマークを通じて、モデルガバナンスに対する実践的なガイダンスを提供する。敵対的訓練は特定の脅威に対する堅牢性を高める一方で、多様で進化する現実世界の攻撃者の戦術に対してレジリエンスを確保するためには、マルチ攻撃のストレス・テスト・アプローチが必要であることを示唆している。

著者らは、敵対的訓練は特定の脅威に対してモデルを強化する効果があるものの、単一の攻撃防御に依存することは、運用上の信用スコアリング・パイプラインには不十分であると結論付けている。代わりに、現実的かつ不均一な脅威シナリオの下でもシステムが堅牢であり続けるために、混合訓練戦略と、敵対的ストレス・テストをモデルガバナンスに統合することを提唱している。