技術要約：深層ニューラルネットワークのための適応型摂動スケーリングを用いたテンソルベースのバッチファジング

問題定義

深層ニューラルネットワーク（DNN）は、自動運転や医療診断などの安全性が極めて重要な領域でますます導入されている。しかし、その不透明で高次元なパラメータ空間により、系統的な信頼性評価が困難となっている。DeepHunterやTensorFuzzといった既存の被覆ガイド型DNNファジングフレームワークは、主に2つの制限事項を抱えている：

1. 逐次処理のボトルネック： 従来のファジングは、古典的なソフトウェアファジングから継承された「1イテレーションあたり1入力」というパラダイムに従っている。このアプローチは、ハードウェアレベルの並列化によって、バッチ化された入力が単一の入力とほぼ同等のカーネル起動オーバーヘッドで処理できるという、DNN推論固有のテンソル化された性質を活用できていない。一部のツール（例：TensorFuzz）は評価のためにバッチ化を利用しているが、それらの変異およびフィードバックメカニズムは依然として逐次的またはNumPyベースであることが多く、スループットが十分に活用されていない。
2. 一様摂動の非効率性： ほとんどのアプローチは、すべての入力次元に対して固定のグローバルな摂動半径（$\epsilon$）を適用する。実際には、入力仕様は（VNNLibなどを通じて）非一様な次元ごとの境界値を定義している場合が多い。一様なステップサイズは、制約が緩い次元では探索不足になり、制約が厳しい次元では過剰な探索を招くため、結果として探索空間の効率を低下させる。

手法

著者らは、ファジングのパラダイムを逐次的な入力レベルの変異から、バッチ仕様レベルの実行へと転換する**仕様認識型バッチファジング（Specification-Aware Batch Fuzzing）**フレームワークを提案している。このアプローチの核となるのは、以下の3つの主要な技術コンポーネントである：

1. ラップドモデル・アーキテクチャ

本フレームワークは、入力制約と出力プロパティのチェックを非学習層としてニューラルネットワーク内に直接埋め込み、「ラップドモデル（$M_{wrapped}$）」を構築する。

• InputSpecLayer： サンプルごとの入力境界（$[l, u]$）をエンコードし、フォワードパス中に射影（$\Pi_{[\Phi]}$）を通じて実行可能な領域制約を強制する。
• OutputSpecLayer： バッチ内の全サンプルに対して、ベクトル化されたプロパティチェック（例：Top-1分類の堅牢性）を同時に実行する。
  このアーキテクチャにより、ファジングループ全体（シード選択、変異、推論、被覆追跡、およびフィードバック）が、$B$個の仕様インスタンスのバッチに対して単一のフォワードパス内で動作し、仕様を第一級のテンソル次元として扱うことが可能になる。

2. 適応型摂動スケーリング

固定の摂動予算による制限に対処するため、著者らは共有スケール因子 $s \in (0, 1]$ を用いて、仕様定義された実行可能範囲から変異ステップサイズを導出するスケーリングメカニズムを導入している。

• 等方的スケーリング（Isotropic Scaling）： 全次元および全サンプルにおける平均実行可能範囲 $\bar{r}$ を用いて、グローバルなスカラー・ステップサイズ $\eta = \bar{r} \cdot s$ を計算する。これは一様な摂動強度をブロードキャストする。
• 異方的スケーリング（Anisotropic Scaling）： 次元ごとのステップサイズテンソル $S_{b,d} = (u_{b,d} - l_{b,d}) \cdot s$ を計算する。これにより、幅の広い境界を持つ次元には大きなステップを、制約の厳しい次元には微細なステップを割り当て、不均一な制約下での一貫した探索を可能にする。

3. テンソルベースのファジング・パイプライン

ファジングプロセスは、サイズ $B$ のバッチテンソル上で動作する4つのフェーズで実行される：

• シード選択： コーパスから $B$ 個のシードをエネルギー重み付き多項選択に基づいてサンプリングする。これには、新しい被覆や違反を以前にトリガーした入力に優先順位をつける。
• 変異： 選択された戦略（勾配/PGD、境界、またはランダム）をバッチ全体に適用する。変異方向は、適応型スケーリング因子（スカラーまたはテンソル）と組み合わされ、実行可能領域へと射影される。
• 実行： $M_{wrapped}$ に対して単一のバッチ・フォワードパスを実行する。PyTorchのフックを用いて中間活性化を捕捉して被覆追跡を行い、OutputSpecLayerがプロパティ違反をフラグ立てする。
• フィードバック： 被覆の獲得および違反ステータスに基づき、サンプルごとのエネルギー・スコアを更新し、興味深いシードをコーパスに再挿入する。

主な貢献

論文では、貢献を以下のようにまとめている：

1. 仕様認識型バッチフレームワーク： 個々の入力レベルではなく、仕様インスタンスのレベルで動作する統一されたデータ並列パイプライン。制約をモデルの実行に組み込むことで、単一のフォワードパスで $B$ 個の仕様を評価し、効率を大幅に向上させる。
2. 適応型摂動スケーリング： 変異の大きさを仕様定義された境界から導出するスキームであり、不均一な入力制約を効果的に扱うための等方的（グローバル・スカラー）および異方的（次元ごとのテンソル）スケーリングの両方をサポートする。
3. 実装と評価： 3つのベンチマーク（TrafficSigns, Cifar100, TinyImageNet）および6つのネットワークに対して、400以上の仕様を用いて評価されたPyTorch実装。

実験結果

フレームワークは、固定された時間予算の下で、逐次的なベースライン（DeepHunterの1イテレーションあたり1入力のパラダイムをシミュレートしたもの）と比較して評価された。

• スループット： テンソルベースのバッチ手法は、逐次的なベースラインと比較して最大で40倍高いスループットを達成した。例えば、Cifar100およびTinyImageNetでは34〜40倍の高速化が見られ、TrafficSignsでは5倍の改善が見られた（これは、軽量なネットワーク構造によりベースラインが高速に動作できたためである）。
• 違反発見数： 同一の時間予算において、バッチ手法は逐次的なベースラインよりも4倍多くの違反を発見した。
  • TrafficSignsでは、バッチ手法は約75,000件の違反を発見したが、ベースラインは約19,000件であった。
  • Cifar100では、バッチ手法は約61,000件の違反を発見したが、ベースラインは約14,000件であった。
• 初回違反検知時間（TTFV）： バッチ手法は0.06〜1.2秒以内に最初の反例を特定したが、逐次的なベースラインは最初の違反を見つける前に60秒のタイムアウトに達することが多かった。
• 異方的 vs 等方的： 異方的スケーリングは、不均一な制約を持つベンチマーク（例：TinyImageNet）や、より小さなスケール因子 $s$ において特に優位性を示し、特定の構成において等方的スケーリングを最大38%上回った。
• バッチサイズの影響： マン・ホイットニーのU検定による統計的分析により、バッチサイズ $B$ の増加が違反の収穫量を大幅に改善することが確認されたが、一方で $B$ が大きくなるにつれてインスタンスごとの精緻化は低下しており、スループットと精緻化の間のトレードオフが存在することを示している。

意義と主張

本論文の主な意義は、DNNファジングにおける逐次的および一様な摂動アプローチの固有の限界を克服することにあると主張している。ファジングループをテンソルレベルに引き上げ、仕様制約をモデルの実行に直接統合することで、本フレームワークはテストのスループットと反例の発見の両面において大幅な改善を実現している。

著者らは、逐次的なパラダイムも予算をバッチサイズ（$B \times 60s$）に応じてスケールさせれば最終的には違反を発見できるものの、その「1イテレーションあたり1入力」のデザインにより、実時間の経過における反例生成が著しく遅くなることを強調している。提案手法は、仕様を第一級のテンソル次元として扱うことで、複数の変異チェーンを同時に処理することが可能となり、現実世界の時間枠内で「4倍多くの違反」を得られることを示している。本研究は、厳密な安全性証明を提供するのではなく、迅速に具体的な反例を提供する、形式検証を補完するアプローチとして位置づけられている。