技術要約：SETA – 複合AIシステムのための統計的故障帰属

1. 問題提起

現代のAIシステムは、単一のネットワークではなく、特化したモデル、リトリーバー（検索器）、およびソフトウェアコンポーネントからなる複雑なパイプラインである**複合AIシステム（Compound AI Systems: CAS）**として構築されることが増えています。このモジュール化は開発を容易にする一方で、テスト、デバッグ、および安全性の確保において重大な課題をもたらします。上流コンポーネントにおける小さな局所的な故障（例：データのドリフト、モデルの較正不全）は、パイプラインを通じて伝播し、システムレベルの壊滅的な失敗を引き起こす可能性があります。

既存のロバストネス・テスト手法には、主に2つの限界があります。

1. エンドツーエンド（E2E）テスト： システムをブラックボックスとして扱います。これにより失敗が発生したことは特定できますが、特定の内部コンポーネントへの故障の帰属（アトリビューション）を行うことはできません。
2. 隔離コンポーネント・テスト（Isolated Component Testing: ICT）： モジュールを単独でテストしますが、モジュール間の動的な相互作用から生じる創発的な故障や、エラーがパイプラインを通じてどのように伝播するかを分析することはできません。

既存のツール（FGSMのような敵対的攻撃、Reluplexのような形式検証ツール、あるいはDeepXploreのようなカバレッジベースのツールなど）は、主に単一ネットワークのモデル向けに設計されています。これらは、構成されたパイプライン内でのきめ細かな故障局所化や、「なぜ」失敗が起こったのかを実行コンテキスト内で説明する能力を欠いています。さらに、「テスト・オラクル問題」（中間コンポーネントに対する正確な正解出力を、グラウンドトゥルースなしに定義することの困難さ）も依然として障壁となっています。

2. 手法：SETAフレームワーク

著者らは、メタモーフィック・テスティング（Metamorphic Testing: MT）と実行トレース解析を組み合わせたモジュール式フレームワークである**SETA（Statistical Fault Attribution）**を提案しています。SETAは、メタモーフィック関係を通じて振る舞いの仕様を定義することにより、明示的なグラウンドトゥルース・オラクルを必要とせずに動作します。

2.1 メタモーフィック関係（MR）による擬似オラクル

SETAは、単一の入力・出力ペアをチェックするのではなく、入力変換に対するユーザー指定の特性（メタモーフィック関係）の保存を検証することで、オラクル問題を解決します。

• 定義： MRは、ソース入力 $x$ と、その摂動を加えた入力 $\tilde{x} = g(x)$ に対するシステムの出力間の期待される関係を指定します。
• 一般的定式化： 関係は、等価制約にはクロネッカーのデルタ（$\delta$）を、不等価制約にはヘヴィサイドの階段関数（$H$）を用いて定義されます。
• タスク固有のMR： 本フレームワークは、4つの主要なビジョンタスクに対してMRを定義しています。
  • 画像分類： 空間変換下でのラベルの不変性、または確率分布における限定的な $L_\infty$ ノルム差。
  • 物体位置特定（Object Localization）： 予測されたバウンディングボックスとグラウンドトゥルースのバウンディングボックス間のIoU（Intersection over Union）に関する制約。
  • 物体検出（Object Detection）： 検出されたオブジェクトの集合に適用される、分類と位置特定の組み合わせ。
  • セグメンテーション： セマンティックマスクに対するピクセルレベルの等価性、または緩和されたIoUベースのオーバーラップ制約。
• 複合メタモーフィック関係（Composite Metamorphic Relations: CMRs）： 複雑なコンポーネントの場合、複数の個別のMRが論理積（積演算子）を介して結合され、単一の複合スコア（$S_i$）を形成します。コンポーネントは、すべての構成要素となる関係が保持されている場合にのみ「正しい」とみなされます。

2.2 状態ベースの実行トレース解析

SETAは、複合AIシステムを、状態が計算モジュールを表す状態遷移システムとしてモデル化します。

• 実行トレース木（$T(x)$）： 推論中、フレームワークはシステムをインストルメント化（計装）し、動的な実行グラフを記録します。各入力 $x$ およびその摂動版 $\tilde{x}$ について、以下の内容を捉える木構造を構築します。
  • 活性化されたモジュール。
  • 入力／出力テンソル。
  • ルーティング決定（どのダウンストリームモジュールが呼び出されたか）。
  • 参照実行と摂動実行を比較するスコアリング関数結果（$S_q$）。
• トレースのアライメント： フレームワークは、摂動を加えた入力のトレースを参照（リファレンス）トレースに対して整列させ、活性化セットの偏差（例：一方ではトリガーされたが他方ではトリガーされなかったモジュール）や出力の不一致を検出します。

2.3 統計的故障帰属

最初の失敗点と、根本原因（伝播した上流のエラーである可能性があるもの）を区別するために、SETAは統計的帰属メカニズムを採用しています。

• 故障寄与（Failure Contribution: FC）スコア： フレームワークは、モジュール $i$ の偏差を表す確率変数 $Z_i$ を定義します。モジュール $i$ のFCスコアは、システムレベルの失敗を条件とした偏差の期待値です。
  $$FC_i = E_{(x, \tilde{x}) \sim D} [Z_i \cdot \mathbb{I}(S(x, \tilde{x}) = 0)]$$
  これは、システム全体が失敗した場合に、コンポーネントがその仕様に違反する頻度を測定します。
• 帰属ウェイト： スコアはすべてのモジュール間で正規化され、システムレベルの信頼性の欠如に対する各コンポーネントの相対的な寄与を定量化する、解釈可能な帰属ウェイト（$\alpha_i$）を導出します。
• アルゴリズム： プロセスは、データセットと摂動セットを反復処理し、トレースを記録し、システムレベルのスコアを計算し、偏差を集計して、正規化された帰属ベクトルを生成することを含みます。

3. 主な貢献

1. モジュール式フレームワーク： メタモーフィック・テスティングと実行トレース解析を統合し、摂動の伝播を経験的に追跡することで、複雑なAIパイプライン内の故障を局所化するSETAを提案。
2. オラクルフリーの仕様： メタモーフィック関係を通じて振る舞いの仕様を定義することにより、ブラックボックスモデルに対してスケーラブルでテスト可能な抽象化をサポート。
3. 拡張性： モジュール設計により、ユーザーは異なるクラスのメタモーフィック関係を定義してプラグインすることができ、不透明なシステムにおける解釈可能性をサポート。
4. きめ細かな分析： 従来のツールが失敗する多段階パイプラインにおいて、失敗の起点（オリジン）を特定し、隠れた脆弱性を表面化させる能力を実証。

4. 実験結果

本フレームワークは、2つの異なるシステムで評価されました。

1. 自律型鉄道検査ビジョンシステム： 鉄道画像を処理する6つのモジュール（1つの物体検出器、5つの分類器）を持つ実世界のシステム。
   • 設定： imagecorruptions ライブラリからの15種類の画像破損手法（霧、雪、モーションブラーなど）に対してテストを実施。
   • 知見： SETAは、物体検出モジュール（$f_0$）が霧やモーションブラーに対して非常に敏感である一方で、ダウンストリームの分類器は様々な堅牢性を示すことを特定することに成功しました。また、特定の摂動下で特定のモジュール（例：$f_1$ および $f_3$）を主要な失敗要因として強調する帰属スコア（$\alpha_i$）を算出しました。
2. アンサンブル分類モデル（CIFAR-10）： CNN（ResNet18, VGG16, カスタムCNN）のアンサンブルを用いたサニティチェック。
   • 知見： SETAによる個々のモデルの予測精度は、実際の精度と2〜3%以内の誤差であり、「カスタムCNN」が最も性能が低いことを正しく特定しました。
3. OCRシステム： EasyOCRを用いたテキストベースのパイプライン。
   • 知見： レーベンシュタイン距離をメタモーフィック関係として用いることでフレームワークを適応させました。これにより、テキストシーケンスの偏差に基づいて堅牢性を定量化し、特定のモジュールへの失敗の帰属を行うことに成功し、ビジョンパイプライン以外への適用可能性を示しました。

5. 意義と主張

本論文は、SETAを、複合AIシステムにおける創発的な失敗を診断するための**概念実証（Proof-of-Concept）**として位置付けています。その意義は、エンドツーエンド・テストと隔離コンポーネント・テストの間の溝を埋めることにあります。

• 診断の精密さ： 失敗が「起こった」ことだけを検出するツールとは異なり、SETAはどのモジュールが最も責任があるかという統計的帰属を提供し、エンジニアが脆弱なサブモジュールへ対処できるよう導きます。
• スケーラビリティ： メタモーフィック関係を使用することで、グラウンドトゥルース・オラクルを回避しており、中間的なグラウンドトゥルースが存在しない複雑で現実的なパイプラインにも適用可能です。
• 限界と今後の展望： 著者らは、現在の帰属が相関的であり、因果的ではないことを謙虚に認めています。高いスコアは失敗との関連性を示しますが、因果関係を決定的に証明するものではありません。精度は、手作業で作られたメタモーフィック関係の完全性に依存します。今後の研究では、因果推論、自動的なMR生成のためのプログラム合成の統合、およびマルチモーダルや強化学習システムへの拡張を目指しています。

要約すると、SETAは構成的テスト（Compositional Testing）と説明可能な故障局所化の基礎を確立し、複雑で多コンポーネントなAIシステムの信頼性を確保するための体系的なアプローチを提供しています。