Adaptive auditing of AI systems with anytime-valid guarantees

技術的サマリー：任意時刻有効な保証を備えた AI システムの適応的監査

問題定義

生成 AI システムにおける故障モードの特性評価は、現在、注釈付けと評価に必要な高コストおよび長時間によってボトルネックとなっています。その結果、実務家は過去の結果に基づいて試験ケースやサンプルサイズを機会主義的に決定する適応的テストパラダイムを採用しています（例：レッドチーム化、能動学習、または人間によるループ内改善）。これらは実用的ですが、これらのワークフローは古典的な統計的仮定に反しています。サンプルサイズはしばしば小規模（10〜50 ケース）であり、サンプリングや停止の決定は事前規定された規則ではなく、動的に行われます。

標準的な統計的推論は、固定されたサンプリング計画と大样本漸近性に依存しています。これらを適応的テストに適用すると、第一種の過誤率（例：継続的な覗き見による「p ハッキング」）が膨張し、どの仮説がテストされているかを正確に定義することが困難になります。具体的には、ターゲットを絞った適応的テストスイートを合格させることが、本質的にグローバルな堅牢性を証明するものではなく、また事前規定されたサンプリング計画の欠如が平均性能のテストを可能にしないという問題があります。任意の適応的サンプリングと任意の停止条件下で有限サンプル保証を伴う厳密な推論を支援する統計的枠組みには、決定的なギャップが存在します。

手法

著者は、2 つの「対決する」仮説検定を形式化し、Safe Anytime-Valid Inference (SAVI) を活用して統計的保証を提供する AI 堅牢性監査の枠組みを提案します。

1. 対決する仮説フレームワーク
監査は、2 つの帰無仮説間の競争として枠組み化されます。

• モデルの帰無仮説 ($H_{mod}^0$): AI システムがグローバルに堅牢であると主張します。形式的には、 prevalence $\mu(S) \ge \epsilon$ を持つすべてのサブグループ $S$ について、平均性能 $V(S)$ が目標閾値 $q$ を超えることを意味します。棄却は故障モードの存在を意味します。
• 監査人の帰無仮説 ($H_{aud}^0$): 監査人が特定の適応戦略 $\pi$ を持ち、最終的に故障モードを明らかにすると主張します。形式的には、ある時刻 $\tau$ が存在し、すべての $t \ge \tau$ に対して、選択されたサブグループ $S_t^\pi$ の性能が $q$ 未満となることを意味します。棄却は監査が合格した（監査人が故障モードを見つけられなかった）ことを意味します。

本論文は、漸近的に整合的な監査戦略（故障モードが存在すればそれを見つけることに収束する戦略）の下では、これら 2 つの帰無仮説が漸近的な補集合であることを証明しています。したがって、監査人の帰無仮説を棄却することは、実質的にグローバルな堅牢性を証明することになります。

2. ベッティングによる検定と E プロセス
任意の適応的サンプリングと任意の停止を処理するために、著者は「ベッティングによる検定」フレームワークを利用します。監査人は、故障モードと疑われるサブグループに対して賭けをする概念として捉えられます。帰無仮説の下では、いかなるベッティング戦略も利益を生むべきではありません。

• E プロセス: ベッティングの富は、p 値の逐次的アナログである e プロセスによって追跡されます。E プロセス $(E_t)$ は、任意の停止時刻 $\tau$ に対して、帰無仮説の下で $E_P[E_\tau] \le 1$ であることを保証します。
• 第一種の過誤の制御: ヴィルの不等式により、e プロセスが $1/\alpha$ を超えた時点で停止することは、適応的サンプリング戦略やテストが停止するタイミングに関わらず、第一種の過誤率を最大 $\alpha$ に保証します。

3. 具体的な検定統計量
著者は、両方の仮説に対していくつかの e プロセス定式化を提案します。

• 尤度比 (LR): 順次尤度比検定 (SPRT) に基づき、故障仮説 ($q-\delta$) 下での観測スコアの尤度と、帰無仮説 ($q$) 下での尤度を比較します。
• ユニバーサル推論 (UI): 対立確率を固定するのではなく、データから推定（例：$\hat{\gamma}_{t-1}$）する適応型バージョンであり、学習された故障率に基づいて「賭け」を最適化します。
• Shiryaev-Roberts (SR) 拡張: これらは、監査人が故障モードを特定する前に「学習期間」を必要とするシナリオを処理するために、変化点検出を統合します。これらは、すべての可能な変化点から始まる尤度比を合計し、未知の遅延に対してヘッジします。

4. 二重検定手順
このフレームワークは、$H_{mod}^0$ と $H_{aud}^0$ に対して並行して e プロセスを実行します。手順は、いずれかの統計量が $1/\alpha$ を超えた時点で停止します。2 つの帰無仮説は（有効な監査戦略の仮定の下で）相互排他的であるため、ボンフェローニ補正は不要です。家族全体誤り率 (FWER) はレベル $\alpha$ で制御されます。

主要な貢献

1. 対決する仮説の形式化: 本論文は、AI 監査をモデルの帰無仮説に対する監査人の帰無仮説の検定として定義する理論的枠組みを確立します。十分に強力な（漸近的に整合的な）監査人があれば、これらの検定は漸近的補集合となり、グローバルな堅牢性に関する二値的な結論を導き出すことができることを証明しています。
2. 二重の Safe Anytime-Valid 手順: 著者は、故障モード検出と監査証明の両方に対する停止境界を提供する二重 e プロセスを導入します。これらの手順は、任意の適応的サンプリングと任意の停止条件下で有限サンプルの第一種の過誤制御を維持します。
3. 実証的検証: 本研究は、e プロセスを伴う適応的テストが、事前規定された方法よりもはるかに迅速に厳密な結論を達成することを示しています。場合によっては、統計的に有効な結論が 20 件の観測のみで得られています。

実験結果

このフレームワークは、2 つの環境で評価されました。

1. 半合成データ (GPQA データセット): 著者は、サブグループ間で性能低下の度合いが異なる AI パイプラインをシミュレートしました。

   • 性能: SR-LR-UI（ユニバーサル推論を伴う Shiryaev-Roberts）手順が、故障モードの検出において最も高い検出力を達成しました。
   • 比較: 適応的戦略は、事前規定された戦略（層別化および事前学習）を大幅に上回りました。事前規定された戦略は、しばしば故障モードを検出できず、システムが堅牢でない場合でも監査人の帰無仮説を棄却する（監査を合格させる）高い率につながりました。これは誤解のリスクです。
   • オラクル: 真の故障モードを知るオラクル監査人は、15〜25 件の観測で帰無仮説を棄却でき、より賢い監査戦略がサンプル要件をさらに削減できることを示唆しています。
   • 過誤制御: 故障モードが存在しない場合、すべての方法は誤って故障を検出することなく監査を正しく合格させ（$H_{aud}^0$ を棄却）、第一種の過誤制御を確認しました。

2. 実世界の LLM パイプライン (臨床ノート): このフレームワークは、臨床ノートから健康の社会的決定要因 (SDoH) を抽出する LLM に適用されました。

   • 適応的学習: 適応的監査人は、サンプリング頻度と精度の間のスピアマンの順位相関係数 $\rho = -0.84$ を示すように、精度の低いカテゴリのアップサンプリングを成功裡に学習しました。
   • 効率性: オラクルを除き、SR-LR-UI は、モデルの帰無仮説を棄却（システムが堅牢でないことを検出）するために必要なサンプル数が他の方法よりも最少でした。

意義と主張

本論文は、極めて柔軟でターゲットを絞った AI 監査体制の下で、何をテストできるか、そしてどのようにテストするかを形式化する、最初の統計的枠組みを提供すると主張しています。統計的妥当性をサンプリング戦略から切り離すことで、実務家は統計的厳密性を犠牲にすることなく、適応的でリソース効率の高いテスト（例：レッドチーム化、能動学習）を利用できます。

著者は、このフレームワークが任意の戦略をサポートする一方で、「グローバルな堅牢性」という結論の有効性は、監査人の能力に依存すると強調しています。監査人が弱い場合（例：不適切なレッドチーム化）、故障モードが存在しても監査が合格する可能性があり、設計の悪い監査が「セキュリティ・シアター」になり得るという懸念を反映しています。この研究は、一般的な現代的な監査慣行に対する一般的な統計的基盤を提供することで、実務者が AI の堅牢性を自信を持って評価できるようにすることを目的としています。