Global Sequential Testing for Multi-Stream Auditing

技術要約：マルチストリーム監査のためのグローバル逐次テスト

問題の定式化
本論文は、複数のデータストリーム（例：異なるデモグラフィック・グループ、地理的場所、または画像モダリティ）にわたって機械学習（ML）システムを継続的に監査するという課題に取り組んでいる。目標は、システムがいずれかの $k$ 個のストリームにおいて最適ではない動作をしている場合に、できるだけ早くそれを検知することである。これは、グローバルな帰無仮説 $H_{global}^0$（すなわち、すべてのストリームにおいて偏差変数の平均がゼロであること）を伴う逐次仮説検定問題として定式化される。対立仮説 $H_{global}^1$ は、少なくとも一つのストリームにおいて平均がゼロではないことを示唆する。

著者らは、これらのテストの効率性、特に期待停止時間（$E[\tau]$）に焦点を当てている。これは、対立仮説が真である場合に、テストが帰無仮説を棄却するまでの速さを測定するものである。標準的な手法はボンフェローニ補正（Bonferroni correction）を用いており、これは各ストリームの最大富（証拠）を追跡し、有意水準の閾値を調整するものである。この手法はレベル-$\alpha$ のテストを保証する一方で、多くのストリームが帰無仮説から逸脱している「高密度（dense）」なシナリオにおいては、複数のストリームからの証拠を効果的に集約できないため、非効率であると著者らは主張している。

手法
著者らは「ベッティングによるテスト（testing-by-betting）」の枠組みを利用し、各ストリームに対して非負の超マルチンゲール（富のプロセス）を構築する。単一のストリーム $i$ に対して、彼らはオンライン・ニュートン・ステップ（ONS）アルゴリズムを用いてベッティング比率を更新し、帰無仮説の下ではマルチンゲールでありながら、対立仮説の下では富のプロセスが指数関数的に成長するようにする。

グローバルな帰無仮説をテストするために、本論文では $k$ 個の個別の富のプロセス（$W_i$）から証拠を**統合（merging）**するための3つの戦略を調査している：

1. ボンフェローニ ($\phi_{bonf}$): 最大の富 $\max_i W_i$ を追跡し、閾値を $k/\alpha$ とする。
2. 積 ($\phi_{prod}$): 富のプロセスの積を用いて証拠を統合する、$W_t^{prod} = \prod_{i=1}^k W_{i,t}$。
3. 平均 ($\phi_{ave}$): 算術平均を用いて証拠を統合する、$W_t^{ave} = \frac{1}{k} \sum_{i=1}^k W_{i,t}$。

著者らは、疎な対立仮説（非帰無ストリームが少ない場合）と密な対立仮説（非帰無ストリームが多い場合）の両方における、積および平均テストの期待停止時間に関する新しい理論的境界を導出している。

主要な貢献と理論的結果
本論文は、マージングに基づく逐次テストの停止時間の保証を提供し、それらの相補的な強みを明らかにしている：

• 積テスト ($\phi_{prod}$): 密なレジーム（多くのストリームが非帰無である場合）において、積テストは $O(\frac{1}{k} \ln \frac{1}{\alpha})$ の期待停止時間を達成する。これはボンフェローニのレート $O(\ln k / \alpha)$ よりも大幅に速い。しかし、疎なレジームでは、その性能は $O(k \ln k)$ に低下し、少数のストリームのみが非帰無である場合には非効率となる。
• 平均テスト ($\phi_{ave}$): 疎なレジームにおいて、平均テストはボンフェローニのレート $O(\ln k / \alpha)$ と一致する。密なレジームでは、$O(\ln 1/\alpha)$ に改善されるが、積テストのような $O(1/k)$ の加速は達成しない。
• バランス・テスト ($\phi_{balance}$): 対立仮説が疎であるか密であるかの不確実性に対処するため、著者らは積と平均の富のプロセスを平均化する単純なバランス・テスト（$W_t^{balance} = \frac{1}{2}W_t^{ave} + \frac{1}{2}W_t^{prod}$）を提案している。
  • 定理 4.3 は、このバランス・テストが「両者の良いとこ取り」を実現することを確立している。すなわち、事前知識なしに、疎なレジームでは $O(\ln k / \alpha)$ のレートを、密なレジームでは $O(\frac{1}{k} \ln \frac{1}{\alpha})$ のレートを達成する。

実験による検証
著者らは、合成データと実世界のデータの両方を用いて理論を検証している：

• 合成データ: $k=250$ のストリームを用いた実験では、$\phi_{prod}$ は疎な設定（非帰無が1%）では棄却に失敗するが、密な設定（非帰無が75%）では優れた性能を示す。逆に、$\phi_{ave}$ と $\phi_{bonf}$ は疎な設定では良好に機能するが、密な設定では遅くなる。バランス・テストは、各レジームにおける最良の戦略のパフォーマンスと一貫して一致する。
• 実世界のデータ: これらの手法は、医療用ビジョン・ランゲージ・モデルである ConceptCLIP を、画像モダリティと解剖学的領域によって定義される10のグループにわたって監査するために適用された。
  • ゼロショットの設定（モデルがほとんどのグループでバイアスを示した設定）では、積テストとバランス・テストが最も速く帰無仮説を棄却した。
  • 後処理の設定（バイアスが1つのグループにのみ存在する疎な対立仮説をシミュレートしたもの）では、平均テストとバランス・テストが最も速く棄却し、バランス・アプローチの理論的な適応性を裏付けた。

意義
本論文は、ボンフェローニ補正はグローバルな逐次的監査における標準的かつ単純なアプローチであるが、特に証拠が多くのストリームに分散している場合には、必ずしも効率的ではないと主張している。平均化と積のルールを用いてマージング・マルチンゲールを活用することで、期待停止時間を大幅に改善できるテストを構築できることを著者らは示している。主な貢献はバランス・テストであり、これは対立仮説の疎密に関する未知の性質に適応する堅牢なソリューションを提供し、厳格な第I種の過誤の制御を維持しつつ、マルチストリーム監査シナリオにおける誤ったモデル挙動の検出を高速化するものである。