技術要約：クラウドネイティブな評価サービスとしてのEAAS (Evaluation-as-a-Service)

問題提起

AIモデルのデプロイは、そのライフサイクルの出発点に過ぎない。本番環境では、静的なベンチマークでは検出できない分布ドリフト、較正（キャリブレーション）の劣化、および創発的な公平性の違反が発生する。現在の継続的評価ツールには、以下のような補完的な盲点が存在する：

• オフライン・フレームワーク: HELMやTrustLLMなどのツールは、厳密かつ多次元的な評価を提供するが、バッチ処理向けに設計されており、本番環境のモデルサービング・インフラストラクチャとの統合が欠けている。
• プロプライエタリなマネージド・サービス: Amazon SageMakerなどのプラットフォームは高いスケーラビリティを持つが、構成可能性（コンポーザビリティ）、オープンソースの拡張性、および形式的な統計的保証に欠ける。
• ギャップ: 文献および既存ツールの調査により、共形予測（Conformal Prediction）、多変量ドリフト検出、較正評価、および公平性モニタリングを、Kubernetes上のDAGベースのオーケストレーションを備えた構成可能なマイクロサービスとして統合したオープンソース・プラットフォームは存在しないことが明らかになった。さらに、既存の共形予測の実装は、変動性を定量化せずに単一分割の被覆率（coverage）のみを報告することが多く、公平性モニタリングも保護属性を持つ実世界のデータセットではなく、合成データに依存していることが多い。

手法：EAAS アーキテクチャ

著者らは、数学的に厳密なAI評価手法を6つのステートレスなKubernetesマイクロサービスとして運用化する、クラウドネイティブなリファレンス・アーキテクチャである**EAAS (Evaluation-as-a-Service)**を提示する。システムは、軽量な有向非巡回グラフ（DAG）パイプラインによってオーケストレートされる。

コア・マイクロサービス

1. 共形予測サービス (Conformal Prediction Service): 適応的予測集合（Adaptive Prediction Sets: APS）スコア関数を用いた分割共形予測を実装する。これは、周辺被覆率 $P(Y_{test} \in C(X_{test})) \ge 1-\alpha$ を保証するために、有限サンプル補正（$\lceil(n+1)(1-\alpha)\rceil/n$）を適用する。また、タイ（同順位）を処理するためのランダム化スムージングを含む。
2. メトリクス評価サービス (Metrics Assessment Service): 4つのバリアントの期待較正誤差（Expected Calibration Error: ECE）を算出する：固定ビン、適応型ビン、クラス別、およびデバイアス（偏り除去）ECE（有限サンプル・バイアスの補正）。また、Brierスコアおよびログロスも計算する。
3. ドリフト検出サービス (Drift Detection Service): 2段階の戦略を採用する：
   • 高速パス (Fast Path): 真偽発見率（False Discovery Rate）制御のためのベンジャミーニ・ホックバーグ（BH）補正を伴う、特徴量ごとのコルモゴロフ–スミルノフ（KS）検定、および人口安定指数（PSI）。
   • ディープパス (Deep Path): 高次元埋め込みを効率的に扱うための、ランダムフーリエ特徴量（RFF）を用いた近似最大平均偏差（Maximum Mean Discrepancy: MMD）。計算量は $O(n \cdot D \cdot n_{rff})$ となる（$O(n^2 \cdot D)$ に対比）。
4. 公平性モニタリング・サービス (Fairness Monitoring Service): デモグラフィック・パリティ（DP）および等価オッズ（EO）を、ブートストラップ信頼区間（1,000イテレーション）とともに算出する。ノイズの多いアラートを防ぐため、最小サンプル閾値を強制する。
5. パイプライン・オーケストレーター (Pipeline Orchestrator): リトライ・ロジック（指数バックオフ）、バックプレッシャー（セマフォによる並行性制限）、および冪等な結果キャッシュを提供する軽量なDAGエグゼキュータ。
6. 結果ストレージAPI (Result Storage API): ファイルベースの永続化を備えた、監査トレイルおよびトレンド分析のためのREST API。

実験設計

システムは以下のものを用いて検証された：

• 合成データ: 統計的保証（被覆率、第I種の誤り、検出力）をテストするための、制御されたロジットおよび埋め込み。
• 実データ: GPT-4O-MINIの出力（500件のMMLU問題のログ確率）およびUCI ADULT INCOMEデータセット（32,561サンプル）を用いた公平性検証。
• 堅牢性チェック: 50組のランダムな較正/テスト分割、ログ確率の補完シミュレーション、およびRFF-MMDのハイパーパラメータ感度解析。

主要な結果

1. 共形予測の堅牢性

• 被覆率の保証: 実データのGPT-4O-MINIのロジットを用いた50組のランダム分割において、経験的な被覆率は一貫して $1-\alpha$ の目標値を満たし、平均被覆率は目標値から0.5%以内であった。Wilson 95%信頼区間は、すべての有意水準（$\alpha \in \{0.01, \dots, 0.30\}$）において目標値を含んでいた。
• 誤較正への対応: システムは、大幅な誤較正（Debiased ECE $\approx 0.56$）を持つモデルにおいても有効な被覆率を維持しており、共形予測が不適切な較正を補完できることを示した。
• 補完への感度: 実世界のMMLUデータにおいて、全4つの回答トークンがトップ20のログ確率内に存在した。トークンの10%におけるシミュレーションによる補完を行った結果、被覆率の偏差は1.3%未満であった。補完率が高くなると、予測集合は保守的に拡大した（保証は維持されるが、情報量は減少する）。

2. 較正とドリフト検出

• ECE推定値: デバイアスECEは、有限サンプル・バイアス（$\approx 0.005$ の補正）を除去することで、最も正確な推定値を提供した。適応型ビンECEは、ビン数の選択に対して頑健であることが証明され、自動化されたパイプラインに適していることが示された。
• ドリフト検出力: RFF-MMDは、中央値ヒューリスティック帯域幅において、軽微および深刻なドリフトに対して100%の検出力を達成した。第I種の誤りは、帯域幅の設定に関わらず、適切に較正されていた（5–8.5%）。
• 効率性: RFFによる近似MMDは、768次元の埋め込みにおいて正確なMMDの決定と一致したが、計算複雑性を低減させた。ただし、これは定期的なバッチ・モニタリング（～500 ms）には適しているが、推論ごとのチェックには適していない。

3. 公平性モニタリング

• 実世界の格差: UCI ADULT INCOMEデータセットに適用した結果、人種による顕著なデモグラフィック・パリティの格差（DPギャップ = 0.33, 95% CI [0.28, 0.37]）および性別による格差（DPギャップ = 0.047）を検出した。
• 安定性: アラートは連続するバッチ間で安定しており、最小サンプル閾値によって、小さなサブグループ（例：Amer-Indian-Eskimo）に対するノイズの多いメトリクスが効果的に抑制された。

4. パフォーマンスとスケーラビリティ

• レイテンシ: 共形予測および較正サービスは、バッチサイズ100において、p99レイテンシ2 ms未満を達成した。5ノードからなる完全な評価DAGの実行時間は22 msであった。
• スケーリング: Kubernetes HPAによる水平スケーリングにより、リクエストあたりのレイテンシは一定であった。想定されるスループットは線形にスケールする（例：8レプリカで約8,160 RPS）。これは、ローカルシミュレーションにおけるIPCシリアル化によって制限されており、サービスの計算能力によるものではない。

有意義性と貢献

本論文は、EAASが数学的に厳密な手法をクラウドネイティブなアーキテクチャへと統合した新しいモデルであることを主張している。主な貢献は以下の通りである：

1. 初のオープンソース・マイクロサービス・アーキテクチャ: 著者の知る限り、EAASは、共形予測、較正、ドリフト検出、および公平性モニタリングを、DAGオーケストレーションを備えた構成可能で独立してスケール可能なKubernetesサービスとして運用化した最初のプラットフォームである。
2. 共形保証の厳密な検証: 単一分割の分析に限定されがちな先行研究とは異なり、EAASは実モデルの出力に対する50のランダム分割を用いて被覆率の堅牢性を検証し、有限サンプル補正が実際に機能することを確認した。
3. ログ確率補完の限定的影響の定量化: ログ確率の欠落（API経由の設定で一般的）の影響を定量化し、現実的な補完率であれば被覆率の保証に無視できる影響しか与えないことを示した。
4. 包括的なRFF-MMDアブレーション: ランダムフーリエ特徴量に関する詳細な感度分析を提供し、第I種の誤り制御と検出力の観点から最適なハイパーパラメータを確立した。
5. 実世界での公平性検証: 合成データを超えて、実データセットにおける意味のあるデモグラフィックな格差を、統計的根拠に基づいた安定したアラートとともに検出できることを示した。
6. NIST AI RMFへの適合: 本アーキテクチャは、NIST AIリスク管理フレームワーク（RMF）の機能（測定、管理、ガバナンス）に直接対応しており、組織にコンプライアンスへの経路を提供する。

著者らは、限界（例：スケーリングのためのマルチプロセッシング・シミュレーションへの依存、生成的評価の欠如）はあるものの、EAASは数学的な厳密さとクラウドネイティブなスケーラビリティを組み合わせることで、MLOpsエコシステムの重要なギャップを埋めるものであると結論付けている。