技術要約: RecourseBench

問題提起

アルゴリズムによる救済（algorithmic recourse）の分野は、手法論的な急速な発展を遂げており、ヘルスケアや金融といった高リスクな領域において、不利益なモデルの決定を覆すための反事実的な説明（counterfactual explanations）を提供している。しかし、コミュニティにはこれら手法を比較するための原則に基づいたメカニメントが欠けている。既存の評価フレームワークには、主に以下の3つの欠陥がある：

1. モジュール性と相互運用性の欠如: 既存のツール（例：Alibi、RobustX）は、救済をサブ機能として扱ったり、密結合したアーキテクチャ（例：CARLA）や特定のハードウェアエコシステム（例：ReLax/JAX）に依存したりすることが多く、大幅なリファクタリングなしに新しい手法、データセット、または評価指標を統合することを困難にしている。
2. 再現性のギャップ: 多くの手法が発表されているものの、それらの実装が元々報告された結果を忠実に再現しているかを体系的に検証する仕組みが存在しない。ハイパーパラメータの欠落、文書化されていない設定、および計算上の制約などの要因により、独立した検証が不可能になることが多い。
3. 文脈依存的な評価: 救済手法は、相反する目的（近接性、希薄性、堅牢性、実現可能性）を最適化するが、評価基準は文脈（例：データシフト対モデルの多様性）によって異なる。現在のベンチマークは、一貫した実験条件を維持しながら、進化するこれらの指標を収容するための柔軟性に欠けている。

メソドロジーとフレームワーク設計

著者らは、モジュール性、再現性、およびインタラクティブ性という3つの核となるコミットメントに基づいた統一評価フレームワークである RecourseBench を導入する。

1. モジュール型アーキテクチャ

本フレームワークは、抽象化されたインターフェースと動的レジストリによって制御される、5つの完全に分離されたレイヤーにベンチマーク・パイプラインを分解する：

• データ (Data): 生のデータセット、訓練/テスト分割、および事実集合（factual sets）を扱う。
• 前処理 (Preprocessing): 特徴量の変換と正規化を管理する。
• モデル (Model): 対象となる予測モデル（例：PyTorch、Scikit-learn）をサポートする。
• 救済手法 (Recourse Method): 特定のアルゴリズムが実装されるコアモジュール。
• 評価 (Evaluation): パフォーマンス指標を算出する。

データは DatasetObject コンテナを介して各レイヤー間を流れ、自己完結型のデータ転送を保証し、抽象化の漏洩を防ぐ。システムは厳格な特権制御（例：モデルへの読み取り専用アクセス）を強制し、意図しない副作用を防ぎ、中央集約型のYAML駆動型ワークフローを通じて実験の完全性を確保する。

2. 再現性プロトコル

従来のベンチマークにおける検証の欠如に対処するため、RecourseBench は定量的テストに基づく 4段階の分類システム を導入する：

• 指標の定義: 結果は（データセット、モデル、指標）のタプルとして定義される。フレームワークは、元の論文で報告された値 ($m$) と、フレームワークによる実装値 ($\hat{m}$) の間の対称相対誤差 ($\Delta$) を計算する。
• 閾値: 結果が再現されたとみなされるのは、$\Delta \leq 0.35$（35%の相対偏差）の場合である。
• 分類レベル:
  • レベル 0: 結果が再現されていない。
  • レベル 1: 最小限の再現（1つの結果）。
  • レベル 2: 部分的な再現（一部の結果、ただしすべてではない）。
  • レベル 3: 完全な再現（すべての報告された結果）。
• 自動化: 自動テストスイートが、すべての統合された手法をその元の仕様に対して検証する。レベル1以上に達した手法のみが、メインのベンチマーク評価に含まれる。

3. 評価指標

フレームワークは、不利益なインスタンスの保持されたテストセットを用いて、5つの次元で手法を評価する：

• 妥当性 (Validity): 望ましいクラスを達成する成功率。
• 近接性 (Proximity): 事実的インスタンスと反事実的インスタンス間の平均ユークリッド距離 ($\ell_2$)。
• 希薄性 (Sparsity): 変更された特徴量の平均数 ($\ell_0$)。
• 妥当性/もっともらしさ (Plausibility): 訓練セット内の $Y$-最近傍（$Y$-NN）への平均距離。
• 実行時間 (Runtime): 生成にかかる総時間。

スコアは [0, 1] スケールに正規化され（「低いほど良い」指標には負の指数関数変換を使用）、ユーザー定義の加重平均によって集計される。これにより、実務者は特定の次元（例：速度 vs 品質）を優先させることが可能となる。

4. インタラクティブ・インターフェース

ウェブベースのインターフェースにより、ユーザーはデータセット、モデルアーキテクチャ、および特定の救済手法を選択することで実験を構成できる。システムは互換性のない組み合わせを自動的にフィルタリングし、選択された指標集計戦略に基づいたランク付けされたリーダーボードを提示する。

主要な貢献

1. 統一されたモジュール型フレームワーク: RecourseBench は、データ、前処理、モデル、手法、および評価を厳密に分離した初のフレームワークであり、既存のコードを変更することなく新しいコンポーネントのシームレスな統合を可能にする。
2. 強制された再現性: 元の論文に対する自動化された定量的テストを通じて、手法レベルの再現性を明示的に強制する最初の救済ベンチマークであり、報告された結果への忠実度によって手法を分類する。
3. 包括的な統合: 本フレームワークは現在、制約・論理ベース、勾配ベース、表現学習、サロゲート支援、微分フリー/ヒューリスティック、およびインスタンスベース探索の6つのカテゴリにわたる 28の最先端の救済手法 を統合している。
4. インタラクティブなベンチマーク: 多次元的な比較のための構成可能なインターフェースを提供し、ユーザーが特定のアプリケーション制約に合わせたカスタムリーダーボードを構築できるようにする。

結果と経験的景観

著者らは、22の手法（レベル1以上に達したもの）を3つのデータセットと3つのモデルタイプにわたって評価し、137の互換性のある構成を得た。

• 再現性の知見: 再現性レベル（レベル0から3）の分布は、この分野における構造的なインフラの欠如を明らかにしている。多くの手法が、欠落したアーティファクト（コード、ハイパーパラメータ）や、忠実な再現を妨げる計算上の制約（例：MACEは1構成あたり70時間以上を要する）に苦しんでいる。
• レベル1の重要性: レベル0（再現なし）からレベル1（最小限の再現）への移行は、最も認識論的に重要な飛躍であると特定されており、ゼロの検証可能な証拠から、少なくとも一つの指標に対する独立した検証へと移行することを意味する。
• ベンチマークの有用性: フレームワークは、異なる目的（例：希薄性 vs 近接性）に対して最適化された手法が、ユーザーの指標の重み付けに応じて異なるランキングを示すことを実証しており、文脈に応じた評価の必要性を浮き彫りにしている。

意義と主張

本論文は、RecourseBenchを既存の文献の完全な再現としてではなく、**再現性の運用化（operationalization of reproducibility）**として位置づけている。再現性を暗黙の期待から標準化された測定可能な特性へと変えることで、フレームワークは以下を目指している：

• 構成要素となる手法の忠実度が確立された状態での、信頼できる比較評価の基盤を提供すること。
• 過去の研究の再現、および新しいアプローチの開発の両方における障壁を下げられること。
• 実務者が、現実世界のデプロイメント制約に適合した手法を選択するための共通の参照点として機能すること。

著者らは、再現性の課題の一部は文献における文書化のギャップに起因すること、そして現在のフレームワークは実用的な実現可能性と厳密さのバランスをとっていること（例：35%の許容閾値や、実行レベルの分散集計の欠如）を認めている。今後の課題として、これらの設計上の選択への対処や、メソッドレジストリの拡張が期待されている。