技術要約：Rule of Thumb（経験則）：部分的な情報を用いた人工知能システムの解説

問題提起

説明可能な人工知能（XAI）は、3つの新たな応用領域において決定的な限界に直面している：大規模言語モデル（LLM）を用いたゼロショット分類、不透明なプロプライエタリAIシステムの監査、および科学的発見のためのAI利用である。既存の手法は、主に感度分析（例：SHAP、LIME、Integrated Gradients）に基づいており、これらは入力特徴量を摂動（変化）させてモデルの出力の変化を観察することに依存している。このアプローチは、以下の根本的な障壁に直面する：

1. アクセスの不可能性： 感度ベースの手法は、モデルの重み（勾配）へのアクセス、あるいは合成された摂動データを用いてモデルにクエリを投げる能力を必要とすることが多い。これは、API経由でのみアクセス可能なクローズドソースのLLMにとっては不可能であり、また膨大な数のAPIコール（例：1つの説明につき500〜5000回）が必要となるため、コストが極めて高くなる。
2. 監査における羅シャモンの効果： プロプライエタリなシステムを監査する際、研究者はターゲットとなるシステムを近似するために「模倣（mimic）」モデルを構築することが多い。しかし、同等の精度を持つ異なる模倣モデルであっても、内部メカニズムが異なる場合があり、結果として矛盾する説明が生じる（羅シャモンの効果）。これは、模倣モデルに基づく監査の妥当性を損なうものである。
3. 科学的妥当性： 感度分析は、アウト・オブ・ディストリビューション（合成データ）におけるモデルの挙動が現実世界の因果関係を反映していると仮定している。これは、モデルが合成的な摂動に対して恣意的に反応することで、無情報な特徴量が重要であるかのように見える「偽の仮説」を導く可能性がある。

手法：Rule of Thumb (ROT)

著者らは、特徴量の重要性を「感度（sensitivity）」ではなく「予測可能性（predictiveness）」によって定義する、新しいXAIの定式化である「Rule of Thumb（ROT）」を提案する。ROTは、「ある特徴量を変化させたら出力がどう変わるか」を問うのではなく、「特定の機能値を知ることが、AIシステムの挙動の予測をどのように更新するか」を問うものである。

定式化

ROTは、AIシステムの出力 $C(x)$ を、個々の特徴量値が提供する情報の和を表す加法的な関数の総和としてモデル化する。データセット $X$ と特徴量集合 $\mathcal{J}$ に対して、モデルは以下を推定する：
$$C(x) \approx F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)$$
ここで：

• $F$ はシグモイド関数（分類）または恒等関数（回帰）である。
• $f_{\theta_j}(x_j)$ は、特徴量 $j$ が値 $x_j$ を取る際の重要性を表す学習された関数である。
• $G$ はグローバルなバイアス項である。
• この推定は、任意の特性部分集合 $J \subseteq \mathcal{J}$ に対して成立する。

最適化

目的は、ランダムな特徴量の部分集合から得られる情報と、真のモデル出力との間の損失を最小化する最適な重み $\theta$ を見つけることである。損失関数 $L$ は、すべてのデータポイントおよびすべての可能な特徴量部分集合にわたって周辺化される：
$$\min_{\theta} L = \min_{\theta} \sum_{J \subseteq \mathcal{J}} \sum_{x \in X} p^{|J|} (1-p)^{(|\mathcal{J}|-|J|)} \cdot \ell\left[C(x), F\left(\sum_{j \in J} f_{\theta_j}(x_j) + G\right)\right]$$
決定的なことに、この最適化は、学習中の特徴量の重要性に対するドロップアウトを適用することで効率的に解決される。これにより、各説明のために追加のモデルクエリを要求することなく、摂動を与えていない全データセット上でモデルを適合させることが可能になる。一度適合すれば、特定のデータポイントに対する特徴量の重要性は、単に $f_{\theta_j}(x_j)$ の値となる。

主な相違点

• 摂動なし： ROTは、合成データの生成や入力の摂動を必要としない。
• 非入力特徴量： ROTは、モデルに渡されない外部の非入力特徴量（例：デモグラフィック属性）を、拡張されたデータセットに適合させることで、説明に組み込むことができる。これにより、モデルがそれらの特徴量を使用していないと主張していても、バイアスの検出が可能になる。
• モデル・アグノスティック： これは、既存のデータの予測結果を観察する能力のみを必要とし、重みへのアクセスや新しい入力へのクエリ能力を必要としない。

主な貢献と結果

1. LLMを用いたゼロショット分類

• 実験： 著者らは、ゼロショット画像分類（GPT-4o-mini API）およびテキスト分類（司法判決および映画レビュー）にROTを適用した。
• 結果： ROTによる説明は、人間のアノテーションと密接に一致した（司法判決において加重AUROC 0.77を記録し、SHAPの0.74に匹敵した）。
• 効率性： 初回のROTによる説明には学習が必要であったが（司法データセットで約1160秒）、その後の説明は実質的に瞬時であった（<0.1 ms）。対照的に、SHAPは1つの説明につき約1320秒を要した。ROTは、感度ベースの手法では計算量的に不可能であったLLMの説明を可能にした。

2. プロプライエタリなブラックボックス・システムの監査

• 実験： 著者らは、Random Forestによる模倣モデルを用いたThe Markupによる研究を再現し、Amazonのeコマース推奨システムを監査した。
• 結果：
  • 羅シャモンの効果： 異なる模倣モデル（ハイパーパラメータやアルゴリズムが異なるもの）は、特徴量の重要性に関して（例：「商品のレビュー」と「ブランドはAmazonである」のどちらが最も重要かについて）、矛盾するSHAP/LIMEの説明を生成した。
  • ROTの優位性： ROTは、模倣モデルを介さずに一貫した説明を提供した。ROTは「ブランドはAmazonである」が最も重要な特徴量であることを特定したが、同時に「Amazonによって販売されている」ことも重要な要因であることを独自に浮き彫りにし、模倣モデルによる監査が見逃した潜在的な自己優遇行為を明らかにした。

3. 科学的発見

• 実験： 著者らは、糖尿病予測、再犯予測、およびローン承認のデータセットを用いてROTをテストした。その際、特定の機能が数学的に無情報であるか、あるいは「フォイル（囮）」となる特徴量によって隠されているシナリオを意図的に作成した。
• 結果：
  • 無情報な特徴量： 「年齢」が糖尿病の転帰から数学的に切り離されている場合でも、SHAPとLIMEは依然としてそれに重要性を割り当てた（偽の仮説を生成した）が、ROTはそれを重要ではないと正しく識別した。
  • 敵対的堅牢性： 敏感な特徴量（人種や性別など）よりも「フォイル」特徴量を優先するように設計された敵対的な設定において、SHAPとLIMEは失敗した（敏感な特徴量を回復できたのは5%未満であった）。一方、ROTは89%を超える成功率を維持し、真の敏感な特徴量を正しく特定した。

4. 計算効率と環境への影響

• ROTは、大規模な説明においてSHAPやLIMEよりも数桁高速である。論文では、初期の適合後は、ROTが百万規模の説明を行う間にSHAPが1つの説明を行う時間しかかからないことが述べられており、XAIの環境負荷を大幅に軽減できる。

意義と主張

本論文は、ROTが感度分析から特徴量の予測可能性へとパラダイムをシフトさせることで、XAIにおける長年の妥当性と実用性の問題に対処すると主張している。

• 規制遵守： ROTは、規制当局が完全なモデルへのアクセスや新しい入力へのクエリ能力を持たない場合でも、データセットへのアクセスが可能である高リスクシステムを監査するためのツール（例：EU AI法 第15条および第74条）として位置付けられている。
• 科学的厳密性： 因果メカニズムやアウト・オブ・ディストリビューションの挙動に関する仮定を回避することで、ROTは感度ベースの手法と比較して、科学的仮説を生成するためのより堅牢なベースラインを提供する。
• 実用的な展開： ROTは、既存のXAIコードベースのドロップイン・リプレイスメント（そのまま置き換え可能なもの）として提示されており、モデルに依存せず、より高速で、以前は説明不可能であったシステム（APIのみのLLMなど）を説明することができる。

著者らは、ROTは因果推論を解決すると主張しているのではなく、観測されたデータに基づく予測可能性を通じてモデルの挙動を理解するための信頼できる手法を提供していることを強調しており、それが現代のプロプライエタリなAIシステムの制約に特によく適合しているとしている。