Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

あなたは、なぜ魔法の水晶玉が特定の予言をしたのかを理解しようとしているところだと想像してみてください。例えば、数学のテストでAを取ると予言されたり、ローンの申請が却下されたりしたとします。コンピュータサイエンスの世界では、これは「機械学習」と呼ばれ、水晶玉は、何千もの手がかり、すなわち「特徴量」を見ることで意思決定を学習した複雑なアルゴリズムです。しかし、ここが難しいところです。これらのアルゴリズムは非常に複雑であるため、その製作者でさえ、なぜ特定の選択をしたのかを簡単に説明できないことがよくあります。これは「ブラックボックス」のようなものです。これを解決するために、科学者たちは中を覗き込み、各手がかりに「スコア」を割り当てて、その特定の手がかりが最終的な答えにどれだけ貢献したかを伝えるツールを開発しました。最も人気のあるツールの1つが、SHAPと呼ばれるものです。これは、ゲーム理論における古い概念である「シャプレイ値」に基づいています。これは、チームの勝利に各プレイヤーがどれだけ貢献したかに基づいて、賞金を公平に分配する公平な方法です。研究者たちが問い続けている大きな疑問は、「手がかりが数百個ある場合、どのようにしてこれらのスコアを公平に計算するのか」、そして「比較対象として何が『普通』であるかをどのように決めるのか」ということです。

Andrew Herren、P. Richard Hahn、および Rafael Alcantaraによって書かれたこの論文は、SHAPが実際にどのように機能するかを見るために、その背後にある数学を深く掘り下げています。著者たちは、この問題を巨大なパズルのように扱い、機械学習の「説明可能性」と、入力の変化が出力にどのように影響するかを見るために物理学や工学で使用される「感度分析」という分野との間の点と線をつなぎ合わせています。彼らは、SHAPが実際には「関数ANOVA」と呼ばれる統計的手法と非常によく似たことを行っていることを発見しました。関数ANOVAは、複雑な関数を、スムージーを個々の果物に分解してそれぞれの果物がどれだけ糖分を加えているかを確認するように、小さく管理可能な断片へと分解するものです。論文は、SHAPを使用する際に人々が直面する最大の悩みは、2つの主要な選択から生じていることを示唆しています。それは、「比較のためにどの『ベースライン（基準）』または参照点を使用するか（例：『何と比較して？』と問うこと）」、そして「何十億通りも存在する手がかりの組み合わせのうち、実際にどれだけをチェックするかを決めること」です。

著者たちは、SHAPは強力なツールではあるものの、すべてを自動的に解決する魔法の杖ではないと主張しています。彼らは、得られる答えが、比較対象として選ぶデータの分布に大きく依存することを示しています。例えば、特定の予測を「単一のベースライン（例：一人の平均的な人物）」と比較する場合と、「相関のあるベースライン（通常一緒に現れる特徴量がセットで維持される状態）」と比較する場合では、全く異なる結果が得られる可能性があります。彼らのシミュレーションでは、相関のあるベースラインを使用するとスコアが劇的に変化し、時には特徴量の重要性が完全に逆転することさえあることが分かりました。また、数千もの特徴量がある場合に、すべての組み合わせをチェックすることが不可能であるという事実をどのように扱うかについても探求しています。彼らは、盲目的にすべてをチェックする代わりに、よりスマートなサンプリング手法（例：最も重要な「低次」の相互作用を最初に見つけること）を使用して、永遠に待ち続けることなく十分な答えを得ることができると示唆しています。

結局のところ、この論文はSHAPを使うための唯一の完璧な方法を見つけたと主張しているわけではありません。むしろ、ユーザーがソフトウェアを実行する際に、しばしば気づかないうちに下している技術的な決定を明確にしているのです。著者たちは、AIモデルを説明することと感度分析とのつながりは、将来より良い手法につながる可能性のある魅力的なものであると示唆しています。しかし、あらゆる状況において「正しい」シャプレイ値が存在するわけではないとも警告しています。「正しい」答えは、あなたがどのような問いに答えようとしているのか、そして比較対象としてどのような背景データを選ぶのかによって決まります。したがって、SHAPはブラックボックスの中を覗き見る助けにはなりますが、この論文は、私たちが見ている光をどのように解釈するかについて、依然として注意が必要であることを思い出させてくれるのです。