Estimand-Relative Validity and Context-Driven Instability of Shapley Explanations for Tabular Foundation Models
本論文は、表形式基盤モデルに対するShapley説明の妥当性と安定性が、意図された推定量に対する除去演算子の選択に決定的に依存しており、かつインコンテキスト事例の影響を大きく受けることを示し、信頼できる解釈のためにはこれらの要因を明示的に指定する必要があることを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
人工知能の世界には、固定されたルールを暗記するのではなく、例示から学習するように設計されたモデルのクラスが増えています。教科書を何年も勉強する代わりに、たった1ページのノートと新しい問いを渡され、そのページだけを使って即座に問題を解くよう求められた学生を想像してみてください。これが、現代の表形式データ用「基盤モデル」の仕組みです。これらのモデルは、コンテキストと呼ばれるラベル付きの少数の例と、新しいクエリを受け取り、内部のコードを一切変更することなく予測を行います。これほど柔軟なシステムであるため、研究者たちは、なぜモデルがそのような選択をするのかを理解しようと長年試みてきました。彼らは、公平な貢献度の分配を行う「シャプレー値」と呼ばれる手法を用いています。もし予測がチームによる共同作業であるならば、この手法は各情報が最終的な結果にどれだけ貢献したかを算出します。しかし、特定の情報がどれほど重要であるかを判断するためには、その情報が欠落していた場合に何が起こるかをまず想像しなければなりません。ここでパズルが生じます。データを一つ取り除いたとき、その空いたスペースをどのように埋めるべきか？ 平均値で埋めるのか、空白にするのか、あるいはパターンに適合する新しい例を用いるのか？ この問いへの答えが、モデルの思考プロセスの物語を全く変えてしまうのです。
エスキシェヒル技術大学のエミン・タリップ・デミルキランによる最近の研究は、このパズルに正面から取り組んでおり、TabPFNやTabICLとして知られるこの種の最も高度なモデルの2つに焦点を当てています。研究者は、欠損データの補完方法の選択がモデルの決定に関する説明を変化させるのか、そして周囲の詳細がわずかに変化しても、それらの説明が安定しているのかを知りたいと考えました。これを見極めるため、チームは、正解が設計通りに既知である合成データと、実世界のデータセットの両方を用いて、綿密に計画された大規模な一連のテストを実施しました。彼らは、単純な平均化から、欠損した要素を取り除いた状態でモデルに状況を再評価させるより複雑な手法に至るまで、5つの異なる欠損情報の扱い方をテストしました。その結果、驚くべき事実が明らかになりました。これらモデルを説明するための「唯一の最善の方法」というものは存在しないのです。ある種類の問いに対して最も正確な説明を生み出す手法が、別の問いに対しては最悪の結果をもたらすことがよくあります。
この研究によれば、手法の選択は、どのような問いに答えようとしているかに完全に依存します。もし、介入して特定の値を変更した場合にモデルがどのように振る舞うかを知りたいのであれば、欠損データを平均値や標準的なプレースホルダーで置き換えるだけの方法が最も正確な説明をもたらします。しかし、提示されたデータ内の特定の関係性に基づいてモデルがどのように推論しているかを知りたいのであれば、欠損した要素を取り除いた状態でモデルに再コンテキスト化させる方法が最善の説明となります。実際、研究者たちは、一つの目的において優れたパフォーマンスを示した手法が、もう一方の目的においては最悪のパフォーマンスを示すことを観察しました。これは、説明とはモデルの固定された属性ではなく、問いかけられる特定の質問に相対的なものであることを意味します。欠損データがどのように扱われたか、そしてどのような種類の回答が求められているのかを正確に指定しなければ、その説明を信頼することはできません。
どの手法を使うべきかという問いを超えて、この研究は、環境が変化したときにこれらの説明がどの程度安定しているかも調査しました。これらのモデルにおいて、予測はコンテキストを構成するために選ばれた特定の例に大きく依存します。研究者たちは、列の順序を変えたり、ラベルのコーディング方法を変えたり、モデルを開始するために使用する乱数のシードを変更したりすることで、説明が変わるかどうかをテストしました。その結果、これらの要因が説明に与える影響はほとんどないことが分かりました。代わりに、説明は圧倒的に、コンテキストの中に引き込まれた特定の例によって支配されていました。言い換えれば、説明はモデルが現在見ている特定の例に対しては非常に敏感ですが、その他の技術的なバリエーションに対しては驚くほど安定しています。このことは、説明の信頼性はモデル自体だけでなく、提供された特定のコンテキストに結びついていることを示唆しています。
研究者たちはまた、データに全く有用な情報を含まない特徴量、いわゆる「ダミー変数」を追加することで、安全性のチェックも行いました。彼らは、モデルがこの特徴量を無視し、重要度をゼロに割り当てることを期待していました。しかし、実際には両方のモデルとも、この無用な特徴量に反応して頻繁に予測を変更し、それに重要な重みを割り当てていました。これは、これらの強力なモデルがノイズによって容易に左右される可能性があり、その説明もこの敏感さを反映していることを示しています。本研究は、こうしたAIシステムにとって、説明とは独立した事実ではないと結論付けています。それは、欠損情報の扱い方、問いかけられる特定の質問、そしてモデルが現在考慮している特定の例に依存する、脆弱な構成物なのです。これらのモデルを理解するためには、単一の普遍的な説明を探すのではなく、正確にどのような種類の説明が必要であり、どのような条件下でそれが成立するのかを問い始めなければなりません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。