🤖 machine learning

A Geometric View of Counterfactual Behavior: Interaction of Boundary Proximity and Local Support

本論文は、反事実的振る舞い、具体的には意味のある入力変化の実現可能性と距離が、予測性能とは異なる次元であることを示しており、それは決定境界への近接性と局所的なデータの支持との相互作用によって駆動され、同一の精度を持つモデル間であっても大きく変動し得るものであることを明らかにしている。

原著者： Ioanna Gemou, Matteo Gamba, Randall Balestriero, Ritambhara Singh

公開日 2026-06-04

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ioanna Gemou, Matteo Gamba, Randall Balestriero, Ritambhara Singh

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

想像してみてください。あなたは、写真を見てそれが何かを当てる、とても賢いロボットを持っています。あなたはこう知りたくなりました。「どんな小さな変化があれば、このロボットは考えを変えてしまうのだろう？」例えば、ロボットがその写真を「猫」だと思っているとき、どんなわずかな調整をすれば「犬」と言い出すでしょうか？これは「反事実的説明（counterfactual explanation）」と呼ばれるものです。

この論文は、なぜあるロボットは簡単に意見を変えられてしまうのか、一方で別のロボットはなぜ頑固なのかを調査する、探偵物語のような研究です。たとえ両者が、最初に正解を当てる能力において同等に優れていたとしても、です。

以下に、簡単な比喩を用いて解説します。

1. 設定：地図とフェンス

ロボットの脳を、巨大な地図（「表現空間」と呼ばれます）だと考えてください。

エンコーダー（Encoder）： これは、写真を地図上の「点」へと変換する部分です。
分類器（Classifier）： これは、地図の上に猫と犬を分けるためのフェンス（決定境界）を描く部分です。

この論文が問いかけているのは、「もし二つのロボットが同じ地図を持ち（世界を同じように見ており）、かつ正解率も同じであるなら、なぜ一方はわずかな後押しで考えを変えてしまい、もう一方は大きな突き飛ばしを必要とするのか？」ということです。

2. 二つの秘密：フェンスと群衆

著者たちは、答えが二つの要素の相乗効果にかかっていることを発見しました。

秘密その1：フェンスにどれだけ近いか？（境界への近接性）
もしあなたの「点」が、猫と犬の間のフェンスのすぐ隣にあるなら、ほんの少しステップを踏むだけで境界を越えられます。もしあなたが「猫」のゾーンのど真ん中に深く入り込んでいるなら、境界を越えるためには長い距離を歩かなければなりません。
秘密そのその2：向こう側に群衆が待っているか？（局所的なデータの支持）
ここがひねりです。単にフェンスを越えるだけでは不十分です。想像してみてください。あなたがフェンスを越えて「犬」のゾーンに入ったとしても、そこが本物の犬が一人も住んでいない、荒涼とした空っぽの砂漠だったとしたらどうでしょう。それは良くない説明です。なぜなら、それは現実的な「犬」ではないからです。
「良い説明」とは、フェンスを越えた先で、本物の犬たちの群衆の真っ只中に着地することです。

論文の大きな主張： 良い、現実的な答えを得るためには、「フェンスに近いこと」と「相手側の群衆に近いこと」の両方が必要です。

3. 驚き：スコアは同じ、振る舞いは別物

研究者たちは、多くの異なるロボット（形、手書き数字、医療用X線、映画レビューの画像などを使用）をテストしました。

発見： 彼らは、全く同じテストスコア（例：正解率90%）を持つペアのロボットを見つけました。
ひねり： それほど賢さは変わらないにもかかわらず、一方のロボットは意見を変えやすく、もう一方は変えにくいことが分かりました。
なぜか？： それは、ロボットが世界を捉え方が違ったからではありませんでした。それは、彼らが描いたフェンスが、群衆に対して異なる場所に配置されていたからです。あるロボットはフェスのすぐ隣に線を引いていました。別のロボックは、空っぽの場所に線を引いていました。

4. 「フェンス移動」実験

これを証明するために、彼らは一つのロボットの「地図」を固定し（世界の見方を変えられないようにし）、ただフェンスを書き直すという実験を行いました。

結果： フェンスを動かすだけで、ロボット全体の正解率は全く同じまま、そのロボットを突然「騙しやすい」状態にしたり、「騙しにくい」状態にしたりすることができました。
教訓： ロボットがどのように世界を見ているかと同じくらい、どのように線を引くかが重要なのです。

5. なぜこれが重要なのか（「なぜ私が関心を持つべきか？」）

この論文は、AIの決定を説明しようとする際、単にAIの正確さだけを見るのではなく、その幾何学的な構造（地図とフェンスの形）を見る必要があることを示唆しています。

彼らはさらに、ロボットの探索アルゴリズムに対して「単にフェンスを越えるだけでなく、群衆を目指せ」と指示すると、より優れた、より現実的な答えが見つかることも示しました。これは、道に迷ったハイカーに「川を渡るだけでなく、渡った後にそのまま村に向かって歩きなさい」と伝えるようなものです。

一文でのまとめ

二つのロボットは、同じくらい賢かったとしても、一方は決定線が群衆のすぐ隣にあり、もう一方は空っぽの砂漠に線があるために、一方は説得しやすく、もう一方は説得しにくいことがあります。優れた説明を得るためには、線と群衆の両方を見なければなりません。

技術要約：反事実的挙動の幾何学的視点

問題提起
反事実的説明（Counterfactual explanations）は、モデルの予測を変更させるような、意味のある小さな入力の変化を特定することを目的としている。これらは機械学習システムの監査において広く用いられているが、現在の手法は、多くの場合、タスク固有の実現可能性によって制約された局所的な最適化問題として反事実生成を扱っている。しかし、予測を変更する摂動（perturbation）が存在したとしても、それが信頼領域（locality budget）内にあったとしても、データの支持（data support）が弱い領域に位置する場合、現実的な代替案とはなり得ない。さらに、予測性能がほぼ同一であるモデルであっても、反事実的な挙動は大きく異なる場合がある。本研究では、なぜこのような不一致が生じるのかを調査し、反事実的な挙動は予測精度のみの関数ではなく、表現空間内における**決定境界への近接性（decision-boundary proximity）と局所的なデータ支持（local data support）**の間の幾何学的な相互作用によって支配されているという仮説を立てている。

手法
著者らは、多様なドメイン（視覚、言語、医療画像、マルチモーダル）にわたって反事実的挙動を評価するための、幾何学的フレームワークと標準化された局所探索プローブを提案している。

幾何学的フレームワーク:
- 決定境界への近接性 ($dbd(z)$): 上位2つの予測クラスのロジット・ギャップの一階線形近似を用いて近似される、最近接決定境界までの距離として定義される。
- 局所ターゲットクラス支持 ( $r_k(z)$ ): 埋め込み空間におけるターゲットクラスのリファレンスセット内の、 $k$ 番目に近い近傍点から埋め込み $z$ までのユークリッド距離として定義される。これは、ターゲット領域がデータによって高密度に占有されているかどうかを測定するものである。
- 仮説: 本研究では3つの仮説を検証する。(H1) 精度が一致したモデル間でも反事実的挙動は異なる。(H2) 固定された埋め込みの下で分類器のヘッドを変更すると、反事実的挙動が変化する。(H3) 境界の近接性と局所的支持の相互作用が、反事実的な結果を予測する。
実験設定:
- エンコーダ: 本研究では、Shapes、MNIST、Chest X-ray、IMDb、MM-IMDbなどのデータセットを用い、いくつかの学習済みエンコーダ（例：ResNet-50, ViT, BERT, CLIP, SigLIP2）を評価する。
- 分類器ヘッド: 固定された埋め込みに対して線形分類器を学習させる。境界の配置による影響を分離するため、著者らは同じ埋め込みに対し、異なる初期化や正則化強度（重み減衰）を用いて複数のヘッドを学習させている。
- 探索プロトコル: 標準的な投影勾配降下法（projected gradient descent）を用い、固定された信頼領域（ $\tau$ ）および反復回数の予算内で、予測の変化を見つける。
- 指標: 反事実的成功率（CF-Suc）、反事実的距離（CF-Dist）、および最適化努力量（OptEff）。

主な貢献

幾何学的フレームワークとプローブ: 境界の近接性と局所的なデータ支持の相互作用に基づき、単純な予測指標を超えて反事実的挙動を評価するための、標準化された手法の導入。
境界効果の分離: 固定された表現の下で、分類器のヘッドのみを変化させることで（初期化や正則化を通じて）、予測精度をほとんど変えることなく、反事実的成功率や距離を大幅に変え得ることを実証した。
結合的な予測力: 決定境界の近接性だけでは不十分であり、境界の近近性と局所的支持の組み合わせが、反事実的な実現可能性と努力量の変動を説明するために必要であることを示した。

結果

精度が一致したモデル間の乖離: 最小限の精度差（例：<0.02）を持つモデルであっても、反事実的挙動には大きな不一致が見られた。例えばMNISTにおいて、0.01の精度差しか持たない2つのモデル間で、反事実的成功率に65パーセントポイントの差が生じた。
分類器の感度: エンコーダを固定し、線形分類器のヘッドのみを変化させた場合、精度が安定しているにもかかわらず、反事実的成功率は著しく変動した（例：CF-Sucの差が0.12から0.32）。正則化を強めることは平均的な境界距離を変化させ、それが反事実的成功率の低下と単調に相関した。
挙動の予測モデリング: 精度やクロスエントロピー損失のみを用いた回帰モデルでは、反事実的な結果の分散をほとんど説明できなかった。しかし、$dbd(z) $と$ r_k(z) $を組み込んだモデルは、有意に高い$ R^2$ スコアを達成した。具体的には、境界の近接性に局所的なデータ支持を加えることで、すべてのデータセットにおいて予測力が一貫して向上した。
支持された転移 vs 支持されない転一: 本研究では、「支持された転移（サポートされた領域への到達）」と「支持されない転移（疎な領域への境界越え）」を区別している。効果的な反事実的挙動は、単に境界を越えることではなく、支持された領域に到達することに強く依存することが判明した。
幾何学による探索の改善: MNISTにおけるケーススタディにおいて、反事実探索の目的関数に幾何学的事前知識（ターゲットクラスの近傍点への距離をペナルティ化する）を付加することで、標準的なベースラインが失敗した場面でも探索結果を改善することに成功し、これらの幾何学的信号の実用的な有用性を実証した。

意義と主張
本論文は、反事実的挙動は予測性能やマージンに基づく堅牢性とは別の、独立した次元を構成すると主張している。著者らは以下の通り述べている：

反事実的な実現可能性は、機能的に類似したモデル間で不変ではない。それは、分類器がデータの局所構造に対してどのように境界を配置するかに決定的に依存する。
標準的な予測指標（精度、損失）は、反事実的説明やリカース（救済）システムを監査するには不十分である。
境界の近接性と局所的支持の相互作用を理解することは、モデル選択、堅牢性分析、およびより信頼性の高い反事実的手法の設計において不可欠である。
これらの知見は、生成された説明がデータ分布によって支持された領域内に存在することを保証するために、将来の反事実的手法が明示的に局所的なデータ支持を考慮すべきであることを示唆している。

本研究は、これらの幾何学的要因が現在の線形ヘッドの設定における変動を説明する一方で、この視点をエンドツーエンドの非線形モデルへと拡張し、幾何学を考慮した反事実的目的関数を開発することが今後の研究課題であると結論付けている。