Counterfactual Explanations on Robust Perceptual Geodesics

本論文は、人間の知覚に整合するロバストな視覚特徴から誘導されたリッチマン計量を用いて、モデルの予測変化を最小限の意味的摂動で実現する「知覚的対極測地線（PCG）」を提案し、従来の平坦な幾何学に基づく手法が抱えるオフ・マンホールドのアーティファクトや意味的ドリフトを解消し、より滑らかで意味的に妥当な対極説明を可能にすることを示しています。

要約

🌟 物語の舞台：AI の「迷宮」と「道」

AI が画像を認識する仕組みは、巨大で複雑な**「迷宮（ラビリンス）」の中に隠されています。
例えば、AI が「これは猫だ」と判断したとき、もし「これを犬**に変えたらどうなる？」と聞かれたら、AI はその迷宮の中を移動して「犬」のエリアにたどり着く必要があります。

この「猫から犬へ移動する道」を作るのが、反事実的説明という技術です。

❌ 従来の方法の失敗：「壁をぶち破る」か「迷子になる」

これまでの AI は、この移動をする際に 2 つの大きな失敗を繰り返していました。

1. 壁をぶち破る（現実離れした変化）

   • 従来の方法は、最短距離を直線で移動しようとしすぎます。
   • 例え話： 猫の顔を犬に変えようとして、無理やり耳を切り取り、鼻を貼り付け、背景を消すような「おかしな合成写真」ができてしまいます。人間が見たら「これは猫でも犬でもない、何かの怪物だ」と思うような、不自然な変化です。
   • これを論文では**「オフ・マンフォールド（現実世界から外れた）」**と呼んでいます。

2. 迷子になる（見えない罠）

   • 別の方法は、少しだけ変化させようとしますが、AI の「罠」に引っかかります。
   • 例え話： 猫の顔を少しだけいじっただけなのに、AI は「これは犬だ！」と誤って判断してしまいます。人間には「猫のままに見える」のに、AI は「犬」と見なすような、**「見えない罠（敵対的攻撃）」**に陥ってしまいます。
   • これを**「オン・マンフォールド・アドバーサリアル（現実世界の中に潜む罠）」**と呼んでいます。

---

✨ 新しい方法「PCG」：「自然な道」を歩く

この論文が提案する**PCG（Perceptual Counterfactual Geodesics）は、「AI の迷宮の中にある、人間が自然に感じられる『道』」**を見つける技術です。

🗺️ 1. 「頑丈な地図」を使う（ロバストな計測）

これまでの地図（距離の測り方）は、ピクセル（画素）の色の違いだけで測っていたため、人間には「同じ」に見えるものでも「違う」として扱われていました。
PCG は、**「人間に強い AI（ロバストな AI）」**が持つ「感覚」を地図として使います。

• 例え話： 普通の地図は「色の違い」だけで距離を測りますが、PCG が使う地図は「形や質感の雰囲気」で測ります。これにより、人間が「これは自然な変化だ」と感じる道だけが選ばれます。

🚶 2. 「曲がりくねった道」を歩く（測地線）

最短距離（直線）ではなく、**「地形に沿った最も滑らかな道」**を歩きます。

• 例え話： 山を越えるとき、直線で登ろうとすると崖にぶつかります。でも、山道のカーブに沿って歩けば、自然に頂上（犬のエリア）にたどり着けます。
• PCG は、猫から犬へ変化する過程で、**「耳が徐々に伸びて、毛並みが柔らかく変わる」**ような、一歩一歩が自然な変化を連続的に作ります。

🛠️ 3. 2 段階のステップ

PCG は 2 つのステップで道を作ります。

1. 下見： まず、猫と犬の間の「自然な道」をざっくりと作ります。
2. 微調整： その道の上を歩きながら、「犬に見えるように」ゴール地点を少しずつ調整します。でも、道自体が自然なままなので、ゴールにたどり着いても「不自然な怪物」にはなりません。

---

📊 結果：なぜこれがすごいのか？

実験では、PCG が他の方法よりも優れていることが証明されました。

• 自然さ： 猫から犬へ変化する画像が、まるでアニメーションのように滑らかで、人間が見ても「なるほど、これが犬になる過程か」と納得できます。
• 罠を避ける： AI が「見えない罠」に引っかかることなく、確実に「犬」として認識される変化を作れます。
• 最小限の変化： 必要最低限の変化だけで目的を達成するため、元の猫の姿（表情やポーズ）を壊しません。

💡 まとめ

この論文が言いたいことはシンプルです。

「AI に『もしこうだったら？』と聞かれたとき、無理やり変形させるのではなく、AI の世界にある『自然な道』をたどって答えを出せば、人間にもわかりやすく、AI にも正しい説明ができる」

PCG は、AI のブラックボックス（箱）の中にある、人間が理解できる**「自然な道」**を照らす新しいランタンのようなものです。これにより、AI の判断理由を説明する技術が、より信頼できるものになります。

技術概要

この論文「COUNTERFACTUAL EXPLANATIONS ON ROBUST PERCEPTUAL GEODESICS（頑健な知覚測地線に基づく反事実的説明）」は、深層学習モデルの解釈可能性、特に高次元画像データにおける「反事実的説明（Counterfactual Explanations: CE）」の生成における既存手法の課題を解決する新しい手法「Perceptual Counterfactual Geodesics (PCG)」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

1. 問題定義と背景

反事実的説明は、「入力 $x$ をどのように変更すれば、モデルの予測が望ましいクラス $y'$ に変わるか」を示すものです。従来の手法（Wachter et al. の定式化など）は、通常、入力空間または生成モデルの潜在空間において、分類損失と類似度距離（例：$\ell_2$ ノルム）の和を最小化する最適化問題として扱われます。

しかし、高次元の画像データ領域において、既存の潜在空間最適化手法には以下の3 つの核心的な失敗モードが存在します：

1. 多様体外への移動（Off-manifold Traversal）: 潜在空間の幾何学構造（データ多様体）を無視した最適化により、現実的ではない（不自然な）画像や、データ分布から外れた「多様体外」の敵対的サンプル（Adversarial Examples: AE）が生成される。
2. 局所的な勾配最適化の限界: 単一の点からの勾配降下では、多様体の大域的な構造や「多様体上の敵対的領域（on-manifold AEs）」を見逃し、意味的に遠い結果や、意味は通じるが敵対的な攻撃に利用可能な経路に収束してしまう。
3. 生成器の能力と距離指標の不一致: 高性能な生成器（GAN など）は、不適切な距離指標（画素単位の $\ell_2$ や、脆弱な分類器の機能空間）を悪用し、意味的な変化ではなく敵対的なノイズを埋め込むことで、多様体上であっても敵対的な結果を生成してしまう。

既存の研究では、「多様体外」であることが反事実と敵対的サンプルの区別基準とされることが多いが、実際には「多様体上」に存在する敵対的サンプルも存在するため、この基準では不十分である。本論文は、**「頑健な（Robust）知覚的測地線」**に沿って最適化を行うことで、この「意味的分裂（semantic divide）」を越え、真に意味のある反事実的説明を生成できると主張します。

2. 提案手法：Perceptual Counterfactual Geodesics (PCG)

PCG は、生成モデルの潜在空間を、**頑健な知覚特徴量に基づいて誘導されたリーマン計量（Riemannian metric）**で武装し、その上での測地線（最短経路）を探索することで反事実を生成します。

核心的な技術要素

• 頑健な知覚計量の構築:

  • 通常の画素空間の $\ell_2$ 距離や標準的な分類器の機能空間は、敵対的攻撃に脆弱で人間の知覚と一致しません。
  • 代わりに、敵対的攻撃に対して訓練された**頑健なビジョンモデル（Robust Vision Models）**の中間層活性化空間から、ユークリッド計量を「引き戻し（Pullback）」て使用します。
  • 複数の層（$K$ 層）からの勾配を重み付けして合成した計量 $G_R(x)$ を定義し、これを生成器 $g$ を通じて潜在空間に引き戻すことで、潜在空間計量 $G_Z(z)$ を構築します。
  • この計量は、敵対的な方向（高周波数ノイズなど）に対して高いコストを課し、人間が知覚的に滑らかで意味のある変化に対して低いコストを課すように設計されています。

• 2 段階の最適化プロセス:

  1. フェーズ 1（測地線の構築）: 入力 $x_{orig}$ と、ターゲットクラスの任意のサンプル $x_{tgt}$ の潜在コード $z_0, z_T$ を固定し、それらを結ぶ経路 $\gamma$ 上の中間点を、**頑健な知覚エネルギー（Robust Perceptual Energy）**を最小化するように最適化します。これにより、多様体に沿った滑らかな経路（測地線）が得られます。
  2. フェーズ 2（反事実への収束）: 経路の終点 $z_T$ を解放し、分類損失（ターゲットクラスへの予測）とエネルギー項を同時に最適化します。
     • 再アンカリング（Re-anchoring）: 最適化の過程で、経路上のターゲットクラスに分類される点のうち、入力に最も近い点を新しい終点として選択し、経路を再パラメータ化します。これにより、経路がターゲット領域に深く入り込みすぎず、かつ入力に可能な限り近い位置で反事実を生成するように制御されます。

3. 主要な貢献

1. PCG の導入: STYLEGAN2/3 の潜在空間において、頑健なビジョン特徴量から誘導されたリーマン計量を用いた反事実生成手法を提案しました。これにより、敵対的領域（多様体外および多様体上）を回避し、意味的に整合性の取れた滑らかな遷移を実現します。
2. 知覚的測地線補間: 提案する頑健なリーマン幾何学が、サンプル間の滑らかで意味的に堅牢な補間を可能にすることを示しました。従来のメトリックでは見られる「意味の崩壊」や「敵対的収束」を回避できます。
3. 評価指標の革新: 従来の距離指標（$\ell_2$, FID など）では検出できない失敗モード（多様体上の敵対的サンプル）を露呈させる、**頑健な距離指標（$L_R$）**や、意味的マージン（Semantic Margin）、多様体アライメントスコア（MAS）などの新しい評価基準の重要性を強調しました。

4. 実験結果

AFHQ（動物）、FFHQ（顔）、PlantVillage（植物）の 3 つのデータセットで評価を行いました。

• 定性的結果:
  • 既存手法（REVISE, VSGD, RSGD など）は、不自然な歪み、クラス曖昧性、または敵対的なノイズを含んだ画像を生成する傾向がありました。
  • PCG は、種や属性（例：猫から犬へ、金髪から黒髪へ）を自然に変化させつつ、姿勢や照明、背景を維持し、経路全体で意味的な連続性を保つ結果を生成しました。
• 定量的結果:
  • 距離指標: PCG は、画素単位の $\ell_1/\ell_2$ だけでなく、頑健な特徴空間に基づく距離（$L_R$）においても、既存手法よりも入力に近い値を示しました。特に $L_R$ での差は顕著で、既存手法が「敵対的」であることが浮き彫りになりました。
  • 現実性と忠実性: 頑健な FID（R-FID）や頑健な LPIPS（R-LPIPS）において PCG は最も良いスコアを記録し、生成された画像が敵対的ノイズに汚染されていないことを示しました。
  • 意味的マージン（SM）: PCG は、ターゲットクラスが真に存在する頑健な特徴空間の領域へ移動しており、既存手法が混在領域や非ターゲット領域に留まっていることと対照的でした。
  • 多様体アライメント（MAS）: 変更の方向性が、頑健な特徴空間の接空間（多様体）と強く整合していることを示しました。

5. 意義と結論

この論文は、反事実的説明の生成において、**「距離指標の選択」と「多様体幾何学の考慮」**がいかに重要かを再確認させました。

• 理論的意義: 単に「多様体上にあること」が反事実の十分条件ではなく、**「頑健な知覚的測地線に沿っていること」**が、敵対的サンプルと真の反事実的説明を区別する鍵であることを示しました。
• 実用的意義: 既存の latent-space 最適化手法が抱える「敵対的収束」や「意味の崩壊」という根本的な欠陥を、頑健な特徴量に基づく幾何学的制約によって解決する実用的なアルゴリズムを提供しました。
• 評価の重要性: 従来の画素ベースの評価指標は、敵対的脆弱性を持つモデルに対して過剰に楽観的である可能性を示唆し、頑健なメトリックを用いた評価の必要性を提唱しています。

総じて、PCG は、深層学習モデルの意思決定プロセスを人間が理解可能な形で説明するための、より信頼性が高く、意味的に整合性の取れたアプローチとして、解釈可能性（Interpretability）の分野に重要な貢献を果たすものです。