Improved Predictive Performance and Interpretability for Mesomorphic Neural Networks Using Local Fidelity Regularization

技術要約：局所忠実度正則化を用いたメゾモルフィック・ニューラルネットワークの予測性能と解釈性の向上

問題提起
解釈可能なメゾモルフィック・ニューラルネットワーク（IMN）は、ディープラーニングの予測能力と線形モデルの解釈性を橋渡しするために提案された。IMNでは、ニューラルネットワークのバックボーンが線形出力層の重みを動的に生成することで、インスタンスごとの特徴量属性（アトリビューション）を可能にする。しかし、元の定式化には重大な脆弱性が存在する。すなわち、モデルが決定不足（underdetermined）であるという点である。ニューラルネットワークのバックボックは非常に表現力が高いため、すべての説明的分散を単一の重み（多くの場合、切片）に集約し、他の重みを抑制することで、最適な予測性能を達成できてしまう。この「退化的」な挙動は、予測自体は数学的に正確であっても、データ関係に対する解釈が完全に不誠実（unfaithful）なものになるという結果を招く。逆説的なことに、スパース性を促進するために元々提案されたL1正則化が、この問題を悪化させ、このような退化的な構成を助長してしまう。

手法：局所忠実度正則化（LFR）
これを解決するために、著者らは、生成された線形重みを訓練データの局所的な変動に整合させるように設計された新しいペナルティ項である**局所忠実度正則化（LFR）**を導入する。

• 理論的基礎: 理想的には、生成される重み $w_j(x_i, \theta)$ は、各特徴量に対する予測関数の偏微分（$\nabla f(x_i)$）に対応すべきである。しかし、解析的な勾配に依存することは計算コストが高く（二重のバックプロパゲーションを必要とする）、また微小なノイズを捉えやすく、マクロな傾向を捉えるには不向きである。
• SMOTEに着想を得た補間: これらの問題を克服するため、LFRは厳密な微分を回避する。代わりに、SMOTE（Synthetic Minority Over-sampling Technique）に着想を得た戦略を用いて、アンカーポイント $x_i$ の周囲に局所的な近傍を構築する。与えられたアンカーに対し、$K$ 個の合成サンプル $\tilde{x}_k$ が、隣接するデータ点との線形補間によって作成される：$\tilde{x}_k = x_i + \alpha_k(x' - x_i)$。
• ペナルティ: LFR損失（$L_{LFR}$）は、アンカー $x_i$ における線形近似（生成された重みを使用）が、これらの合成点におけるフルニューラルネットワークの予測に対して正確に外挿されることを強制する。このペナルティは、合成近傍全体における線形外挿とフルネットワークのフォワードパスとの間の平均二乗誤差である。
• 最適化: 全体の目的関数は、元の予測損失、L1スパース性ペナルティ、および新しいLFRペナルティを組み合わせる。著者らは、予測性能（例：AUROCまたは$R^2$）と説明の忠実度（不誠実度の未正則化モデルに対する減少分として測定）のバランスをとる複合スコア $S(\gamma)$ を用いたチューニング戦略を提案している。

主な貢献

1. 新しい正則化メカニメント: 局所的な忠実度制約を通じてデータの幾何学的構造に解釈を接地させることで、重みの崩壊を防ぐLFRの導入。
2. 二重の性能向上: LFRが解釈性の欠陥を解決するだけでなく、最先端のブラックボックスモデルに匹敵する結果をもたらし、予測性能を一貫して向上させることを示す実証的証拠。
3. オープンソース実装: scikit-learnスタイルのAPIを備えた、LFR-IMNフレームワークのモジュール化されたPython実装の公開。

実験結果
提案手法は、合成および実世界のベンチマークを用いて評価された。

• 合成実験: 正解の局所効果（相互作用項を含む）を持つ合成データセットにおいて、未正則化のIMNは真の効果を回収できず、特徴量の重みをほぼゼロにし、その大きさを切片に吸収してしまった。対照的に、LFR-IMNは真の局所勾配を正常に回収した。注目すべきは、複雑なTabResNetバックボーンを使用した場合、LFR-IMNは未正則化のIMN（0.0444）と比較して、有意に低いテストMSE（0.0244）を達成したことであり、これは解釈性の制約が汎化性能を向上させ得ることを示している。
• XAI-Benchによる評価: 正解の重要度が既知であるXAI-Benchフレームメントを用い、LFR-IMNを未正則化IMNおよびブラックボックスモデルに適用された標準的な事後説明手法（LIME, SHAP）と比較した。研究では、局所勾配の正確さを測定するために新しい指標である**スケールド・インフィデリティ（Scaled Infidelity）**を使用した。結果は、LFR-IMNが予測精度（AUROC）を維持または向上させつつ、極めて忠実な説明を提供することを示した。
• 実世界ベンチマーク: OpenMLベンチマークスイート全体にわたる評価により、LFR-IMNは、説明性のために精度を犠牲にすることなく、CatBoostやTabNetのようなトップティアの手法と非常に競争力のあるAUROCスコアを達成した。

意義と主張
本論文は、LFR-IMNが二重の利益を提供すると主張している。すなわち、退化的な解をモデルが利用することを防ぐことで、信頼できる忠実な解釈を保証し、同時に予測性能を向上させることである。著者らは、解釈性と精度の間にトレードオフがあるという一般的な仮定に反して、局所的な忠実度を強制することが、より堅牢な決定境界につながる可能性があると論じている。この手法は、高い性能と信頼できる説明の両方が前提となる、ヘルスケアや金融などの安全性が重視されるアプリケーションのための実用的なソリューションとして提示されている。本研究は、普及とさらなる研究を促進するために、オープンソースのリポジトリによってサポートされている。