技術的概要：ECSEL – 符号式方程式学習による説明可能な分類

問題提起

現代の機械学習は、しばしば説明可能性を犠牲にして予測性能を優先する。深層ニューラルネットワークは高い精度を達成するが、「ブラックボックス」として機能し、予測の背後にある推論を不明瞭にする。医療、金融、人事などの高リスク領域では、正確さと同様に、意思決定プロセスの理解が極めて重要である。記号回帰（SR）は、明示的な数学的式を生成することで本質的に解釈可能なモデルを提供するが、従来の SR 手法（遺伝的プログラミングなど）は、計算コストの高い確率的ヒューリスティックに依存しており、高次元データセットでは困難に直面し、データに普遍的に存在する構造的パターンを活用できない。さらに、既存の SR 手法は一般目的のツールとして設計されることが多く、ブラックボックスモデルに適用される事後説明手法（LIME、SHAP など）は、信頼性が低かったり誤解を招いたりする可能性がある。

手法

本論文は、ECSEL（符号式方程式学習による説明可能な分類）を導入する。これは、符号式方程式の形式で形式的な式を学習し、分類器および説明の両方として機能する手法である。

中核的な定式化

符号式関数は、実数値の係数と指数を持つべき乗項の有限和として定義される：
$$z(x) = \sum_{k=1}^{K} \alpha_k \prod_{j=1}^{m} x_j^{\beta_{k,j}}$$
ここで、$x$ は特徴ベクトル、$\alpha_k$ は係数、$\beta_{k,j}$ は指数である。

ECSEL アーキテクチャ：

1. クラス固有スコア： $C$ クラスの多クラス問題に対して、ECSEL は各クラス $c$ に対して特定の符号式スコア関数 $z_c(x)$ を学習する。
2. 確率変換： クラス確率は、クラス固有の符号式スコアに対して softmax 関数を適用することで導出される。二値の場合にはシグモイド関数が適用される。
3. 前処理： 実数値の指数は正の引数を必要とするため、特徴量は $x_{ij} > 0$ となるようにアフィン変換（例：$[1, 10]$ へのスケーリング）を介して前処理される。
4. 学習目的： モデルは、指数（$\beta$）に適用される $\ell_1$ 正則化項付きの交差エントロピー損失を最小化することで訓練される。これによりスパース性が促進され、無関係な指数がゼロに駆動され、より少ない活性特徴量を持つコンパクトで解釈可能な式が得られる。
5. 最適化： 著者は、数値的安定性技術（対数変換）と組み合わせた勾配ベースの最適化（勾配クリッピング付き Adam）を採用する。記号回帰タスクでは、マルチスタート段階的最適化戦略が用いられる（構造発見のための Adam に続き、L-BFGS による微細化）。

理論的基盤

本論文は、符号式関数が正の象限のコンパクト部分集合上で万能近似性を有することを確立している。対数変換を介して符号式を線形関数の指数にマッピングすることで、著者は符号式が任意の連続関数を任意の精度で近似できることを証明しており、これにより符号式はニューラルネットワークと並んで万能近似器として理論的位置づけられるが、乗法的べき乗則関係に特化している。

解釈可能性の特性

ECSEL は、その閉形式の構造から直接 3 つレベルの説明を導き出し、サンプリングベースの事後手法の必要性を回避する：

1. グローバル特徴挙動：
   • 弾性（G1）： クラススコアに対する特徴量の対数 - 対数微分は、比例感度に対する閉形式の尺度を提供する。単一項モデル（$K=1$）の場合、これは定数であり指数に等しい。
   • 反事実的推論（G2）： 特徴量を因子 $q$ でスケーリングする効果は、再学習なしに $z_{new} = \sum q^{\beta} z_{old}$ という式を用いて正確に計算できる。
   • 勾配ベースの感度（G3）： 小さな比例変化に対する一次応答は解析的に導出される。
2. 意思決定レベルの効果：
   • 意思決定境界感度（D1）： クラス間のマージンに対する特徴量の影響は、対数勾配の差によって特徴づけられる。
   • 確率競合（D2）： 予測確率に対する特徴量変化の感度は正確に導出され、正規化を介して特徴量がどのように競合するかを示す。
3. ローカル特徴帰属：
   • 対数空間加法性（L1）： 単一項モデルの場合、対数スコアは対数空間で正確に加法的であり、SHAP 値に類似する。
   • 勾配ベースのローカル帰属（L2）： 多項モデルの場合、ローカル帰属は基準点周りで一次線形化によって得られ、推定近似ではなく正確な閉形式勾配を提供する。

主要な貢献

1. 符号式構造の特定： 著者は、記号回帰ベンチマーク（例：AI Feynman 方程式の 45%）において符号式関数が普遍的な構造であることを特定し、この構造を直接活用する ECSEL を提案する。
2. 効率的な回復： ECSEL は、DGSR、NGGP、NeSymRes などの最先端手法よりも SR ベンチマークにおいてターゲット方程式をより頻繁に回復し、かつ大幅に少ない計算時間を要する。
3. 競争力のある分類： ECSEL は、解釈性を犠牲にすることなく、ロジスティック回帰、ランダムフォレスト、XGBoost、SVM、MLP などの確立された機械学習モデルと競争力のある分類精度を達成する。
4. 形式的解釈可能性： この手法は、モデルパラメータから導出され、サンプリングに依存しない、グローバル特徴挙動分析、意思決定境界分析、ローカル特徴帰属を可能にする解析的性質を満たす。
5. 実世界での有用性： 電子商取引および不正検出に関するケーススタディを通じて、著者は ECSEL が学習した方程式がデータセットのバイアスを露呈し、反事実的推論を支援し、実行可能な洞察をもたらすことを実証する。

実験結果

記号回帰ベンチマーク

AI Feynman、Livermore、Jin、Korns データセット（合計 58 式）で評価：

• 回復率： ECSEL はグローバル平均回復率**95.86%**を達成し、DGSR（59.10%）、NGGP（58.54%）、NeSymRes（56%）を大幅に上回った。
• 計算時間： ECSEL の方程式あたりの平均時間は86.4 秒であり、DGSR（612.9 秒）、NGGP（468.7 秒）、NeSymRes（126.3 秒）と比較して短い。
• 数値精度： 正確な記号的回復が失敗した場合でも、ECSEL は通常、ほぼ完璧な数値近似（$R^2 \approx 1$）をもたらした。

分類ベンチマーク

11 の標準的な二値および多クラスデータセット（ILPD、COMPAS、LOAN、SKINNONSKIN など）で評価：

• 性能： ECSEL は 11 のデータセットのうち 4 つで最高 F1 スコアを達成し、11 のうち 9 つで最良の手法から 1 パーセントポイント以内の順位を記録した。
• 少数クラスのリコール： ECSEL はクラス不均衡の処理において優れた性能を示し、ILPD（XGBoost の 6.06% 対 42.42%）や TRANSFUSION（38.89% 対 41.67%）などのデータセットで有意に高い少数クラスリコールを達成した。
• 効率性： 訓練時間はロジスティック回帰などのベースラインよりも長い場合があるが、コストは説明から訓練へシフトしている。訓練後、すべての帰属は閉形式でほぼゼロのコストで得られるのに対し、ブラックボックスモデルは高価な SHAP/LIME 計算を必要とする。

ケーススタディ

1. オンラインショッピング意図： ECSEL は 7 特徴量の符号式を学習し、「ExitRate に対する PageValue」を支配的な予測因子として特定した。これは競争力のある少数クラスリコール（75.7%）を達成し、正確な反事実的推論と局所分解を提供し、安定性と計算コストの面で LIME を上回った。
2. PaySim 不正検出： 630 万件の取引（不正率 0.13%）を含むデータセットにおいて、ECSEL は**79.08%の F1 スコアと94.27%**の精度を達成した。学習された方程式は、「超線形な富ターゲット化メカニズム」（発信元口座残高に対する指数 1.42）を明らかにし、不正行為者が高価値口座を不均衡に狙っていることを示した。ECSEL の性能は深層記号分類（DSC）と競争力があったが、より厳格な方法論的妥当性（時間的データリーケージなし）を遵守していた。

意義と主張

本論文は、ECSEL が記号回帰の解釈可能性と現代分類の実践的ニーズの間のギャップを埋めると主張している。計算効率と透明な意思決定を組み合わせることで、ECSEL は高リスク領域におけるブラックボックスモデルに対する実行可能な代替案を実務者に提供する。著者は、この手法が単にブラックボックスの挙動を近似するのではなく、意思決定ロジックが明示的であり、数学的に厳密で、反事実的推論とバイアス監査をサポートできる本質的に解釈可能なモデルを提供することを強調している。この研究は、単純で適切に選ばれた定式化が本質的なデータ構造を捉え、正確な予測と人間が読み取れる説明の両方を提供しうることを示唆している。