技術要約：加法分解を超えて：分離可能性による解釈可能性

問題提起

解釈可能な機械学習は、予測精度と構造的な透明性の間の根本的な緊張関係に直面している。深層ニューラルネットワークや勾配ブースティングアンサンブルのような「ブラックボックス」モデルは、最先端の性能を達成する一方で、読み取り可能な構造を欠いている。対照的に、一般化加法モデル（GAM）のような「グラスボックス」モデルは透明性を提供するが、複雑な相互作用を捉えきれなかったり、誤設定されたパラメトリックな仮定に依存したりすることが多い。

SHAPやIntegrated Gradientsといった事後的な説明手法や、グラスボックスモデルを含む現在の解釈可能性手法は、主に加法的な分解に依存している。著者らは、加法的表現は強い相互作用が存在する場合に決定的な失敗モードに陥ると主張している。

1. 信号の相殺（Signal Cancellation）: ローカルなSHAPによる説明は、主効果と相互作用効果を相殺してしまい、活性化している特徴量に対してゼロの寄与度を与えてしまうことがある。
2. 相互作用のマスキング（Interaction Masking）: 部分依存プロット（PDP）は他の特徴量について周辺化を行うため、高次の相互作用情報を事実上破棄し、主効果のみを回収してしまう。
3. サポート外への外挿（Off-Support Extrapolation）: 相関のある特徴空間における周辺平均化は、低密度領域において偽のパターンを引き起こす可能性がある。

これらの限界は、加法的な投影が、情報損失なしに乗法的または分離可能な相互作用構造を忠実に表現できないという固有の能力不足に起因すると、本論文は断じている。

手法：テンソル分離学習 (Tensor Separation Learning: TSL)

著者らは、各特徴量の単変量関数のランク1の積の和を学習するように設計された回帰モデルである、**テンソル分離学習（TSL）**を提案する。標準的な分離可能モデルとは異なり、TSLは安定性と解釈可能性を確保するために特定の構造的制約を課している。

モデル定式化

TSL推定量 $\hat{m}(x)$ は、$R$ 個のステージの和として定義される。各ステージ $\ell$ は、2つの正の分離可能な積の差である：
$$\hat{m}(x) = \sum_{\ell=1}^{R} \left( \lambda^{(\ell)}_+ \prod_{j=1}^p \hat{m}^{(\ell)}_{+,j}(x_j) - \lambda^{(\ell)}_- \prod_{j=1}^p \hat{m}^{(\ell)}_{-,j}(x_j) \right)$$
主な制約は以下の通りである：

• 正値性（Positivity）: すべての成分関数 $\hat{m}^{(\ell)}_{\pm,j}(x_j)$ は、厳密に正（$>0$）であるよう制約される。これにより、各成分がその積を増幅または抑制することが明確になり、制約のない積に内在する符号の曖昧さが排除される。
• 順序付き差（Ordered Difference）: 各ステージは2つの正の項の差であり、これにより、正の因子を維持しながら符号付きの寄与を表現することが可能になる。

パラメータ化：バックボーンとティルト (Backbone and Tilt)

解釈性を高めるために、著者らは各ステージの各特徴のペアに対してバックボーン/ティルトの再パラメータ化を導入している：
$$\hat{m}^{(\ell)}_{\pm,j}(x_j) = b^{(\ell)}_j(x_j) e^{\pm d^{(\ell)}_j(x_j)}$$

• バックボーン ($b$): ステージの共有された大きさ、あるいは「活動ゲート（activity gate）」を表す。ステージがどこで活性化するか（ゼロに近い値はステージをオフにする）を決定する。
• ティルト ($d$): 正の枝と負の枝の間の符号付きの不均衡を表す。寄与の方向性を制御する。

この分解により、影響の大きさと、その符号付きの方向が分離される。これにより、相殺によって純粋な符号付き寄与がゼロに近い場合でも、忠実な可視化が可能となる。

フィッティング手順

TSLは、直交再適合（orthogonal refitting）を伴う**ステージごとの貪欲な手順（stagewise greedy procedure）**を採用している：

1. ステージごとのフィッティング: 各ステージ $\ell$ において、モデルはCART（分類回帰木）に着想を得たグリッドテンソル精緻化を用いて、現在の残差をフィッティングする。これは適応的な分割上で、区分定数の単変量関数を学習する。
2. バギングと集約: 分散を抑えるため、ブートストラップサンプル上で複数のグリッドテンソルが並行してフィッティングされる。参照グリッドへのアンカリングと外れ値のフィルタリングを用いた類似性ベースの集約スキームにより、これらを単一のステージ予測器へと結合する。
3. 直交再適合: 新しいステージをフィッティングした後、すべてのステージ係数 $\{\lambda^{(k)}_\pm\}$ は、ターゲット $y$ に対して最小二乗法を用いて共同で最適化される。このバックフィッティングにより、係数が現在のステージ集合に対して最適であることが保証される。

主な貢献

1. テンソル分離学習 (TSL): 正のランク1分離可能積の差の和として条件付き平均を推定する、新しい回帰アルゴリズム。
2. モデルネイティブな解釈可能性: 著者らは、TSLにおいては、適合されたモデルが（定数倍を除いて）一次の部分依存関数から正確に再構成できることを証明している。事後的な手法とは異なり、TSLの可視化（1次元の部分依存曲線）は近似ではなく、適合された成分の忠実な表現である。バックボーン/ティルトの分解により、実務家は大きさ（活動）と方向（符号付きの不均衡）を区別することができる。
3. 近似理論: 本論文は、混合 $p$ 次偏微分を持つ関数（具体的にはソボレフ空間 $W^{(1,1)}_{mix}$）に対するTSL仮説クラスの $O(1/\sqrt{r})$ 近似率を、直交貪欲近似（OGA）の枠組みを用いて確立している。

実験結果

著者らは、OpenML CTR 23 回帰スイート（27個のデータセット）を用いて、TSLを最先端のベースラインと比較評価した。

• ベースライン: ブラックボックスモデル（XGBoost, LightGBM, Random Forest）および解釈可能なモデル（Explainable Boosting Machines (EBM)、およびTSLの制約を持たない分離可能モデルであるSepALS）。
• 性能: TSLは競争力のある予測性能を達成している。解釈可能なモデルのグループにおいて、TSLは27個中17個のデータセットでトップ3に入り、5個のデータセットでは最高の解釈可能モデルであった。
• 比較分析:
  • TSLは、強固な低ランク分離構造を持つデータセット（例：socmob, California housing）において、EBMや決定木アンサンブルを上回る。
  • California housing において、TSLはEBMやXGBoostが平滑化したり孤立させたりすることに失敗する、局所的で非単調な空間的相互作用（例：沿岸部のプレミアム）を捉える。
  • 合成ケーススタディ: 強力な二次効果が三次相互作用によって隠され（結果として1次元の部分依存がゼロになる）、標準的なPDPやICE曲線が信号を明らかにできない合成例において、TSLはそのバックボーン曲線を通じて基礎となる大きさを正常に回収した。
  • アブレーション: 正値性の制約と順序付き差の構造（TSL 1-product）を取り除くと、性能が著しく低下した。これは、これらの制約が表現の柔軟性と安定性に極めて重要であることを裏付けている。

意義と主張

本論文は、TSLが「加法的な分解を超えて」解釈可能性への異なる道を提供すると主張している。その主な意義は以下の通りである：

• 忠実な可視化: 分離可能性と正値性を強制することにより、TSLは部分依存プロットが適合された因子の正確な形状を回収することを保証し、加法的な投影における情報損失とマスキングを回避する。
• 相互作用の処理: TSLは、不透明なブラックボックスの説明や高次元プロットに頼ることなく、1次元のサマリー（バックボーンとティルト）を通じて高次相互作用を可視化し理解するためのメカニズムを提供する。
• 競争力のある精度: 分離可能な構造を持つグラスボックスモデルが、強力な決定木アンサンブルのブラックボックスと、回帰ベンチマークにおいて互角に渡り合えることを示しており、「高い精度には解釈可能性の犠牲が必要である」という概念に挑戦している。

著者らは、TSLの近似率が混合滑らかさの仮定に依存すること、および分離可能な表現が非識別性の問題に苦しむこと（上述の特定の集約/フィルタリング手順を必要とすること）を認め、限界については謙虚な姿勢を保っている。また、純粋に加法的な問題においては、既存の手法であるEBMなどが依然として強力なベースラインであり続ける可能性があるとも述べている。