技術要約：決定木による説明における後方互換性と強化されたCARTアルゴリズム

1. 問題提起

機械学習システムの運用ライフサイクルにおいて、データ分布の変化に伴いモデルの更新は不可欠である。しかし、標準的なモデル更新はしばしばモデルの挙動を大幅に変えてしまい、それがダウンストリームの意思決定を混乱させ、ユーザーの信頼を損なう可能性がある。この問題は、説明可能なAI（XAI）が採用されているリスク感受性の高い領域（例：ヘルスケア、金融）において特に重要である。

後方互換性（モデル更新時におけるモデルの挙動の安定性を定量化すること）に関する既存の研究は、予測の一貫性やSHAPに基づく特徴量の寄与に焦点を当ててきたが、これらのアプローチは決定木ベースの説明に対処できていない。決定木は、特徴量の区間から導出されるif-then-elseルールを通じて透明性を提供する。決定木が新しいデータで再学習される際、予測精度が向上したとしても、分割点や結果として得られる特徴量部分空間（説明）が劇的に変化する場合がある。この説明における後方互換性の欠如は、意思決定支援のために一貫した論理的ルールに依存しているユーザーを混乱させる可能性がある。既存の手法では、これらの決定木構造を持つ説明の安定性を効果的に最適化することができない。

2. 手法

2.1 提案指標：BCLTX

著者は、古い決定木（$T_1$）と新しい決定木（$T_2$）の間で、古いモデルが正解であったサンプルに対する説明の乖離を定量化するために設計された損失指標、**決定木ベースの説明における後方互換性損失（Backward Compatibility Loss in Tree-based eXplanations: BCLTX）**を提案する。

入力 $\mathbf{x}$ に対する決定木の説明は、特定の機能の区間の結合として定義され、下限（$l$）および上限（$u$）のベクトルによって表される。BCLTXは、以下の4つのバリアントを用いて$T_1$と$T_2$の差異を測定する：

1. $\delta_{JAC}$ (Jaccardベース): 説明に寄与する特徴集合（境界が有限であるもの）における対称差を測定する。
2. $\delta_{JLU}$ (Jaccard Lower/Upper): 下限に寄与する特徴と上限に寄与する特徴の対称差を個別に測定する。
3. $\delta_{MAE}$ (平均絶対誤差): 特徴ごとの区間の違いを、標準偏差で正規化し、データの範囲内に制限された絶対誤差を用いて定量化する。
4. $\delta_{MSE}$ (平均二乗誤差): 同様に、二乗誤差を用いて区間の差異を定量化する。

2.2 アルゴリズム：CART-BCTX

BCLTXを最適化するために、著者は標準的なCARTアルゴリズムを拡張した軽量かつ貪欲なアルゴリズムである**CART with Backward Compatibility in Tree-based eXplanations (CART-BCTX)**を提案する。

• 目的関数: このアルゴリズムは、以下の結合目的関数を最小化する：
  $$f(T_1, T_2, D_2, \lambda) = \frac{1}{|D_2|} \sum \ell(T_2(\mathbf{x}), y) + \frac{\lambda}{|D_s|} \sum \delta(T_1, T_2, \mathbf{x})$$
  ここで、$\ell$ はタスク固有の損失（例：0-1損失または二乗誤差）、$D_s$ は古いモデル $T_1$ が正しく予測したサンプルの集合、$\delta$ は選択されたBCLTXのバリアント、$\lambda$ は予測性能と説明の安定性の間のトレードオフを制御する。

• 貪欲な分割選択: 木の成長過程において、CART-BCTXは各ノードにおける現在の特徴量部分空間の境界（$\hat{l}, \hat{u}$）を保持する。候補となる分割を評価する際、アルゴリズムはタスク損失のための「利得（$Gain_\ell$）」と、後方互換性損失のための「利得（$Gain_\delta$）」の両方を計算する。選択される分割は、これらの利得の加重和を最大化するものとなる。

  • $\delta_{JAC}$ および $\delta_{JLU}$ の場合、利得計算は特定の特微量に対する分割点の選択に関して定数である。
  • $\delta_{MAE}$ および $\delta_{MSE}$ の場合、アルゴリズムは、サンプルが分割される際に、自己均衡二分探索木（MAEの場合）または単純な合計更新（MSEの場合）を使用して、利得の変化を効率的に計算する。

• 計算量: CART-BCTXの計算量は、標準的なCARTと同等である。Jaccard、JLU、およびMSEのバリアントについては $O(n m d_2)$ であり（$n$ はサンプル数、$m$ は特徴量数、$d_2$ は木の深さ）、MAEのバリアントについては $O(n m d_2 \log n)$ である。

• 剪定: 著者は、結合された損失関数を剪定基準に組み込むことで、コスト複雑性剪定（CCP）をBCLTXに対応するよう拡張しており、これにより、トレードオフを十分に改善しない部分木の除去を可能にしている。

3. 主な貢献

1. BCLTXの定義: 本論文は、特徴集合と区間境界の違いを捉える、決定木の説明に特化した最初の後方互換性指標を導入する。
2. CART-BCTXアルゴリズム: スケーラビリティを損なうことなく、標準的なCARTフレームワークにBCLTXを統合する、効率的な貪欲更新アルゴリズム。
3. 理論的分析: アルゴリズムが標準的なCARTと同等の計算量を維持し、特定の損失バリアントにおいて高々対数的な増加にとどまることを証明する。
4. 実証的検証: 10個の実世界のデータセット（分類5、回帰5）を用いた包括的な実験により、アルゴリズムの有効性を実証する。

4. 実験結果

UCIおよびKEELリポジトリからの10個のデータセットを用いて、CART-BCTXを標準的なCART更新および増分決定木（VFDTおよびHAT）と比較する実験を行った。

• 予測-BCLTXのトレードオフ: CART-BCTXは、予測性能（エラー率/RMSE）とBCLTX値の間の良好なトレードオフを実現している。正則化パラメータ $\lambda$ が増加するにつれて、BCLTX値は改善する（より安定した説明を示す）が、予測性能の低下は小さな $\lambda$ においては最小限である。
• 予測互換性への影響: $\delta_{MAE}$ または $\delta_{MSE}$ を使用すると、**予測における後方互換性（BCP）**が大幅に向上する。これは、説明を安定化させることが、古いモデルが正しく処理したサンプルに対する予測の安定化にもつながることを示唆している。
• 計算時間: CART-BCTXは、標準的なCARTと同等の計算時間で動作する（最悪のシナリオでもせいぜい約2倍遅い程度である）。これは、その実用的な効率性を裏付けている。
• 増分決定木との比較: バッチ単位で評価した場合、CART-BCTXは予測精度とBCLTX値の両方において、増分決定木（VFDT、HAT）よりも優れた性能を示す。増分決定木はある程度の予測互換性は維持するものの、バッチ更新されたCART-BCTXと比較して、中長期的な決定木ベースの説明の安定性を維持することには失敗する。

5. 意義と主張

本論文は、説明の安定性が予測精度と同じくらい重要である環境において、決定木を更新するための実用的な解決策をCART-BCTXが提供することを主張している。決定境界や特徴量の区間の劇的な変化を抑制することで、この手法はリスク感受性の高いアプリケーションにおける信頼できるデプロイメントをサポートする。

著者は以下を強調している：

• 既存の後方互換性指標（SHAPや予測精度に焦点を当てたもの）は、決定木には不十分である。
• 提案されたフレームワークは、学習アルゴリズムの完全な再設計を必要とせずに、後方互換性のある更新を可能にする。
• 現在の作業はバッチ学習環境を想定しているが、後方互換性の概念は、標準的な増分決定木が長期的な説明の一貫性を維持できない可能性がある増分学習のコンテキストにおいても、バッチ単位で評価することが可能である。

著者が指摘する限界事項:

• アルゴリズムは貪欲法であり、BCLTXの下で大域的に最適な木を見つけることは計算量的に困難である。
• 現在の定式化は、「正しい」予測の定義が根本的に変化する可能性のあるコンセプトドリフトのシナリオを明示的に扱っていない。
• 提案された指標の実用的な意味合いについては、現実的なデプロイメント設定におけるユーザー調査を通じたさらなる検証が必要である。