技術要約：予測的プロセスモニタリングにおける特徴量属性ベースの説明可能性分析

1. 問題提起

予測的プロセスモニタリング（PPM）は、リカレントニューラルネットワーク（RNN）やTransformerなどのディープラーニングモデルを利用して、進行中のビジネスプロセスの結果、残り時間、または将来のアクティビティシーケンスを予測する。これらのモデルは、イベントログ内の逐次的な依存関係を捉えることで高い予測性能を実現しているが、その「ブラックボックス」的な性質が、高い信頼性が求められる運用環境における信頼と導入の妨げとなっている。

既存の説明手法、特にSHAP（Shapley Additive Explanations）やLIMEのような特徴量属性技術をPPMに適用する場合、以下のジレンマに直面する：

• イベントレベルの説明： 個々のイベントに重要性を割り当てる手法は、断片的な洞察しか得られず、意味のあるプロセス挙動や実行の広範なコンテキストを明らかにできないことが多い。
• トレースレベルの説明： トレース全体を単一のユニットとして集約すると、情報の損失が生じ、どの特定の実行部分が予測を駆動しているのかが不明瞭になる。
• 時系列データの限界： 時系列データの分野には隣接する観測値をグループ化するセグメンテーション手法が存在するが、これら一般的なアプローチは、ビジネスプロセスイベントログ特有の制御フロー制約、アクティビティのセマンティクス、および不規則なタイミングを尊重できないことが多い。それらは、一貫したプロセスステージを分割したり、無関係な挙動を結合したりしてしまう可能性がある。

したがって、計算効率とローカルな制御フロー・コンテキストの保持を両立させ、ステークホルダーがどのプロセスフェーズが予測に影響を与えているかを理解できるようにする説明可能性のアプローチが必要とされている。

2. 手法

著者らは、制御フローを考慮したセグメンテーションアルゴリズムとセグメントレベルのSHAP値計算を統合した、ローカルな事後（post-hoc）説明手法を提案している。

2.1 制御フローを考慮したトレース・セグメンテーション

本手法の中核となるのは、遷移確率の変化に基づいてトレースを一貫した部分シーケンス（セグメント）に分割するアルゴリズムである。

• 直接フォロー関係（DFR）： アルゴリズムはまず、イベントログから直接フォローグラフ（DFG）を構築し、アクティビティ間の経験的な遷移確率を導出する。
• コスト関数： 与えられたトレースに対し、アルゴリズムは潜在的なセグメントにコストを割り当てる。ログ内で頻繁に発生する遷移は低いコストとなり、稀な、あるいは存在しない遷移はペナルティ（$\gamma$）を課される。セグメント $s$ のコストは、その遷移の負の対数確率の総和として定義される：
  $$C(s) = \sum_{i=1}^{m-1} c(a_i, a_{i+1})$$
  ここで、$a_i, a_{i+1}$ の遷移が存在する場合は $c(a_i, a_{i+1}) = -\log T[a_i, a_{i+1}]$ とし、存在しない場合は $\gamma$ とする。
• 変化点検出： アルゴリズムは、ペナルティ付きの目的関数を最小化する**PELT（Pruned Exact Linear Time）**アルゴリズムを用いて変化点を検出する。この関数は、セグメント数によるペナルティ項（$\beta k$）と総セグメンテーションコストのバランスを取り、過剰なセグメンテーションを防ぐ。ハイパーパラメータ $\beta$ は、赤池情報量基準（AIC）を最小化するようにグリッドサーチを通じて選択される。
• 結果： トレースは、各セグメントが一定のローカルな制御フロー挙動を表すように分割される。

2.2 セグメントレベルのSHAP計算

トレースがセグメント化された後、本手法は個々のイベントではなく、各セグメントをSHAP値計算のための単一の解釈可能なユニットとして扱う。

• 連合（Coalition）の定義： $k$ 個のセグメントに対する連合ベクトル $z \in \{0, 1\}^k$ を定義する。$z_l=1$ はセグメントが元の値を保持することを示し、$z_l=0$ はそれがベースライン値（トレーニングデータのカテゴリ属性の最頻値および数値属性の平均値から導出）に置き換えられることを示す。
• 摂動（Perturbation）： 特定のセグメントがマスクされ、ベースラインに置き換えられた摂動後のトレースに対してモデルを評価する。
• SHAP値： KernelSHAPを適用して各セグメントのシャプレー値を計算する。これは、セグメントの属性の総和が、モデルの予測とベースライン予測の差に等しくなるという効率性の特性を満たす。

3. 実験設定

本研究では、以下のものを用いて提案手法を評価する：

• データセット：
  • セグメンテーションの正確性を検証するために、既知の正解（グランドトゥルース）の変化点（キャンセル vs 受理の結果）を持つ、SimBankシミュレータによって生成された合成データセット。
  • 2つの実世界のベンチマーク：BPIC15（オランダの自治体の行政プロセス）およびBPIC17（金融機関のローン申請）。
• 予測モデル： 固定長プレフィックス（30イベント）を用いて、バイナリ結果（例：受理 vs キャンセル）を予測するように学習されたLSTMベースのシーケンス分類器。
• ベースライン：
  • イベント単位の属性付け： 標準的なイベントレベルのSHAP。
  • 分布ベースのセグメンテーション： 推奨システムから適応させた、タイムウィンドウとセッション定義に基づいてイベントをグループ化する手法。
• 評価指標：
  • セグメンテーションの質： 合成データについてはRandIndex、精度（Precision）、再現率（Recall）、F1スコア。実世界データについては、エントロピー的関連性（ER）およびパターン被覆率。
  • 説明の忠実性（Faithfulness）： 摂動による相対的予測変化（RPC）。これは、重要なセグメント（高SHAP）を摂動させた場合と、重要でないセグメントを摂動させた場合で、予測がどの程度変化するかを測定する。

4. 主な結果

4.1 セグメンテーションの質

• 合成データ： 提案アルゴリズムは、正解の変化点に対して高い一致を示し、RandIndexスコアは0.9を超え、F1スコアはキャンセルケースで89%、受理ケースで87.4%であった。
• 実世界データ（BPIC17）： 本手法は一貫したプロセスフェーズを特定した。受理ケースにおいて、上位10個のセグメンテーションパターンは全トレースの81.4%をカバーしており、安定した制御フロー構造を示している。エントロピー的関連性（ER）は、フルログの37.81からセグメント化後には6.68へと大幅に低下しており、セグメントが高度に決定論的で圧縮可能なパターンを捉えていることを示している。
• 実世界データ（BPIC15）： 多くのアクティビティペア間で制御フローの変動性が高く、遷移確率が低いため、アルゴリズムは細粒度なセグメント（平均2イベント/セグメント）を生成した。これは、制御フローの変動性が高いログは、汎用的なセグメントパターンの形成を制限することを示唆している。

4.2 説明の忠実性

• 摂動分析： セグメントレベルのSHAP値は高い忠実性を示した。最も重要な上位k個のセグメント（トレースの約40%をカバー）を摂動させると、顕著な予測変化（高いRPCI）が生じた一方で、重要でないセグメントを摂動させると、予測への影響は最小限であった（低いRPCU）。
• 比較： イベントレベルの属性付けはわずかに高い粒度を示したが、セグメントレベルの手法（分布ベースおよび制御フロー考慮型）は、重要部分と重要でない部分のより明確な分離を提供した。イベントレベルの手法は、孤立したイベントを摂動させることで局所的な依存関係を破壊し、予期しない予測の変化を引き起こすことがあった。

4.3 定性的洞察

• 受理ケース（BPIC17）： 滑らかな遷移（例：Concept $\to$ Complete application）を含むセグメントは、一貫して予測を受理側へと押し上げた（負のSHAP値）。
• キャンセルケース（BPIC17）： 繰り返しのオファー作成を含むセグメントは、高い正のSHAP値を受け取り、キャンセルへと強く予測を押し上げた。これにより、失敗に関連する特定のボトルネック（繰り返しのオファー生成）が特定された。
• 解釈可能性： 本手法は、モデルの予測を孤立したイベントではなく、具体的なプロセスフェーズ（例：「申請完了」対「オファー作成」）に結びつけることに成功した。

5. 意義と主張

本論文は、提案手法が有用な中間領域を提供すると主張している。

• コンテキストの保持： アクティビティを制御フローのダイナミクスに基づいてグループ化することで、なぜあるアクティビティが結果に影響を与えるのかを解釈するために必要なローカルなコンテキストを保持する。
• 理解しやすさ： 重要および重要でないイベントの「インターリービング（交互配置）」を緩和し、プロセスステークホルダーにとっての説明の理解しやすさを向上させる。
• ログ構造への依存性： 著者らは、手法の有効性がイベントログの構造に依存することを控えめに述べている。中程度の制御フロー変動性を持つログ（BPIC17など）は意味のある比較可能なセグメントを生み出すが、変動性が高いログ（BPIC15など）は、汎用性を制限するケース固有の細粒度なセグメンテーションをもたらす。
• 実用的有用性： このアプローチは、特定のプロセスフェーズ（変化点）がどのようにケースを予測された結果へと導くかを特定することを可能にし、モデルの完全な透明性を必要とせずに、ターゲットを絞った意思決定やボトルネックの検出を支援する。

本研究は、イベントレベルの属性付けの方がその粒度ゆえにわずかに高い忠実性を示すものの、セグメントレベルの説明は、ビジネスプロセスの構造的制約に適合させることで、PPMにおけるディープラーニングモデルの解釈可能性を大幅に向上させると結論付けている。