技術要約：強化学習を通じたイベントログからの最適方策の学習

問題定義

本論文は、**処方的プロセスモニタリング（Prescriptive Process Monitoring: PPM）**の課題に取り組んでおり、特に履歴イベントログから直接、**最適な行動方策（optimal behavioral policies）**を学習することに焦点を当てている。既存のPPM手法が、事前定義された介入や特定の次ステップの活動を推奨することとは異なり、本研究は、特定の重要業績評価指標（KPI）を最大化するための最適な一連の行動を決定する一般的な戦略を発見することを目指している。

この問題における重要な制約は、マルチアクター環境であることである。多くの実世界のプロセス（例：ローン申請）では、プロセスの所有者（エージェント）は制御可能な活動のサブセットのみを制御し、他の活動は外部のアクター（例：顧客）や外生的な要因によって駆動される。目標は、プロセスの実行に対して部分的な制御権しか持たない状況下で、KPIを最適化するためのエージェント向けの方策を学習することである。

著者らは、この領域に強化学習（RL）を適用する際の2つの主要な課題を特定している：

1. データ駆動型の学習： エキスパートによるルールに基づいて状態空間や介入セットを手動で定義するという、膨大なドメイン知識への依存を回避すること。
2. 評価の安全性： 業務への混乱のリスクがあるため、ライブシステム上で方策をテストすることは非現実的である。したがって、デプロイ前の堅牢な評価メカニズムが必要となる。

手法

本論文は、エージェントが特定の活動を制御するマルチアクター設定において、イベントデータから最適な方策を学習するための、2つの異なるAIベースのアプローチを提案し、比較している。

1. モデルベース・アプローチ (MDPベースのRL)

このアプローチは、イベントログから明示的な**マルコフ決定過程（MDP）**を構築し、**動的計画法（DP）**を用いて解決する。

• MDPの構築:
  • 行動（Actions）: エージェントによって制御される活動として定義される。
  • 状態（States）: トレース履歴をエンコードすることで構築される。著者らは、状態空間の次元数を管理し、爆発を防ぐために、エンコードされたプレフィックス（活動の頻度、位置、正規化されたプレフィックス報酬）に対してk-meansクラスタリングを使用している。状態は、最後に実行された活動と割り当てられたクラスターのペアとして定義される。
  • 遷移と報酬: トレースを再再生して、遷移確率と平均報酬を推定することで構築される。
• 方策の学習: 最適な方策は**価値反復法（Value Iteration）**を用いて導出される。
• データの疎性への対処: エージェントが稀な高報酬の遷移を不当に利用（オーバーフィッティング）することを防ぐため、著者らはQ値に適用されるスケーリング関数 $h(s, a)$を導入している。彼らは、出現回数の四分位数を用いた、状態行動ペアの頻度に基づくステップ関数およびシグモイド関数のテストを行っている。

2. モデルフリー・アプローチ (オフライン深層強化学習)

このアプローチは、環境との相互作用なしに履歴データから直接学習する、最先端のオフライン深層強化学習手法である**保守的Q学習（Conservative Q-Learning: CQL）**を採用している。

• アーキテクチャ: イベントログの逐次的な性質を扱うために、**長短期記憶（LSTM）セルを備えたリカレントニューラルネットワーク（RNN）**が、状態行動価値関数を近似するために使用される。
• データの準備: トレースから遷移を抽出する。重要な点として、環境制御下の行動を含む遷移は削除され、その報酬はエージェントの有効な直前の遷移に転送され、データセットをエージェントの視点に合わせる。
• 学習: オフラインRLで一般的な過大評価バイアスを最小限に抑えるため、CQLアルゴリズムを使用してモデルをオフラインで訓練する。

評価フレームワーク

ライブシステムのパフォーマンスをリスクにさらすことなく学習された方策を評価するために、著者らは**ビジネスプロセスシミュレーション（BPS）**を利用している。

• 合成ログ: さまざまなログサイズと成功率にわたって堅牢性をテストするために、BPMNモデルから生成される。
• 実世界のログ: BPIC2012およびBPIC2017データセットが使用される。
• シミュレーションモデル: 2種類のシミュレーションモデルが用いられる：
  1. 固定確率モデル ($M_\pi$): 意思決定ポイントに標準的な確率を使用する。
  2. 決定木モデル ($M^\pi_{DT}$): プロセス履歴に対してより敏感に環境の反応をモデル化するために、履歴データで訓練された決定木を使用する。
• ベースライン: 慣習的な方策（customary policy）（元のログに内在する挙動）および、情報に基づいたヒューリスティック（informed heuristic）（合成ログでのみ利用可能な、シミュレーションロジックの特権的知識を用いた強力なベースライン）と比較される。

主な貢献

1. 直接的な方策学習: 本論文は、制御可能な活動と制御不能な活動を区別しながら、最小限のドメイン知識でイベントログから直接、一般的な行動方策を学習できることを示している。
2. ログからのMDP構築: クラスタリングを用いて状態の抽象化を行い、MDPの構築を行うことで、プロセスマイニングにおける手動でのMDP状態定義の困難さを克服する、具体的なパイプラインを提案している。
3. 堅牢性のためのスケーリング関数: Q値に対する頻度ベースのスケーリング関数（$h$）の導入は、稀な遷移へのオーバーフィッティングを効果的に緩和し、方策の安定性を大幅に向上させる。
4. 包括的な比較: プロセスマイニングの文脈において、古典的なモデルベースのDPアプローチと、現代的なモデルフリーのオフライン深層RL（CQL）との体系的な比較を提供している。
5. シミュレーションベースの評価: マルチアクター設定における次ステップ活動選択の方策を評価するためにBPSを適応させ、学習された戦略のA/Bテストのための制御された環境を提供している。

結果

評価は、8つの合成ログ（サイズと成功率が異なる）および2つの実世界ログ（BPIC2012およびBPIC2017）に対して行われた。

• パフォーマンス: 両方の手法は、慣習的な方策と比較して、ターゲットとなるKPI（利益）を一貫して向上させる方策を学習することに成功した。
  • 合成ログにおいて、MDPベースのアプローチ（特に $h_{sig}^{Q1}$ や $h_{step}^{Q1}$ のようなスケーリング関数を用いたもの）は、一般的にオフライン深層RLアプローチを上回り、ほとんどの場合で情報に基づいたヒューリスティックに匹敵するKPIを達成した。
  • 実世界のログにおいて、両方の手法は堅実なパフォーマンスを示し、MDPベースのアプローチがCQLに対してわずかな優位性または同等の優位性を示した。
• 堅牢性: MDPベースのアプローチは、異なるログ特性に対して高い安定性を示した。ナイーブなMDPアプローチ（スケーリングなし）は不安定であったが、CQLアプローチは合成評価においてトップクラスの性能を示すことはなかった。
• 計算効率: MDPベースのアプローチは著しく効率的であった。MDPベースの手法の訓練時間は数秒から数分であったのに対し、オフライン深層RLは1エポックあたり約30分（効果的な方策を得るためには合計で数時間）を必要とした。MDPアプローチの時間はクラスタリングによりログサイズに応じてスケールしたが、深層RLの1エポックあたりの時間は一定ながら高かった。

意義と主張

本論文は、複雑なマルチアクターシナリオにおいて、エージェントが部分的な制御権しか持たない場合でも、イベントデータから直接最適な行動方策を学習することが可能であり、かつ効果的であることを主張している。

• 実用性: 結果は、MDPベースのアプローチが、単純さ、解釈可能性、計算効率、およびパフォーマンスの間の好ましいバランスを提供していることを示唆している。著者らは、データが構造化されており、意思決定ポイントが明確に定義されているプロセスマイニングのシナリオでは、高品質な方策を得るために複雑な深層学習モデルが必ずしも必要ではないと論じている。
• データ駆動型の発見: 本研究は、可能なアクションのセットを事前定義したり、ドメインダイナミクスの広範なエキスパート知識に依存したりすることなく、履歴データのみから効果的な介入と戦略を発見できることを検証している。
• 将来の可能性: 著者らは、これらの学習された方策を、後にオンラインの相互作用やフィードバックを取り入れることができる、より広範な最適化フレームワークのための強力な初期化として位置づけている。彼らは、制御フロー情報の依存関係や、将来的な研究におけるより豊かな状態表現（例：データ属性）の必要性に関する限界も認めている。

結論として、両方のパラダイムは実行可能であるが、適切なデータ駆動型状態抽象化と正則化を伴う古典的なモデルベースのアプローチが、研究されたコンテキストにおいては、現在、より効率的で堅牢なソリューションを提供すると述べている。