Combining Abstract Argumentation and Machine Learning for Efficiently Analyzing Low-Level Process Event Streams

本論文は、機械学習のシーケンスタグガーと抽象的議論フレームワークを組み合わせるデータ効率性の高い神経記号アプローチを提案し、これにより低レベルのプロセスイベントストリームを正確に解釈し、事前知識を用いて候補解釈を精緻化することで、データ不足と計算複雑性の限界を克服する。

要約

物語を理解しようとしているが、実際のプロットではなく、生々しく低レベルな動作のリストしか持っていないと想像してください。

問題：「翻訳」のギャップ
病院の患者の旅程を考えてみましょう。コンピュータログは、「患者に触れた」「採血した」「血圧を測定した」「針を挿入した」といった、小さく具体的な動作の連続を記録するかもしれません。これらが低レベルの事象です。

しかし、医師や管理者は、こうした小さな動作のリストを見たいのではなく、高レベルの物語を知りたいのです。つまり、「準備」「入院」「手術前」といった段階です。

問題点は、一つの小さな動作（例えば「採血した」）が、それらの三つの大きな段階のいずれにおいても起こり得るということです。映画で登場人物がカップを手に取る場面を見たようなものです。会議前のコーヒーを飲んでいるのでしょうか？来客にお茶を注いでいるのでしょうか？それとも単に片付けをしているのでしょうか？文脈がなければ、これは当てずっぽうのゲームです。もし間違えて推測すれば、患者のケアに関する物語全体が混乱してしまいます。

それを解決する従来の方法
この論文では、この問題を解決する二つの従来手法が記述されていますが、どちらも欠点がありました。

1. 厳格な「規則書」アプローチ（抽象的議論）：
   病院のすべての規則を知っている、非常に厳格で論理的な探偵を想像してください。

   • 規則：「手術前は入院の後に起こらなければならない。」
   • 規則：「準備が終わっていない限り、手術前を開始することはできない。」
     この探偵は、規則に対してあらゆる可能な物語をチェックします。物語が規則に違反すれば、それは破棄されます。
   • 欠点： 時には規則が緩すぎることがあります。探偵は、「技術的には、これは入院かもしれないし、手術前かもしれないし、準備かもしれない」と言うかもしれません。探偵はあなたに 50 にも及ぶ可能性の巨大なリストを与えます。それは正確ですが、圧倒的で計算に時間がかかります。

2. パターン認識アプローチ（機械学習）：
   過去数千の患者の物語を読んだ学生を想像してください。

   • 仕組み： 学生は「採血した」と見て、「ああ、私が読んだ物語の 80% では、これは入院中に起こっていた」と思い出します。
   • 欠点： この学生は学習するために膨大な過去の物語のライブラリを必要とします。十分な例を見ていなければ、誤って推測する可能性があります。また、彼らは厳格な規則を知りません。「採血した」という事象に対して「手術前」と推測するかもしれませんが、規則上は手術前はまだ起こり得ないはずです。

新しい解決策：「ニューロ・シンボリック」のチームワーク
著者たちは、厳格な探偵（推論器）とパターン認識者（機械学習）のチームアップを提案しています。彼らはこれを「ニューロ・シンボリック」アプローチと呼んでいます。

これがリアルタイムでどのように連携するかを示します。

1. 最初の推測： パターン認識者（機械学習）は、現在の事象と過去の出来事の履歴を見て、「80% の確率でこれは入院、15% が準備、5% が手術前だ」と言います。最も可能性の高い物語のランク付けされたリストを提供します。
2. 現実確認： 厳格な探偵（推論器）はこの短いリストを受け取り、厳格な規則と照合します。
   • 「待てよ」と探偵は言います。「規則では手術前はまだ起こり得ないとあります。だから、その 5% の推測は不可能です。消します。」
   • 「また」と探偵は付け加えます。「規則では、今すぐ連続して二度の入院はあり得ないとあります。だから、その 15% の推測も無効です。」
3. 最終回答： システムはユーザーに、パターン認識者がどの程度可能性が高いと考えたかによってランク付けされた、有効なオプションのみを提示します。

これが重要である理由
この論文は、このチームアップが旧来の方法の弱点を解決すると主張しています。

• より速く、明確である： 探偵が 50 の混乱した可能性を与えるのではなく、パターン認識者が上位 3 つに絞り込み、探偵がその 3 つのうちどれが合法的かを確認するだけです。最良の答えの短いランク付けされたリストが得られます。
• 少ないデータで機能する： パターン認識者は通常、よく学習するために数千の例を必要とします。しかし、厳格な探偵が誤りを修正してくれるため、パターン認識者は完璧である必要はありません。たとえ学生が多くの本を読んでいなくても、探偵は愚かな間違いを防ぐことができます。この論文の実験では、非常に少ない訓練例であっても、このチームは学生単独よりもはるかに良いパフォーマンスを発揮することが示されています。
• 「なぜ」を説明する： システムがアイデアを却下する場合、探偵は「なぜ」を説明できます（例：「『準備』が先に行われなければならないという規則があるため、『手術前』を却下しました」）。

要約
この論文は、パターンに基づいて推測する機械学習モデルの直感と、事実と照合するルールベースシステムの論理を組み合わせたシステムを提示しています。これにより、正しい物語を推測するのに十分な賢さを持ち、リアルタイムで実行するのに十分な速さを持ち、規則に従って物語が意味をなすことを保証するのに十分な厳格さを持つツールが生まれます。これは、コンピュータにすべてを教えるのに十分な過去の例がない場合に特に有用です。

技術概要

技術的概要：抽象的議論と機械学習の組み合わせによる低レベルプロセスイベントストリームの効率的な分析

1. 問題定義

本論文は、プロセスマイニングにおけるログ抽象化、特に低レベルイベントストリームを高レベルビジネスアクティビティへ解釈する課題に取り組んでいる。多くの現代のシナリオ（例：スマートファクトリー、ヘルスケア）において、プロセストレースは、高レベルプロセスアクティビティと直接的な一対一の対応関係を持たない生々しい低レベルの動作（イベント）で構成されている。むしろ、イベントタイプとアクティビティタイプの間には多くの場合、多対多の関係が存在し、「抽象化のギャップ」を生み出している。

このギャップは解釈問題をもたらす：特定の低レベルイベントを生成した高レベルアクティビティインスタンスを特定することである。既存の解決策は、主に 2 つの限界に直面している：

1. 知識駆動アプローチ（例：抽象的議論フレームワークまたは AAF）は、複雑な制約を処理し、説明を提供できるが、制約が緩い場合、多くの妥当な解釈を生み出し、情報過多と高い計算コストを招く可能性がある。
2. 例駆動アプローチ（例：教師あり機械学習のシーケンスタグガー）は、確率的な解釈をランク付けできるが、トレーニングデータが不足している、ノイズが多い、または複雑なプロセス行動を捉えるのに不十分な場合に失敗することが多く、厳密なドメイン制約を強制するメカニズムや、却下された解釈に対する論理的説明を提供するメカニズムを欠いている。

本論文は、両方のパラダイムの強みを組み合わせるニューロシンボリックアプローチを提案する：機械学習（ML）を用いて文脈を考慮した確率的な候補解釈を提供し、抽象的議論を用いて形式的ドメイン知識に基づいてこれらの候補を洗練させ、妥当性を保証し、説明を提供する。

2. 手法

提案されたフレームワークは、**トレースタグガー（ML）とAAF ベースの推論器（記号的）**という 2 つの異なる AI コンポーネントを統合している。

2.1 コンポーネント

• トレースタグガー（M）： 注釈付きログトレースでトレーニングされた、サブシンボリックな機械学習モデル（具体的にはシーケンスタグ付けモデル）。これは、トレース内の先行イベントの文脈を考慮して、現在のイベント $e_{curr}$ に対する可能なアクティビティの確率分布を予測する。2 つのアーキテクチャがテストされた：
  • $M_A$：シーケンシャルな依存関係を捉える LSTM ベースのアーキテクチャ。
  • $M_B$：イベント埋め込みの固定長ウィンドウを使用する深層ニューラルネットワーク（DNN）アーキテクチャ。
• AAF ベースの推論器（R）： 抽象的議論フレームワークに基づく知識駆動モジュール。これは以下を符号化する：
  • タイプレベルのマッピング： イベントタイプとアクティビティタイプ（first、intermediate、last などのライフサイクル段階を含む）の関係。
  • 宣言的プロセスモデル： アクティビティインスタンス上で定義された時間的制約（例：must、not、precedence）。
    推論器は、候補解釈を議論として、ドメイン知識との競合を攻撃として表現する AAF を構築する。妥当な解釈は、AAF の選好拡張に対応する。

2.2 ハイブリッドワークフロー（オンライン分析）

中核的な貢献は、実行中のトレースを逐次的に処理するインタラクティブなオンラインアルゴリズム（アルゴリズム 1）である：

1. 初期更新： 推論器は、グローバルなタイプレベルマッピングから導き出されたすべての候補解釈を用いて、内部の AAF を更新する。
2. ML 予測： トレースタグガー $M$ は、トレース文脈に基づいて、現在のイベント $e_{curr}$ に対する確率分布 $p_d$ を予測する。
3. 知識駆動による修正： 推論器 $R$ は ML 予測をフィルタリングする。ドメイン知識によって無効とみなされたアクティビティ（すなわち、AAF のいかなる妥当な解釈にも存在しないもの）の確率はゼロに設定される。
4. 平滑化と正規化： ML モデルがすべての妥当な候補にゼロ確率を割り当てるシナリオを防ぐため、残りの確率にラプラス類似の平滑化手順を適用し、その後正規化する。
5. AAF の洗練： 推論器は、確率がゼロでないアクティビティ（トップ-$k$ 候補）のみを使用して AAF を再構築する。これにより、議論ソルバーの探索空間が大幅に削減される。
6. 出力： システムは、ユーザーに最も確率の高い妥当な解釈のランク付きリストを提供し、インタラクティブなクエリ（例：「このイベントはアクティビティ A の開始ですか？」）や、他の解釈が却下された理由の説明を可能にする。

3. 主要な貢献

本論文は、2 つの主要な貢献を主張している：

1. ランキングによる解釈の強化： データ駆動型の知識を活用することで、このアプローチはイベント解釈をランク付けされた部分的な形式（トップ-$k$）で提示し、制約が緩い場合に純粋な推論アプローチに内在する情報過多の問題に対処する。
2. データ効率の向上： プロセスモデル知識（制約）を活用することで、注釈付きトレーニングデータが不足している、またはプロセスの厳密な特徴付けを学習するのに不十分なシナリオにおいて、例駆動型の抽象化手法のパフォーマンスを向上させる。

著者らはこれをニューロシンボリック戦略として位置づけており、ML モデルは探索を加速する「推論のための学習」メカニズムとして機能し、推論器は ML 予測を修正・検証する「学習のための推論」メカニズムとして機能する。

4. 実験結果

実験は、実世界のイタリアの地域機関のプロセスに触発された合成データセット（さまざまなトレース長とマッピングの不確実性のレベル（多対多関係））で行われた。

• 精度と頑健性： ハイブリッドアプローチ（タグガー＋推論器）は、精度、適合率、再現率、F1 スコアのすべての点で、単独のタグガーおよび単独の推論器を一貫して上回った。特に、タグガーが性能を発揮しなかった場合（例：$M_A$ のような複雑なアーキテクチャやデータ不足による場合）、推論器はパフォーマンスを大幅に向上させた。
• データ効率： トレーニングセットサイズを 100% から 20% まで削減した実験において、ハイブリッドアプローチは単独のタグガーよりも著しく高い精度を維持した。ハイブリッド手法のパフォーマンス曲線ははるかに平坦であり、データ不足に対する頑健性を示した。
• 情報過多の削減： このアプローチは、分析者が考慮しなければならない候補解釈の数を大幅に削減した。長さ 60 のトレースの場合、単独の推論器を使用する場合と比較して、情報過多の削減（正しいアクティビティのランク位置の差として測定）は 20 以上の代替案に及んだ。
• 計算時間： ハイブリッドアプローチは推論ステップのため単独のタグガーよりも遅いが、平均予測時間は約1 秒のままであり、ビジネスプロセス分析の文脈では実行可能と見なされる。タグガー自体の計算オーバーヘッドは、推論プロセスと比較して無視できるほど小さい。

5. 意義と新規性

本論文は、この仕事が低レベルトレースのインタラクティブな探索的分析のためのプロセスマイニング設定においてニューロシンボリックアプローチを活用した最初の試みであると主張している。

既存のニューロシンボリックソリューションとの主な相違点は以下の通りである：

• 制約の範囲： 行動制約は入力（過去のイベント）と出力（現在のイベント）の両方の変数に及ぶが、多くの既存のアプローチは出力のみを制約する。
• ランタイム強制： 制約はモデルトレーニング中ではなく、解釈セッション中のランタイムに強制される。これにより柔軟性が生まれ、ユーザーは ML モデルを再トレーニングすることなく制約を変更できる。
• クエリ機能： このフレームワークは、表現力豊かでプロセス指向のクエリをサポートし、却下された解釈に対する説明を提供する。単純な確率推定やサンプル生成を超えている。

著者らは、このフレームワークが、データが限られているかプロセスが緩く構造化されている複雑な工学応用において、ML の速度と文脈認識性と、記号的推論の信頼性と説明可能性を組み合わせる効果的なヒューマン・イン・ザ・ループ協働を可能にすることで、最先端を前進させると結論づけている。

6. 限界と今後の課題

著者らは、このアプローチがドメイン知識（制約）の利用可能性に依存していることを認めている。制約が少なすぎる、または存在しない場合、推論器はタグガーを効果的に導くことができない。さらに、注釈付きデータが極めて不足している場合、ハイブリッド手法さえも苦労する可能性がある。

特定された今後の研究の方向性は以下の通りである：

• 半教師あり学習： エントロピー正則化損失を用いたラベルなしログトレースを活用して、タグガーのトレーニングを改善する。
• 能動学習： タガーモデルを改善するために、専門家の注釈に最も有益なラベルなしトレースを選択する戦略を開発する。
• 確率的制約： 現在のフレームワークが決定論的制約のみを処理するのに対し、確率的ドメイン知識（例：「アクティビティ A は 80% のケースで B に続く」）を AAF に直接組み込むメカニズムを検証する。