David vs. Goliath in Next Activity Prediction: Argmax vs. LSTM, Transformer, and LLM
本論文は、7つの実世界のイベントログにわたる体系的なベンチマークを提示し、単純なカウントベースのargmaxベースラインが、次活動予測において複雑なディープラーニングモデルや数十億パラメータを持つLLMの性能に匹敵、あるいは肉薄することも多いことを示しており、モデルの複雑さや事前学習の増大が必ずしも優れた結果をもたらすという仮定に疑問を投げかけている。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
次の活動予測における「ダビデ対ゴリアテ」：論文解説
大きな問い：次のステップを予測するのにスーパーコンピューターは必要か？
あなたは映画を見ていると想像してください。あなたは前半部分を見終え、次に何が起こるかを予想しようとしています。
- 「ゴリアデ（巨人）」のアプローチ： 1,000人の映画評論家チームを雇います。彼らはこれまでに作られたあらゆる映画を観てきた専門家です。彼らは歴史、文化、物語の膨大な知識を駆使して、結末を予想します。
- 「ダビデ（小柄な者）」のアプローチ： あなたはただ、直前のシーンだけを見ます。もしヒーローが剣を手に取ったなら、次のシーンは戦闘になると予想します。もしヒーローが夕食のために席に着いたなら、次のシーンは食事になると予想します。
この論文はこう問いかけています。本当に1,000人の専門家（ゴリアテ）が必要なのか、それとも直前のシーンを見るだけ（ダビデ）で十分なのか？
設定：ビジネスプロセスの予測
研究者たちは、「予測的プロセスモニタリング（Predictive Process Monitoring）」と呼ばれる分野に取り組んでいます。ビジネスプロセスを、レシピや工場の組み立てラインのようなものだと考えてください。
- ゴール： すでに実行されたステップのリスト（例：「注文受付」、「支払い確認」、「商品梱包」）が与えられたとき、まさに次のステップ（例：「商品の出荷」）を予測すること。
- 対戦相手：
- Argmax（ダビデ）： 超シンプルなルールです。過去に特定のステップが別のステップの後にどれくらいの頻度で現れたかを数えるだけです。もし「梱包」の後に「出荷」が90%の確率で続いていたなら、「出荷」と予想します。
- LSTM： シーケンス（連続した流れ）をうまく記憶できる、少し古いタイプの賢いコンピュータです。
- Transformer & LLM（ゴリアテ）： インターネット上のあらゆる情報を学習した、数十億のパラメータを持つ巨大なAIモデル（チャットボットを動かしているものと同じもの）です。言語やパターンの知識が豊富であるため、ビジネスのステップの予測においても素晴らしい能力を発揮するはずだ、と考えられています。
実験：「語彙」の問題
研究者たちは、これらの巨大なAIモデル（LLM）をビジネスのタスクに使用しようと試みました。しかし、ビジネスデータは自然言語ではありません。「猫がマットの上に座った」ではなく、「イベントID 405：請求書承認済み」といった形式なのです。
AIにこれを理解させるために、ビジネスデータをAIの言語へと**「翻訳」**する必要がありました。彼らは以下の手順を踏みました。
- 巨大な学習済みモデル（ゴリアテ）を用意する。
- その辞書を入れ替え、英語の単語ではなくビジネス用語を理解できるようにする。
- 特定のビジネスルールを教え込む（ファインチューニング）。
そして、これら「翻訳された」巨人を、以下のモデルと比較しました。
- ゼロから学習させた小さなモデル（ビジネスデータのみを学習したもの）。
- シンプルな「Argmax」カウンター。
- 古いLSTMモデル。
結果：巨人のつまずき
研究者の発見は驚くべきもので、「ダビデ対ゴリアテ」において、ダビデが勝つか、あるいは引き分けになるという結果に集約されます。
1. 「事前学習」の神話
研究者たちは、巨大なAIがインターネットから学んだ「知識」（事前学習）は、役に立たないことを発見しました。
- 比喩： 世界中のあらゆる料理を作ってきたシェフ（事前学習済みのAI）を想像してください。あなたがそのシェフに、わずか3つの材料だけで、非常に特定のシンプルなサンドイッチを作るよう頼みます。シェフはフランス料理の膨大な知識を使ってサンドイッチを作ろうとしますが、結局のところ、その特定のサンドイッチだけを作っている地元のデリの店員（ゼロから学習したモデル）の方が、より上手な仕事をしてしまうのです。シェフの膨大な知識は、むしろ邪魔になってしまいました。
2. 大きいことは必ずしも良いことではない
彼らは、極小のモデルから巨大なもの（数十億のパラメータ）まで、さまざまなサイズのモデルをテストしました。
- 結果： モデルを1,000倍大きくしても、1,000倍賢くなるわけではありませんでした。実際には、より小さくシンプルなモデルの方が、巨人よりも優れた性能を発揮したり、同等の性能を示したりすることがよくありました。
3. シンプルなカウンターが（ほとんどの場合）勝つ
テストしたほとんどのビジネスデータセットにおいて、シンプルな「Argmax」カウンター（ダビデ）は、数十億のパラメータを持つAI（ゴリアテ）と同等の性能を発揮しました。
- なぜか？ ビジネスプロセスはしばしば反復的です。もし90%の確率でステップAの次にステップBが続くのであれば、それを理解するためにスーパーコンピューターは必要ありません。必要なのは単なる計算機です。複雑なAIは過剰（オーバーキル）でした。
4. 巨人が勝つのはいつか？
巨大なAI（およびゼロから学習したモデル）が明確な優位性を示したのは、特定の2つのデータセット（BPI12とBPI17）のみでした。これらは、ビジネスプロセスがより複雑であったり、データのバリエーションが多かったりするため、単純なカウンターよりも高度な「脳」を必要とする唯一のケースでした。
まとめ
この論文は、ビジネスプロセス予測の分野は、巨大なAIモデルという「スレッジハンマー（大槌）」を使おうとしてきたが、実際には「スリング（投石器）」で十分だった、と結論付けています。
- スリングで事足りる戦いに、巨人を連れてこないこと。
- 膨大なコストをかけて巨大なAIモデルの学習に投資する前に、まずはシンプルな頻度カウンターを試すべきです。
- もしより複雑なモデルが必要な場合は、巨大な事前学習済みインターネットモデルを無理やり適応させるよりも、特定のデータを用いて小さなモデルをゼロから学習させる方が適しています。
要するに： この特定の仕事において、「賢い」AIは単純な計算器よりも賢く振る舞うことはありませんでした。研究者たちは、物事を複雑にしすぎるのをやめ、よりシンプルで効率的なツールを使うべきだと示唆しています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。