Revisiting Predictive Process Monitoring in the Age of Foundation Models: A Comparative Study of Sequence, Tabular, and LLM Approaches
تقدم هذه الورقة بحثاً مقارناً للمعيار المرجعي للنهج القائمة على المتواليات، والبيانات الجدولية، والنماذج اللغوية الكبيرة لمراقبة العمليات التنبؤية، كاشفةً أنه في حين تتفوق نماذج المتواليات في التنبؤ بالنشاط التالي وتنافس النماذج التأسيسية الجدولية في المهام الزمنية، فإن النماذج اللغوية الكبيرة تتدنى أدائؤها عموماً رغم تكاليفها الحسابية الأعلى.
تخيل أنك تراقب مطبخاً مزدحماً. الطلبات تنهال، والطهاة يقطعون، ويقون، ويجهزون الأطبـات، وأحياناً يعلق طبق ما بانتظار صلصة أو مكون مفقود. لو كان بإمكانك استراق النظر إلى المستقبل لتعرف بالضبط ما هي الخطوة التالية، وكم ستستغرق الوجبة من الوقت، أو ما إذا كان الطلب سيتأخر، لتمكنت من حل المشكلات قبل وقوعها. هذا هو جوهر المراقبة التنبؤية للعمليات (PVM). وهو فرع من علوم الحاسوب ينظر في "الإيصالات" الرقمية لكيفية حدوث الأشياء - مثل مصنع يصنع السيارات أو بنك يوافق على قروض - ليخمن ما سيحدث لاحقاً. لسنوات، كانت الطريقة المثلى للقيام بذلك هي تدريب "عقل حاسوبي" متخصص من الصفر، وتعليمه القواعد المحددة لذلك المطبخ بعينه. ولكن مؤخراً، وصلت موجة جديدة من الحواسيب فائقة الذكاء وعامة الأغراض تسمى النماذج اللغوية الكبيرة (LLMs). هذه هي النماذج التي يمكنها كتابة القصائد، والبرمجة، والدردشة معك، وتساءل الناس: "هل يمكننا فقط أن نطلب من هؤلاء العباقرة العامين التنبؤ بمستقبل مطبخنا؟". وفي الوقت نفسه، ظهر خيار ثالث: النماذج التأسيسية للبيانات الجدولية (Tabular Foundation Models)، وهي تشبه الإحصائيين الخبراء الذين ينظرون إلى البيانات في صفوف وأعمدة مرتبة بدلاً من القصص. السؤال الكبير هو: هل ما زلنا بحاجة إلى خبراء المطبخ المتخصصين، أم أن العباقق العامين والإحصائيين (صف-عمود) قد استولوا على زمام الأمور؟
هذه الورقة البحثية هي بمثابة "اختبار تذوق" ضخم لمعرفة أي من هؤلاء "الطهاة" الثلاثة يطهو أفضل وجبة حقاً. لقد أعد الباحثون منافسة منضبطة باستخدام خمسة "مطابخ" مختلفة من الواقع (مجموعات بيانات من عمليات تجارية) وطلبوا من النماذج التنبؤ بثلاثة أشياء: ما هو النشاط التالي، كم ستستغرق الخطوة التالية من الوقت، وكم من الوقت تبقى حتى ينتهي العمل بالكامل. لقد وضعوا نماذج التسلسل (Sequence Models) التقليدية (التي تم تدريبها من الصفر لهذا العمل تحديداً) في مواجهة النماذج اللغوية الكبيرة (LLMs) (التي تم تكييفها باستخدام تقنية تسمى LoRA لتعلم العملية) والنماذج الجدولية (Tabular Models) (التي تستخدم التعلم السياقي، مما يعني أنها تتعلم من خلال النظر إلى الأمثلة الموجودة أمامها مباشرة دون إعادة تدريب).
كانت النتائج مفاجئة بعض الشيء ومطمئنة نوعاً ما لأصحاب المدرسة القديمة. فعندما تعلق الأمر بتخمين النشاط التالي (مثل التنبؤ بأن الطاهي سيقطع البصل تالياً)، كانت نماذج التسلسل المتخصصة هي الفائزة بوضوح. فقد حققت باستمرار أعلى مستويات الدقة، متفوقة على النماذج اللغوية الكبيرة والنماذج الجدولية. وتشير الورقة إلى أن هذا يرجع إلى أن هذه النماذج بارعة في فهم الترتيب المحدد وتدفق الأحداث، خاصة عندما تصبح العملية معقدة مع وجود مسارات متعددة محتملة (التفرع). أما النماذج الجدولية فقد كانت جيدة جداً في المهام المتعلقة بالوقت، حيث قدمت أداءً يضاهي غالباً أداء المتخصصين عند التنبؤ بالوقت الذي ستستغرقه الأشياء. ومع ذلك، فإن النماذج اللغوية الكبيرة، رغم كونها الأكثر شهرة والأعلى تكلفة في التشغيل، كانت تتخلف عن الركب عادةً. فقد استغرقت وقتاً أطول بكثير في المعالجة (أحياناً أكثر من 200 دقيقة لمجموعة بيانات واحدة مقارنة بأقل من دقيقة للآخرين) ولم تكن دائماً تصيب الإجابات الصحيحة. في الواقع، في إحدى مجموعات البيانات، تنبأت النماذج اللغوية الكبيرة بشكل متكرر بأن العملية قد انتهت بينما لم تكن قد انتهت بعد، مما جعل الكثير من الأخطاء المبكرة.
لذا، تخلص الورقة إلى أنه بينما تعد النماذج اللغوية الكبيرة البراقة وعامة الأغراض مثيرة للاهتمام، إلا أنها لم تتمكن بعد من إزاحة النماذج المتخصصة في التنبؤ بما سيحدث بعد ذلك في عملية ما. فلا تزال النماذج المتخصصة هي الطهاة الأكثر موثوقية لهذه المهمة، بينما تعتبر النماذج الجدولية بديلاً قوياً وسريعاً لأسئلة التوقيت. ويقترح المؤلفون أن النماذج اللغوية الكبيرة قد تحتاج لأن تكون أكبر حجماً أو يتم تدريبها بشكل مختلف لتلحق بالركب، وأنه في الوقت الحالي، إذا كنت تريد معرفة ما سيحدث بعد ذلك في عملية معقدة، فإن النهج التقليدي والمتخصص لا يزال هو الرهان الأكثر دقة.
ملخص تقني: إعادة النظر في المراقبة التنبؤية للعمليات في عصر النماذج التأسيسية
بيان المشكلة
تستفيد المراقبة التنبؤية للعمليات (PPM) من سجلات الأحداث التاريخية للتنبؤ بمستقبل حالات العمليات الجارية، معالجةً مهام مثل التنبؤ بالنشاط التالي (NA)، والوقت المتبقي حتى اكتمال الحالة (RT)، والوقت حتى الحدث التالي (NT). وبينما هيمن البحث الأخير في مجال PPM على نماذج التسلسل العميقة (مثل LSTMs وTransformers) التي يتم تدريبها من الصفر، فإن ظهور النماذج التأسيسية يقدم مشهدًا جديدًا. وتحديدًا، تقدم النماذج اللغوية الكبيرة (LLMs) التي تم تكييفها عبر الضبط الدقيق الفعال للمعلمات (PEFT)، والنماذج التأسيسية الجدولية ذات قدرات التعلم داخل السياق، نماذج بديلة. ومع ذلك، لا يزال من غير الواضح ما إذا كانت النماذج التسلسلية الكلاسيكية تظل تنافسية أمام هذه النهج القائمة على النماذج التأسيسية، خاصة وأن النماذج التأسيسية الجدولية لم يتم اختبارها بشكل منهجي لـ PPM بعد.
المنهجية
يجري المؤلفون اختبارًا تجريبيًا مضبوطًا يقارن بين ثلاثة نماذج مختلفة من النماذج عبر خمسة سجلات أحداث حقيقية (BPI12، BPI17، وثلاثة متغيرات من BPI20) وثلاث مهام تنبؤية (NA، RT، NT).
نماذج النمذجة
نماذج التسلسل الكلاسيكية: يتم تدريب هذه النماذج من الصفر على سجلات الأحداث. وهي تقوم بترميز البوادئ (prefixes) كمتسلسلات مرتبة من تضمينات الأحداث (التي تجمع بين السمات الفئوية والعددية) باستخدام هياكل خلفية متكررة (LSTM) أو قائمة على الانتباه (Transformer). ويتم تعلم جميع المعلمات عبر التحسين الخاضع للإشراف.
النهج القائم على النماذج اللغوية الكبيرة (LLM): تستخدم هذه النهج نماذج لغوية كبيرة مسبقة التدريب من نوع (decoder-only) (مثل Llama-3.2-1B و Gemma-2-2b) مكيفة مع بيانات العمليات. وهي تحافظ على التمثيل التسلسلي للبادئة ولكنها تستخدم ترميزًا مهيكلًا لسجل الأحداث حيث تُعامل تسميات الأنشطة كرموز (tokens) أصلية للعملية. ويتم تحقيق التكيف عبر التكيف منخفض الرتبة (LoRA)، حيث يتم تحسين مجموعة صغيرة فقط من المعلمات مع إبقاء الهيكل الخلفي مجمداً.
النماذج التأسيسية الجدولية: تعامل هذه النماذج (TabPFN-3 و ConTextTab) مهمة PPM كمسألة تنبؤ جدولي. فهي تقوم برسم خرائط للبوادئ إلى ناقلات سمات ثابتة الطول (تلخص خصائص مثل النشاط الحالي، والوقت المنقضي، والمؤشرات الزمنية) بدلاً من الحفاظ على تسلسل الأحداث الصريح. وتستخدم التعلم داخل السياق، مما لا يتطلب تدريبًا قائمًا على التدرج عند الاستدلال، بل تعتمد بدلاً من ذلك على الشرط السياقي على الصفوف المرصودة.
الإعداد التجريبي
البيانات: خمسة سجلات أحداث عامة تختلف في الأحجام، وأبجديات الأنشطة، وأطوال المسارات.
التقسيم: تم تطبيق تقسيم زمني يتجنب التسرب (80/20 على مستوى الحالة)، مع ترتيب الحالات حسب الطابع الزمني لأول حدث.
مقاييس التقييم: الدقة لـ NA؛ متوسط مربع الخطأ (MSE) لـ RT و NT؛ ووقت التشغيل الفعلي (wall-clock runtime) للكفاءة الحسابية.
النماذج المرجعية: تقارن الدراسة النماذج الثلاثة ببعضها البعض وضد نموذج مرجحي (majority baseline).
المساهمات الرئيسية
المقارنة المفاهيمية: تقدم الورقة مقارنة مهيكلة بين النماذج الثلاثة عبر أبعاد تمثيل البادئة، وتوصيف الهيكل الخلفي، وأنظمة التكيف.
الاختبار المنهجي: تقدم أول تقييم تجريبي مضبوط للنماذج التأسيسية الجدولية لـ PPM، إلى جانب مقارنة النماذج اللغوية الكبيرة المضبوطة بدقة والنماذج التسلسلية الكلاسيكية.
تحليل أنماط الفشل: تبحث الدراسة في فروق الأداء، وبالتحديد تحليل كيف يؤثر "التفرع" (غموض الخطوة التالية) على أداء النموذج، وتحديد أنماط فشل محددة، مثل التنبؤ المبكر بنهاية التسلسل في النماذج اللغوية الكبيرة.
النتائج
يسفر الاختبار عن أنماط أداء متميزة عبر المهام ومجموعات البيانات:
التنبؤ بالنشاط التالي (NA): تحقق النماذج التسلسلية الكلاسيكية (LSTM و Transformer) باستمرار أعلى دقة عبر جميع مجموعات البيانات الخمس. وتؤدي النماذج التأسيسية الجدولية عمومًا أداءً ضعيفًا، حيث تتسع الفجوة مع زيادة تعقيد التفرع. وتؤدي النماذج اللغوية الكبيرة أداءً أفضل من النماذج الجدولية في مهمة NA، لكنها تتخلف عمومًا عن أفضل النماذج التسلسلية.
المهام الزمنية (RT و NT): النتائج أكثر تباينًا. غالبًا ما تحقق النماذج التأسيسية الجدولية أفضل أداء في التنبؤ بالوقت المتبقي (RT). أما بالنسبة لوقت الحدث التالي (NT)، فإن كل من النماذج التسلسلية والجدولية تحقق أفضل النتائج في سجلات مختلفة. وتتخلف النماذج القائمة على LLM عمومًا في المهام الزمنية رغم تكلفتها الحسابية العالية.
وقت التشغيل: تظهر النماذج التسلسلية و ConTextTab أوقات تشغيل أقل بكثير مقارنة بالنماذج اللغوية الكبيرة المعدلة عبر LoRA. ويزداد وقت تشغيل النماذج اللغوية الكبيرة بشكل ملحوظ مع حجم السجل. ومن الجدير بالذكر أن غياب التدريب القائم على التدرج في النماذج الجدولية لا يضمن تلقائيًا انخفاض وقت التشغيل؛ إذ غالبًا ما يكون TabPFN-3 أبطأ من النماذج التسلسلية المرجعية.
الحساسية للتفرع: يكشف تحليل على مستوى الشرائح أن فجوة الأداء بين النماذج التسلسلية والجدولية في التنبؤ بـ NA تزداد مع تعقيد التفرع. تحتفظ النماذج التسلسلية بترتيب الأحداث، مما يسمح لها بالتعامل مع سيناريوهات التفرع العالي بشكل أفضل، بينما تعاني النماذج الجدولية، التي تشفر البوادئ كمتجهات حالة ثابتة الطول، مع حالات الغموض العالي.
مشكلات LLM المحددة: تظهر النماذج اللغوية الكبيرة أنماط فشل محددة، مثل التنبؤ بـ "رمز نهاية التسلسل" قبل الأوان. في مجموعة بيانات BPI12، شكل هذا 23-25% من أخطاء NA للنماذج اللغوية الكبيرة، مقارنة بـ 0% للنماذج التسلسلية المرجعية.
الأهمية والادعاءات
تدعي الورقة أنه بينما تقدم النماذج التأسيسية بدائل واعدة، فإنها لا تتفوق عالميًا على النماذج التسلسلية الكلاسيكية في PPM. وتخلص الدراسة إلى أن:
النماذج التسلسلية تظل هي الأفضل (state-of-the-art) للتنبؤ بالنشاط التالي، خاصة في العمليات المعقدة وعالية التفرع.
النماذج التأسيسية الجدولية تنافسية في مهام التنبؤ الزمني (RT/NT)، حيث تقدم بديلًا قابلًا للتطبيق لا يتطلب تدريبًا، رغم معاناتها في مهمة NA في السجلات المعقدة.
النماذج اللغوية الكبيرة (LLMs) تتحمل تكاليف عالية (وقت التشغيل والموارد الحسابية) دون تقديم دقة متفوقة باستمرار، وغالبًا ما تعاني من مشكلات اعتماد على مجموعة البيانات وأنماط فشل محددة مثل الإنهاء المبكر.
يؤكد المؤلفون أن اختيار النموذج يعتمد بشدة على مهمة التنبؤ المحددة والتعقيد الهيكلي (التفرع) لسجل العملية. كما يشيرون إلى أن تقييمهم استخدم نماذج لغوية كبيرة نسبيًا صغيرة ولم يستكشف تمثيلات ميزات بديلة للنماذج الجدولية، مما يقترح هذه المجالات للبحث المستقبلي.