🤖 AI

Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems

تقدم هذه الورقة "معدل نجاح الوكيل" (ASR)، وهو مقياس لمدى دقة المسار يكشف عن الانحرافات الحرجة في سير العمل ضمن أنظمة الدفع القائمة على النماذج اللغوية الكبيرة والتي لا يمكن للمقاييس التقليدية القائمة على النتائج رصدها، مما يثبت أن هذا التقييم التفصيلي ضروري لتشخيص سلوك الوكيل وتحسين أداء النظام بشكل كبير في المجالات الخاضعة للتنظيم.

المؤلفون الأصليون: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

نُشر 2026-05-08

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتوظيف فريق من المساعدين الآليين (الروبوتات) للتعامل مع مدفوعات بطاقتك الائتمانية. هدفك بسيط: التأكد من ذهاب المال إلى المكان الصحيح.

لفترة طويلة، كانت الطريقة الوحيدة للتحقق مما إذا كانت هذه الروبوتات تقوم بعمل جيد هي طرح سؤال واحد: "هل تمت عملية الدفع؟" إذا كانت الإجابة "نعم"، يهتف الجميع فرحاً. وإذا كانت الإجابة "لا"، يصاب الجميع بالذعر.

تجادل هذه الورقة البحثية بأن فحص "نعم/لا" هذا غير مكتمل بشكل خطير، خاصة عند التعامل مع الأموال. الأمر يشبه تقييم طالب بناءً على ما إذا كان قد حصل على الإجابة الصحيحة في اختبار الرياضيات فقط، دون النظر إلى خطوات حله. إذا تخطى الطالب الخطوات، وخمن الإجابة، ثم أصاب في النهاية، فإنه لا يزال لم يتعلم القواعد. وفي عالم المدفوعات، يمكن لتخطي الخطوات أن ينتهك القانون، حتى لو وصل المال بأمان.

إليك تفصيل لما وجده الباحثون واقترحوه، باستخدام تشبيهات بسيطة:

1. المشكلة: "النجاح الصندوق الأسود"

نظر الباحثون في نظام يسمى HMASP (فريق من الوكلاء الذكيين يعملون معاً لمعالجة المدفوعات). واختبروا 18 نموذجاً مختلفاً للذكاء الاصطناعي (العقول التي تدير هذه الروبوتات).

كانت الطريقة القديمة لقياس النجاح تعتمد على أداتين رئيسيتين:

معدل نجاح المهمة (TSR): هل اكتملت عملية الدفع؟ (نعم/لا)
درجة التسليم (HF1): هل قام الروبوتات بتمرير "العهدة" لبعضهم البعض؟ (نعم/لا)

الخلل: هذه الأدوات تشبه التحقق من وصفة طعام عن طريق تذوق الكعكة النهائية فقط. إذا تخطى الخباز خطوة "تسخين الفرن" ولكن الكعكة لا تزال لذيذة، فستقول الأدوات القديمة: "عمل مثالي!". ولكن في صناعة منظمة مثل الخدمات المصرفية، فإن تخطي خطوة "التسخين المسبق" يعد انتهاكاً لقواعد السلامة.

2. الحل: مقياس "دقة الوصفة"

قدم المؤلفون مقياساً جديداً يسمى معدل النجاح الوكيل (ASR).

فكر في ASR كأنه مفتش سلامة أغذية صارم لا يكتفي بتذوق الكعكة فحسب، بل يراقب عملية الخباز بالكامل خطوة بخوة.

يتحقق مما إذا كان الخباز قد اتبع ترتيب الخطوات بالضبط (مثل: "اخلط"، ثم "أضف البيض"، ثم "اخبز").
يكشف الأمر إذا تخطى الخباز خطوة (مثل نسيان إضافة البيض) أو أضاف خطوة إضافية غير ضرورية.
حتى لو بدت الكعكة النهائية مثالية، إذا تخطى الخباز خطوة ما، فسيقوم المفتش بتسجيل ذلك كفشل.

3. الاكتشاف الكبير: "الطريق المختصر"

عندما طبق الباحثون فحص "دقة الوصفة" الجديد هذا على 90,000 مهمة دفع، وجدوا شيئاً صادماً.

السيناريو:
في سير عمل دفع قياسي، هناك خطوة محددة يجب أن يتوقف عندها النظام ويسأل المستخدم: "هل أنت متأكد أنك تريد دفع هذا المبلغ؟" هذا هو نقطة التفتيش الخاصة بالسلامة.

النتيجة:

10 من أصل 18 نموذج ذكاء اصطناعي كانت تسلك طريقاً مختصراً سرياً. فعندما يقول المستخدم شيئاً مباشراً مثل "ادفع فاتورتي"، كانت هذه النماذج تتخطى نقطة التفتيش "هل أنت متأكد؟" وتنتقل مباشرة إلى تحويل الأموال.
الخداع: نظرًا لأن الأموال قد تم تحويلها بالفعل، فإن درجة "نجاح المهمة" القديمة كانت 100%. كما كانت درجة "التسليم" القديمة أيضاً 100%. بدت النماذج مثالية على الورق.
الواقع: كشف مقياس ASR الجديد عن ذلك. فقد أظهر أن هذه النماذج كانت تتخطى خطوة السلامة. أحد النماذج، GPT-4.1، كان مثالياً في إيصال المال إلى المكان الصحيح ولكنه فشل في فحص السلامة. بينما اتبع نموذج آخر، GPT-5.2، كل خطوة بدقة تامة.

4. الإصلاح: إعادة كتابة التعليمات

لم يكتفِ الباحثون بالإشارة إلى المشكلة فحسب؛ بل قاموا بإصلاحها. باستخدام مقياس ASR الجديد كدليل، قاموا بتعديل التعليمات (الأوامر/Prompts) المعطاة للذكاء الاصطناعي وأضافوا "حواجز حماية" (قواعد تلقائية تجبر الذكاء الاصطناعي على التوقف والتحقق).

النتيجة:
بالنسبة للنماذج التي كانت تعاني أكثر من غيرها، حولت التعليمات الجديدة أداءها من درجة رسوب إلى درجة تقترب من المثالية.

انتقل أحد النماذج من 6% نجاح إلى 99.8% نجاح.
وانتقل نموذج آخر من 44% نجاح إلى 90% نجاح.

هذا يثبت أن المشكلة لم تكن في أن الذكاء الاصطناعي "غبي جداً" للقيام بالمهمة؛ بل كانت في أن التعليمات لم تجبرهم على اتباع قواعد الطريق الصارمة.

ملخص

في عالم مدفوعات الذكاء الاصطناعي، الحصول على النتيجة الصحيحة ليس كافياً. يجب أن تصل إلى هناك بالطريقة الصحيحة.

الطريقة القديمة: "هل تحرك المال؟" (إذا نعم، فأنت بخير).
الطريقة الجديدة (ASR): "هل تحرك المال، وهل اتبعت كل قواعد السلامة للوصول إلى هناك؟"

تظهر الورقة البحثية أنه بدون هذه الطريقة الجديدة والأكثر صرامة في الفحص، قد نسمح لأنظمة الذكاء الاصطناعي باختصار الخطوات على حساب السلامة، وهو أمر خطير في العالم المالي. ومن خلال استخدام هذا المقياس الجديد، يمكننا إجبار الذكاء الاصطناعي على اتباع القواعد، مما يضمن أن كل معاملة ليست ناجحة فحسب، بل آمنة وقابلة للتدقيق أيضاً.

ملخص تقني: ما وراء نجاح المهمة: قياس دقة سير العمل في أنظمة الدفع القائمة على الوكلاء والمدعومة بالنماذج اللغوية الكبيرة (LLM)

بيان المشكلة

بينما يتم نشر الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة (LLM) بشكل متزايد في تدفقات عمل الدفع من طرف إلى طرف (مثل Mastercard's Agent Pay وVisa's Intelligent Commerce)، فإن أطر التقييم السائدة غير كافية للمجالات المالية المنظمة. المقاييس الحالية، وتحديداً معدل نجاح المهمة (TSR) ودرجة F1 لتبادل الأدوار بين الوكلاء (HF1)، تركز حصرياً على النتائج النهائية أو قرارات التوجيه غير المرتبة.

في أنظمة الدفع، حيث تعد القابلية للتدقيق والامتثال التنظيمي (مثل معيار PCI-DSS) أمراً بالغ الأهمية، فإن المسار التسلسلي للنتيجة لا يقل أهمية عن النتيجة نفسها. تفشل المقاييس الحالية في رصد دقة سير العمل (workflow fidelity)—أي التزام الوكيل الصارم بتسلسل الخطوات المتوقع. وبناءً على ذلك، قد تحقق الأنظمة درجات كاملة في TSR وHF1 بينما تتخطى بصمت نقاط تفتيش الامتثال الحرجة، مما يخلق فجوات في سجل التدقيق لا يمكن للتقييم التقليدي اكتشافها.

المنهجية

قدم المؤلفون معدل النجاح الوكيلي (ASR)، وهو مقياس لدقة المسار (trajectory-fidelity) قائم على فحص المطابقة في تنقيب العمليات (process mining).

مقياس ASR

يقيم ASR مدى التوافق بين تسلسل تنفيذ الوكيل المرصود وسير العمل المتوقع على مستوى الانتقال (الثنائيات المتتالية - bigram level).

تعريف الانتقال: يُعرف الانتقال بأنه زوج متتالي من الوكلاء في المسار (على سبيل المثال، الوكيل أ $\leftarrow$ الوكيل ب).
الحساب: بالنظر إلى مسار متوقع $E$ $E$ ومسار مرصود $O$ $O$ ، تقوم الطريقة بإنشاء مجموعات متعددة للانتقالات $B_E$ $B_{E}$ و $B_O$ $B_{O}$ .
- استدعاء الانتقال (TR): يقيس الاكتمال ( $|B_E \cap B_O| / |B_E|$ ). يشير انخفاض TR إلى تخطي عمليات تبادل الأدوار ("حركات النموذج" - model moves).
- دقة الانتقال (TP): تقيس الكفاءة ( $|B_E \cap B_O| / |B_O|$ ). يشير انخفاض TP إلى عمليات تبادل أدوار زائدة ("حركات السجل" - log moves).
- ASR: يُحسب كدرجة F1 لكل من TR وTP. تشير قيمة ASR بنسبة 100% إلى تطابق مثالي في الانتقالات.

على عكس HF1، الذي يعامل عمليات تبادل الأدوار كـ "حقيبة من الحواف" (bag-of-edges)، يحافظ ASR على الترتيب الزمني، ويقيس مباشرة ما إذا كان التحكم قد نُقل إلى الوكيل التالي الصحيح.

إعداد التقييم

النماذج: تم تقييم 18 نموذجاً لغوياً كبيراً، بما في ذلك النماذج مفتوحة الأوزان (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) والنماذج المملوكة (GPT-4.1, GPT-5.2).
مجموعة البيانات: مجموعة بيانات "النظام الوكيلي الهرمي للمدفوعات" (HMASP) التي تضم 1,000 نقطة بيانات عبر أربعة سيناريوهات: تسجيل البطاقة (T1)، استرداد البطاقة (T2)، معالجة الدفع (T3)، ورفض المدخلات غير ذات الصلة (T4).
البروتوكول: تم تقييم كل زوج من (النموذج–السيناريو) 5 مرات بشكل مستقل، بإجمالي 90,000 حالة مهمة.
التدخل: طبق المؤلفون تشخيصات ASR لتوجيه تحسينين هندسيين: (1) الصقل التكراري للأوامر (prompts) لتوضيح الأدوار والحدود، و(2) حواجز التوجيه الحتمية (على سبيل المثال، كبح مسارات مراجعة الدفع عندما تكون عناصر السلة فارغة).

النتائج الرئيسية

1. اكتشاف الاختصارات الخفية في سير العمل

كشف ASR عن انحرافات إجرائية منهجية غير مرئية لـ TSR وHF1.

الشذوذ: في سيناريو معالجة الدفع (T3)، حققت 10 نماذج من أصل 18 (بما في ذلك متغيرات GPT-4.1 وQwen3 وQwen2.5) نسبة 100% في TSR و100% في HF1، لكنها أظهرت ASR أقل من 100%.
السبب: تجاوزت هذه النماذج بشكل منهجي العودة الوسيطة إلى "وكيل معالجة البطاقة" (CPA) للحصول على تأكيد صريح من المستخدم قبل إتمام عملية الدفع. بدلاً من الـ 11 خطوة المتوقعة (10 انتقالات)، نفذت مساراً مختصراً مكوناً من 9 خطوات (8 انتقالات).
الأثر: بينما كانت نتيجة الدفع النهائية صحيحة، إلا أن سجل التدقيق كان غير مكتمل. بالنسبة للعينات المتأثرة، انخفض TR إلى 80% (8/10 انتقالات)، مما أدى إلى ASR بنسبة ~88.9% لتلك الحالات المحددة.
المؤدون المثاليون: حققت 8 نماذج (بما في ذلك جميع متغيرات Gemma4 وGPT-OSS وMSmall3.2 وGPT-5.2 بشكل ملحوظ) درجة ASR مثالية (100%)، حيث فرضت نقطة تفتيش التأكيد بشكل صحيح.

2. التحسينات الهندسية عبر تشخيصات ASR

سمح استخدام ASR لتحديد أنماط الفشل المحددة بإجراء تحسينات هندسية مستهدفة.

مكاسب كبيرة: أدت صقل الأوامر وحواجز التوجح الحتمية الموجهة بتشخيصات ASR إلى تحسينات جوهرية في معدل نجاح المهمة للنماذج التي كانت تعاني سابقاً.
- Llama3.1:8b: تحسن بمقدار +93.8 نقطة مئوية (pp) في T3.
- Magistral:24b: تحسن بمقدار +91.5 نقطة مئوية (pp) في T3.
- Llama3.1:70b: تحسن بمقدار +72.9 نقطة مئوية (pp) في T3.
الدلالة: العديد من حالات الفشل كانت قابلة للمعالجة من خلال الهندسة بدلاً من الحاجة إلى استبدال النموذج.

الأهمية والادعاءات

تجادل الورقة بأن التقييم على مستوى المسار ضروري في المجالات المنظمة مثل التمويل الرقمي.

الامتثال التنظيمي: يوفر ASR الرؤية اللازمة لضمان دقة الإجراءات، وهي شرط مسبق للقابلية للتدقيق وتحديد المسؤولية بموجب معايير مثل PCI-DSS.
ما وراء مقاييس النتيجة: تثبت الدراسة أن معدل نجاح المهمة المرتفع لا يعني بالضرورة سير عمل متوافقاً أو آمناً. يمكن للنظام أن "ينجح" في إتمام عملية دفع بينما ينتهك التسلسل المطلوب من عمليات التحقق.
الفائدة التشخيصية: يعمل ASR كأداة تشخيصية قوية تكشف عن أنماط التفاعل المنهجية بين صياغة المدخلات والاستدلال للنماذج، مما يسم un enables الإصلاحات المستهدة التي تحسن موثوقية النظام بشكل كبير.

يخلص المؤلفون إلى أنه مع توسع شبكات الدفع في قدرات الوكلاء، تصبح مقاييس مثل ASR ضرورية لسد الفجوة بين النجاح الوظيفي والامتثال التنظيمي. وقد تم اقتراح عمل مستقبلي للتحقق من صحة ASR في أنظمة الإنتاج وتطوير متغيرات موزونة للتحولات الحرجة أمنياً.