Runtime Uncertainty Monitoring for LLM-Based Multi-Agent Systems Using Bayesian Networks
تقترح هذه الورقة إطار عمل متعدد الوكلاء لنمذجة المخاطر الاكتوارية يستفيد من الاحتمالات اللوغاريتمية على مستوى الرمز (token-level log-probabilities) والشبكات البايزية لتقدير ونشر عدم اليقين أثناء وقت التشغيل، مما يضمن دعم اتخاذ القرار بشكل موثوق في سير العمل القائم على النماذج اللغوية الكبيرة (LLMs) في المهام عالية المخاطر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً لا تكتفي فيه الحواسيب باتباع تعليمات صارمة، بل يمكنها حقاً "الدردشة" و"التفكير" عبر إنجاز مهام معقدة. هذا هو مجال الذكاء الاصطناعي، وتحديداً فرع يسمى نماذج اللغات الكبيرة (LLMs). فكر في هذه النماذج كطلاب مطلعين للغاية قرأوا كل شيء تقرياً على الإنترنت؛ فهم بارعون في كتابة القصص، والإجابة على الأسئلة، وحتى حل المسائل الرياضية. ومع ذلك، هناك عقبة: فهم يشبهون الكاتب المبدع الذي قد يختلق أشياءً من خياله أحياناً (ما يسمى بـ "الهلوسة") أو يغير رأيه إذا سألته نفس السؤال مرتين.
الآن، تخيل أنك بحاجة لاتخاذ قرار مصيري، مثل تحديد مقدار الرسوم التي يجب فرضها على تأمين السيارات. لا يمكنك مجرد سؤال أحد هؤلاء الطلاب من الذكاء الاصطناعي للتخمين؛ بل تحتاج إلى فريق كامل يعمل معاً. هنا يأتي دور الأنظمة متعددة الوكلاء (Multi-Agent Systems). فبدلاً من روبوت واحد يقوم بكل شيء، سيكون لديك فريق من المتخصصين: أحدهم يجمع البيانات، وآخر يبني النموذج الرياضي، وثالث يراجع الأخطاء، ورابع يشرح النتائج. السؤال الكبير الذي يطرحه العلماء هو: "إذا ارتبك أحد أعضاء فريق الذكاء الاصطناعي هذا أو ارتكب خطأً، كيف نعرف ذلك قبل أن يفشل المشروع بأكمله؟" تبحث هذه الورقة في هذا المشكل تحديداً، محاولةً بناء شبكة أمان لفرق الذكاء الاصطناعي التي تعمل في مهام مالية عالية المخاطر.
فريق الذكاء الاصطناعي و"مقياس الثقة"
في هذه الدراسة، أنشأ الباحثون شركة تأمين رقمية يديرها فريق من وكلاء الذكاء الاصطناعي. لم يتركوا الذكاء الاصطناعي يدردش بشكل عشوائي، بل بنوا سير عمل صارم مع "مركز محوري" يعمل كمدير مشروع. يقوم هذا المدير بتعيين المهام لأربعة متخصصين محددين من الذكاء الاصطناعي:
- وكيل تحضير البيانات: ينظف الأرقام الفوضوية.
- وكيل النمذجة: يبني رياضيات التنبؤ بالمخاطر.
- وكيل المراجعة: يدقق العمل بحثاً عن الأخطاء.
- وكيل الشرح: يتأكد من أن النتائج منطقية وعادلة.
الجزء الصعب هو أن وكلاء الذكاء الاصطناعي هؤلاء احتماليون، مما يعني أنهم لا يعطون إجابة واحدة "صحيحة" في كل مرة. فهم يولدون النصوص كلمة بكلمة، ومع كل كلمة، يمتلك الكمبيوتر "احتمالية لوغاريتمية" ضئيلة—وهي رقم يوضح مدى احتمالية توقع النموذج لتلك الكلمة المحددة تالياً. عادةً ما ينظر الناس إلى الإجابة النهائية فقط، لكن هذه الورقة تقترح حيلة ذكية: استمع إلى همس ثقة الذكاء الاصطناعي.
أدرك المؤلفون أنه لا يمكنك مجرد أخذ أرقام الثقة الداخلية للذكاء الاصطناعي والقول: "هذا صحيح بنسبة 90%". هذا يشبه افتراض أن الطالب الذي يتحدث بطلاقة هو بالتأكيد يقول الحقيقة. بدلاً من ذلك، صمم الفريق نظاماً لترجمة همسات الثقة الخام تلك إلى شبكة بايزية (Bayesian Network).
الشبكة البايزية: تأثير الدومينو الرقمي
فكر في الشبكة البايزية كلوحة تدفق تفاعلية ضخمة من قطع الدومينو. تمثل كل قطعة دومينو خطوة في سير عمل التأمين. إذا تمايلت القطعة الأولى (تحضير البيانات)، فقد تسقط الثانية (النمذجة)، مما قد يؤدي بدوره إلى إسقاط الثالثة (المراجعة).
استخدم الباحثون درجات الثقة الداخلية للذكاء الاصطناعي لتحديد "عامل التمايل" لكل قطعة دومينو. لم يعاملوا ثقة الذكاء الاصطناعي كضمان للحقيقة، بل قاموا بمعايرتها باستخدام تجارب اختبارية لمعرفة عدد المرات التي كان فيها الذككاء الاصطناعي محقاً بالفعل عندما شعر بالثقة. ثم قاموا بتغذية هذه الأرقام المعايرة في الشبكة.
والنتيجة؟ استطاعت الشبكة أن توضح لهم كيف تنتقل حالة عدم اليقين عبر النظام بأكمله. حتى لو شعر كل وكيل ذكاء اصطناعي بالثقة بنسبة 80% في عمله الخاص، استطاعت الشبكة حساب أن سير العمل بأكمله لديه فرصة نجاح قدرها 55% فقط لأن الشكوك الصغيرة تراكمت. الأمر يشبه سلسلة من أربعة أشخاص يمررون دلواً من الماء؛ إذا كان كل شخص متأكداً بنسبة 80% من أنه لن يسكب الماء، فقد يظل الدلو النهائي نصف فارغ عند وصوله إلى النهاية.
ما وجدوه: اختبار درجة الحرارة
لمعرفة ما إذا كانت شبكة الأمان هذه تعمل، مرر الباحثون فريق الذكاء الاصطناعي عبر "درجات حرارة" مختلفة. في لغة الذكاء الاصطناعي، تتحكم "درجة الحرارة" في مدى عشوائية أو إبداع الذكاء الاصطناعي.
- درجة حرارة منخفضة (0.2): يكون الذكاء الاصطناعي محافظاً جداً ومكرراً.
- درجة حرارة مرتفعة (1.2): يكون الذكاء الاصطناعي جامحاً، مبدعاً، وعرضة لارتكاب الأخطاء.
اختبروا أربعة سيناريوهات:
- السيناريو الآمن: الجميع في درجة حرارة منخفضة. كان النظام موثوقاً للغاية، بنسبة نجاح بلغت 87.1%.
- السيناريو المختلط: وكلاء البيانات والنمذجة كانوا هادئين، لكن المراجعين والمشرحين كانوا جامحين قليلاً. انخفض النجاح إلى 69.0%.
- السيناريو المتوسط: الجميع عند إعداد "متوسط" قياسي. كانت نسبة النجاح 59.2%.
- السيناريو المحفوف بالمخاطر: وكيل واحد فقط (وكيل الشرح) أصبح جامحاً جداً. وبالرغم من أن الجميع الآخرين كانوا هادئين، إلا أن معدل نجاح النظام بأكمله انهار إلى 42.8%.
أظهر هذا أن النظام حساس للغاية؛ إذ يمكن لرابط واحد مهتز في السلسلة أن يسحب موثوقية المشروع بأكمله للأسفل.
الحكم النهائي: من كشف الأخطاء؟
اختبر الفريق أيضاً وكلاء الذكاء الاصطناعي عن طريق العبث بالبيانات سراً (مثل إخفاء الأرقام أو إضافة ضجيج وهمي) لمعرفة ما إذا كان الوكلاء سيلاحظون ذلك.
- Llama 2 و Llama 3.1: كانت هذه النماذج جيدة في المهمة لكنها أغفلت الكثير من الأخطاء المخفية. اكتشف Llama 2 فقط 45% من الأخطاء، بينما اكتشف Llama 3.1 حوالي 65%.
- Qwen2.5: كان هذا النموذج هو نجم العرض. فقد اكتشف 90% من الأخطاء وكان أفضل بكثير في تكييف استراتيجيته عندما تسوء الأمور.
وجدت الدراسة أيضاً أنه بينما شعر الوكلاء الأفراد غالباً بثقة عالية (بدرجات تتراوح بين 0.80 إلى 0.90 بمفردهم)، فإن عدم اليقين المجمع لسير العمل بأكمله كان أقل بكثير. على سبيل المثال، مع نموذج Qwen، كان الوكلاء الأفراد واثقين، لكن يقين سير العمل النهائي كان 0.6012 فقط.
لماذا هذا مهم؟
لا تدعي هذه الورقة أنها حلت جميع مشكلات الذكاء الاصطناعي في مجال التأمين. بدلاً من ذلك، هي تقترح طريقة جديدة لمراقبة فريق الذكاء الاصطناعي أثناء عمله. من خلال استخدام الشبكة البايزية لتتبع كيفية تراكم الشكوك الصغيرة، يمكننا رصد متى يصبح سير العمل "غير آمن" قبل أن ينتج نتيجة سيئة.
أظهر الباحثون أن هذه الطريقة يمكنها إعادة إنتاج النتائج الاكتوارية القياسية (الرياضيات المستخدمة لتسعير التأمين) مع منحنا رؤية واضحة لاستقرار النظام. وهي تشير إلى أنه في الوظائف عالية المخاطر، لا ينبغي لنا مجرد الوثوق بالإجابة النهائية للذكاء الاصطناعي؛ بل نحتاج إلى الاستماع إلى "همسات" ثقته ومراقبة كيفية انتقال تلك الهمسات عبر الفريق. إذا بدأ أحد الوكلاء يبدو غير متأكد، فيجب أن يعرف النظام بأكمله أن يتوقف ويتحقق، مما يمنع الخطأ الصغير من التحول إلى كارثة مالية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.