AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems
يقدم هذا البحث AgentForesight، وهو إطار عمل يتميز بمراقب آني مدمج تم تدريبه على مجموعة بيانات AFTraj-2K المنقحة حديثًا للتنبؤ بالأخطاء الحاسمة وتحديد مواقعها في الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة في الوقت الفعلي، مما يتيح التدخل أثناء وقت النشر بدلاً من الاعتماد على عزو الفشل بعد حدوثه.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تشاهد فريقًا من الروبوتات يعملون معًا لبناء قطعة أثاث معقدة. لديهم خطة: روبوت واحد يقطع الخشب، وآخر يصنفر الخشب، وثالث يدهنه.
في الماضي، إذا انتهت الطاولة بكونها مهتزة أو مطلية باللون الخاطئ، كان الخبراء ينتظرون حتى النهاية، ثم ينظرون إلى الفوضى النهائية ويقولون: "آه، المشكلة بدأت عندما استخدم روبوت الصنفرة درجة خشونة خاطئة". هذا ما يسمى عزو الفشل البعدي (Post-Hoc Failure Attribution). إنه يشبه محققًا يحل جريمة بعد أن احترق المنزل بالفعل؛ أنت تعرف من فعلها، لكن لا يمكنك إيقاف الحريق.
AgentForesight يغير قواعد اللعبة. بدلًا من انتظار الكارثة، تخيل مفتش سلامة شديد اليقظة يقف بجانب الروبوتات مباشرة، يراقب كل حركة يقومون بها في الوقت الفعلي.
الفكرة الجوهرية: مفتش "الاستمرار أو التوقف"
هذا المفتش (المدقق - Auditor) لا يعرف المستقبل. هو فقط يرى ما حدث حتى الآن. عند كل خطوة، يتعين على المفتش اتخاذ قرار في أجزاء من الثانية:
- استمر (CONTINUE): "كل شيء يبدو آمنًا حتى الآن. دع الروبوتات تواصل العمل."
- إنذار (ALARM): "توقف! أرى خطأً فادحًا يحدث الآن. إذا سمحنا لهم بالاستمرار، سيفشل المشروع بأكمله."
الهدف هو رصد الخطأ الحاسم — تلك اللحظة المحددة التي يخرج فيها القطار عن مساره — قبل أن تتبع الروبوتات الأخرى ذلك المسار السيئ بعمى وتدمر المشروع بأكمله.
المشكلة: لماذا كان هذا صعبًا من قبل؟
حتى الآن، لم يكن لدينا بيانات جيدة لتدريب هؤلاء المفتشين.
- مشكلة "الأمان": معظم البيانات الموجودة كانت تعرض لنا فقط المشاريع الفاشلة. لم يكن لدينا أمثلة كافية للمشاريع المثالية حيث نعرف، خطوة بخلف خطوة، أن شيئًا لم يسِر بشكل خاطئ. المدقق الذي يتم تدريبه على الفشل فقط قد يصاب بالذعر ويوقف كل مشروع، معتقدًا أن كل هفوة صغيرة هي كارثة.
- مشكلة "التوقيت": كانت النماذج الموجودة بارعة في النظر إلى فشل مكتمل وتقول: "لقد كان في الخطوة 4". لكنها كانت سيئة جدًا في النظر إلى الخطوة 4 أثناء حدوثها والقول: "توقف عند هذه اللحظة!"
الحل: AgentForesight
قام الباحثون ببناء نظام جديد يتكون من ثلاثة أجزاء رئيسية:
1. دليل التدريب (AFTRAJ-2K)
لقد أنشأوا مكتبة ضخمة من سجلات عمل الروبوتات تسمى AFTRAJ-2K.
- السجلات الآمنة: قاموا بتصفية آلاف المهام الروبوتية الناجحة بعناية لضمان أنها كانت مثالية حقًا من البداية إلى النهاية. هذا يعلم المدقق ما الذي يبدو عليه "الأمان".
- السجلات المعطلة: أخذوا مهامًا آمنة وعطلونها عمدًا عند خطوات محددة (مثل إخبار الروبوت باستخدام أداة خاطئة)، ثم استخدموا لجنة من حكام الذكاء الاصطناعي للاتفاق على أي خطوة بالضبط تسببت في الفشل. هذا يعلم المدقق متى يضغط على زر الإنذار.
2. طريقة التدريب (من العام إلى الخاص - Coarse-to-Fine)
لم يلقوا بالمدقق في المسبح مباشرة. بل قاموا بتدريبه على مرحلتين، مثل طالب فنون قتالية:
- المرحلة 1: "الشعور الحدسي" (توقع المخاطر): أولاً، علموا المدقق الشعور بالفرق بين لحظة "آمنة" ولحظة "خطيرة". عرضوا عليه أزواجًا من الخطوات: "هذا يبدو آمنًا" مقابل "هذا يبدو خطرًا". تعلم المدقق استشعار الحدود التي تسوء عندها الأمور.
- المرحلة 2: "التصويب الدقيق" (الدقة): بمجرد أن امتلك المدقق "شعورًا حدسيًا" جيدًا، قاموا بصقل مهاراته. علموه كيفية تحديد الخطوة بالضبط والروبوت المسؤول بالضبط. استخدموا نظام مكافأة يثني على المدقق إذا أصاب ثلاثة أشياء:
- ماذا: هل قدم التنسيق الصحيح للإجابة؟
- أين: هل أمسك بالخطأ في الخطوة الصحيحة تمامًا؟
- مَن: هل ألقى اللوم على الروبوت الصحيح؟
3. النتيجة (AgentForesight-7B)
النتيجة هي مدقق ذكاء اصطناعي مدمج وسريع (يسمى AgentForesight-7B) يعمل جنبًا إلى جنب مع أنظمة الذكاء الاصطناعي الأخرى.
- إنه أسرع وأذكى: في الاختبارات، اكتشف الأخطاء بشكل أفضل بكثير من نماذج الذكاء الاصطناعي الضخمة والمكلفة (مثل GPT-4.1 أو DeepSeek-V4-Pro).
- إنه دقيق: لم يكتفِ بالقول "هناك خطأ ما"، بل قال: "توقف! الروبوت المدير ارتكب خطأ في الخطوة 3".
- إنه عملي: حجمه صغير بما يكفي ليعمل على الأجهزة القياسية، مما يعني أنه يمكن استخدامه فعليًا في التطبيقات الواقعية دون إبطاء العمليات.
لماذا هذا مهم؟
فكر في الأمر كأنه مدقق إملائي لفرق الذكاء الاصطناي.
- الطريقة القديمة: تكتب مقالًا كاملاً، ثم ترسله، وبعدها يقول لك المدقق الإملائي: "لقد ارتكبت خطأً إملائيًا في الصفحة 1". المقال قد أُرسل بالفعل.
- طريقة AgentForesight: بينما تكتب، يقوم المدقق الإملائي بتحديد الخطأ في اللحظة التي ترتكبه فيها، وقبل أن تنهي الجملة حتى. إنه يمنعك من إرسال منتج معيب.
تزعم الورقة البحثية أن هذا النظام يسمح لنا بالتدخل أثناء عمل الذكاء الاصطناعي، مما يمنع الأخطاء الصغيرة من التحول إلى إخفاقات كبيرة وغير قابلة للإصلاح في مهام البرمجة، الرياضيات، وتصفح الويب. إنه يحول تحليل الفشل من "تشريح للجثة" (بعد الوفاة) إلى "جراحة حية" (إنقاذ المريض).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.