💻 computer science

Aegis: Automated Error Generation and Attribution for Multi-Agent Systems

تقدم هذه الورقة البحثية Aegis، وهو إطار عمل مبتكر يعالج ندرة بيانات عزو الأخطاء للأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة من خلال التوليد التلقائي لمجموعة بيانات واسعة النطاق تضم 9,533 مساراً معيباً مشروحاً، مما يتيح تدريب نماذج فعالة تحقق أداءً منافساً للأنظمة المملوكة الأكبر حجماً بكثير.

المؤلفون الأصليون: Fanqi Kong, Ruijie Zhang, Huaxiao Yin, Guibin Zhang, Xiaofei Zhang, Ziang Chen, Zhaowei Zhang, Xiaoyuan Zhang, Song-Chun Zhu, Xue Feng

نُشر 2026-03-20

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Fanqi Kong, Ruijie Zhang, Huaxiao Yin, Guibin Zhang, Xiaofei Zhang, Ziang Chen, Zhaowei Zhang, Xiaoyuan Zhang, Song-Chun Zhu, Xue Feng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث AEGIS باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: نظام "بيت الورق" متعدد الوكلاء

تخيل أنك وظفت فريقًا من الروبوتات شديدة الذكاء (وكلاء الذكاء الاصطناعي) لبناء منزل معقد. يعملون معًا: أحدهم يصمم المخطط، والآخر يضع الطوب، والثالث يفحص السباكة، والرابع يدهن الجدران. هذا ما يسمى بـ النظام متعدد الوكلاء (MAS).

عادةً، تحقق هذه الفرق نتائج مذهلة. لكن في بعض الأحيان، ينهار المنزل.

المشكلة هي أنه عندما ينهار المنزل، يكون من الصعب للغاية معرفة من الذي تسبب في سقوطه ولماذا.

هل استخدم عامل الطوب ملاطاً ضعيفاً؟
هل نسي السباك إغلاق المياه؟
أم أن الدهان قام بطلاء الدعامات الهيكلية عن طريق الخطأ؟

في عالم الذكاء الاصطناعي، غالبًا ما تتوالى الأخطاء بشكل "متسلسل". خطأ صغير من الروبوت الأول يتم تمريره، ثم تضخيمه، وفي النهاية يتسبب في فشل هائل. ولأن هذه الأنظمة معقدة للغاية، لا يستطيع البشر فحص كل سجل محادثة يدويًا للعثور على المذنب. الأمر يشبه محاولة العثور على إبرة واحدة سقطت في كومة قش بحجم مدينة كاملة.

العقبة: نحن بحاجة إلى المزيد من "مسارح الجريمة"

لتعليم الذكاء الاصطناعي كيفية إصلاح أخطائه بنفسه، نحتاج إلى الكثير من الأمثلة لـ "المشاريع الفاشلة" حيث نعرف فيها بالضبط ما الذي حدث خطأً.

الطريقة القديمة: كان البشر يقرؤون آلاف المحادثات بين الروبوتات يدويًا، ويجدون الأخطاء، ويصنفونها. كانت هذه العملية بطيئة، مكلفة، ومملة. لم يكن لدينا سوى بضع مئات من الأمثلة (مثل ملف مسرح جريمة صغير جدًا).
النتيجة: نماذج الذكاء الاصطناعي سيئة في تصحيح الأخطاء لأنها لم تشهد "جرائم" كافية للتعلم منها.

الحل: AEGIS (محاكي "المخرب")

ابتكر المؤلفون AEGIS (التوليد التلقائي للأخطاء ونسبها للأنظمة متعددة الوكلاء). فكر في AEGIS كأنه محاكي لشرير خارق أو مهندس فوضى.

بدلاً من انتظار تعثر الروبوتات بشكل طبيعي، يقوم AEGIS بأخذ فريق من الروبوتات يقوم بـ "عمل مثالي" ويقوم سرًا بحقن "أخطاء برمجية" لجعلهم يفشلون بطرق محددة ومسيطر عليها.

كيف يعمل (التشبيه):

التشغيل المثالي: يراقب AEGIS فريقًا من الروبوتات يبني منزلًا بنجاح.
التخريب: يمتلك AEGIS "مُتلاعبًا" (مخربًا رقميًا). يتسلل هذا المخرب ويهمس بتعليمات خاطئة لعامل الطوب ("استخدم الرمل بدلًا من الإسمنت") أو يخدع السباك ("تجاهل مقياس الضغط").
الانهيار: ينهار المنزل.
التصنيف: نظرًا لأن AEGIS هو من تسبب في الانهيار، فهو يعرف بالضبط من الذي خربه وكيف. يقوم فورًا بكتابة تقرير: "فشل عامل الطوب بسبب 'مواد خاطئة'."
التكرار: يقوم بهذا الأمر أكثر من 9,500 مرة، لينشئ مكتبة ضخمة من "تقارير الانهيار" مع إجابات مثالية.

الطرق الثلاث التي يعلم بها AEGIS الذكاء الاصطناعي

بمجرد أن يمتلك AEGIS هذه المكتبة الضخمة من "تقارير الانهيار"، فإنه يعلم نماذج الذكاء الاصطناعي كيف تصبح محققين خبراء باستخدام ثلاثة أساليب تدريب مختلفة:

الضبط الدقيق الخاضع للإشراف (طريقة "الكتاب المدرسي"):
- التشبيه: مثل طالب يدرس كتابًا مدرسيًا حيث يوجد مفتاح الإجابة بجانب كل سؤال مباشرة.
- كيف: يقرأ الذكاء الاصطناعي "تقرير الانهيار" ويقال له: "هذا هو الخطأ، وهذا هو المذنب". إنه يحفظ النمط.
التعلم التعزيزي (طريقة "ألعاب الفيديو"):
- التشبيه: مثل لعب لعبة تحصل فيها على نقاط عند العث على المشتبه به الصحيح، وتخسر نقاطًا عند التخمين الخاطئ.
- كيف: يحاول الذكاء الاصطناعي تخمين المذنب. إذا أصاب، يحصل على "مكافأة". وإذا أخطأ أو خمن عددًا كبيرًا من الأشخاص، يحصل على "عقوبة". بمرور الوقت، يتعلم أن يكون دقيقًا لزيادة رصيده من النقاط.
التعلم التبايني (طريقة "أوجد الفروق"):
- التشبيه: عرض صورتين للمحقق جنبًا إلى جنب: واحدة لمنزل مثالي وأخرى لمنزل منهار.
- كيف: يتعلم الذكاء الاصطناعي رصد الاختلافات الصغيرة والدقيقة بين المحادثة "الجيدة" والمحادثة "السيئة"، مما يدرب عقله على التعرف على "طابع" الخطأ المحدد.

النتائج: نماذج صغيرة، عقول كبيرة

اختبر الباحثون نماذج المحققين المدربة على AEGIS في مشكلات واقعية لم يروها من قبل.

المفاجأة: أصبحت نماذج الذكاء الاصطناعي التي تدربت على AEGIS جيدة جدًا في تصحيح الأخطاء لدرجة أنها تفوقت على "النماذج الخارقة" الضخمة والمكلفة (مثل GPT-4 أو Claude) التي تفوقها في الحجم بـ 10 مرات.
الخلاصة: لا تحتاج إلى عقل عملاق لتكون محققًا جيدًا؛ أنت فقط بحاجة إلى بيانات تدريب جيدة. لقد وفر AEGIS تلك البيانات.

لماذا يهم هذا الأمر؟

قبل AEGIS، كان إصلاح فرق الذكاء الاصطنا_ المكسورة يشبه محاولة إصلاح محرك سيارة وأنت معصوب العينين. AEGIS يعطينا الخريطة. إنه يثبت أننا يمكننا توليد "اختبارات الممارسة" التي يحتاجها الذكاء الاصطناعي تلقائيًا ليتعلم كيفية إصلاح نفسه.

في المستقبل، يعني هذا أننا نستطيع بناء فرق ذكاء اصطناعي ذاتية الإصلاح. إذا بدأ فريق ذكاء اصطناعي في ارتكاب خطأ، يمكن لنموذج "AEGIS" المدرب أن يشير فورًا بإصبعه ويقول: "توقف! الوكيل رقم 3 يكذب بشأن البيانات"، مما يسمح للنظام بتصحيح نفسه قبل وقوع الكارثة.

باختصار: AEGIS هو مصنع ينتج "الإخفاقات" حتى يتعلم الذكاء الاصطناعي كيفية منعها، مما يجعل فرق الذكاء الاصطنافي المستقبل أكثر موثوقية وأسهل في الثقة بها.

إليك ملخص تقني مفصل لورقة البحث "AEGIS: AUTOMATED ERROR GENERATION AND ATTRIBUTION FOR MULTI-AGENT SYSTEMS" (ICLR 2026).

1. بيان المشكلة

أظهرت الأنظمة متعددة الوكلاء (MAS) القائمة على النماذج اللغوية الكبيرة (LLM) إمكانات واعدة في حل المهام المعقدة، لكنها تعاني من الهشاشة الهيكلية. يمكن لخطأ وكيل واحد أن يتصاعد عبر التفاعلات، مما يؤدي إلى حالات فشل على مستوى النظام يصعب تتبع جذورها المسببة.

العقبة: العائق الرئيسي أمام تحسين موثوقية الأنظمة متعددة الو la الوكلاء هو الندرة الشديدة للبيانات الضخمة والمتنوعة المخصصة لعزو الأخطاء (Error Attribution). المعايير الحالية (مثل Who&When، وMASFT، وTRAIL) صغيرة (مئات الأمثلة) وتعتهمد على التوسيم اليدوي المكلف الذي يقوم به الخبراء.
التحدي: تؤدي النماذج اللغوية الكبيرة (SOTA) الحالية أداءً ضعيفاً في مهام عزو الأخطاء. وبينما نجح توليد البيانات الاصطناعية في مجالات أخرى (الاستدلال، البرمجة)، فإن تطبيق ذلك على عزو أخطاء الأنظمة متعددة الوكلاء أمر صعب لأن الأخطاء يجب أن تكون قابلة للتحقق (يجب أن يفشل النظام فعلياً) وقابلة للعزو (يجب معرفة الوكيل المحدد ونمط الخطأ المتسبب في الفشل).

2. المنهجية: إطار عمل Aegis

Aegis هو مسار عمل مبتكر ومؤتمت بالكامل مصمم لتوليد مجموعة بيانات واسعة النطاق من مسارات الأخطاء الموسومة وتدريب النماذج لتشخيصها.

أ. بناء البيانات المؤتمت

يتبع إطار العمل مساراً يتكون من ثلاث مراحل لتحويل التنفيذات الناجحة إلى حالات خطأ قابلة للتحقق:

جمع الخط الأساسي (Baseline Collection): توليد مسارات ناجحة وحتمية عبر أطر عمل متنوعة للأنظمة متعددة الوكلاء (مثل MacNet، وDyLAN، وAgentVerse) ومجالات مهام متنوعة (الرياضيات، البرمجة، العلوم، إلخ).
حقن الأخطاء التكيفي (Adaptive Error Injection): يتدخل متلاعب قائم على LLM ( $M_{manip}$ $M_{mani p}$ ) في المسارات الناجحة لإحداث حالات فشل. يستخدم استراتيجيتين:
- حقن الأوامر (Prompt Injection): تغيير حالة مدخلات الوكيل.
- إفساد الاستجابة (Response Corruption): التلاعب بمخرجات الوكيل.
  يستهدف المتلاعب وكلاء محددين ويحقن أخطاءً بناءً على تصنيف لـ 14 نمط خطأ (مشتق من تصنيف MAST)، مقسمة إلى: مشكلات المواصفات، عدم توافق الوكيل، وفشل التحقق من المهمة.
التحقق والتوسيم: يقوم النظام بالتحقق من أن عملية الحقن قد تسببت في فشل النظام ( $Z(\tau)=1$ ). الحقيقة الأرضية (Ground Truth) هي مجموعة الأخطاء المحقونة (الوكيل + نمط الخطأ)، مما يضمن دقة التوسيم بنسبة 100% دون تدخل بشري.

حجم مجموعة البيانات: تسفر هذه العملية عن 9,533 مسار خطأ موسوم تغطي 6 أطر عمل للأنظمة متعددة الوكلاء و6 مجالات مهام، مع حوالي 24,843 حالة خطأ فردية.

ب. نماذج التعلم

تدعم الطبيعة المهيكلة لمجموعة بيانات Aegis ثلاثة نهج تعلم متميزة لمهمة عزو الخطأ (التنبؤ بالوكيل المسؤول ونمط الخطأ):

الضبط الدقيق تحت الإشراف (SFT):
- يتم صياغته كمهمة تسلسل-إلى-تسلسل (sequence-to-sequence).
- المدخل: سجل المسار (Trajectory log). المخرج: خريطة عزو بتنسيق JSON.
- الهدف: تعظيم احتمالية توليد تسميات الخطأ الحقيقية.
التعلم التعزيزي (RL) باستخدام GRPO:
- يستخدم تحسين السياسة النسبي للمجموعات (GRPO).
- دالة مكافأة هرمية: توفر تغذية راجعة كثيفة ومتدرجة بدلاً من المكافآت الثنائية.
  - الائتمان الجزئي: يكافئ تحديد الوكيل الصحيح وتحديد نمط الخطأ الصحيح بشكل منفصل.
  - العقوبات: يعاقب على ملفات JSON غير الصحيحة، والتنبؤات المكررة، وطول المخرجات الزائد.
  - التطبيع: يتم تطبيع المكافآت بناءً على صعوبة المثال.
التعلم التبايني المتفكك (DCL):
- نهج خفيف الوزن لتعلم التمثيلات.
- الآلية: يعامل المسار كـ "حقيبة" من الدورات. يستخدم انتباه تعلم الحالات المتعددة (MIL) لتحديد "دورات الأدلة" البارزة.
- الهدف التبايني: يسحب تمثيلات دورات الخطأ لتكون أقرب إلى "المرتكزات الإيجابية" (الدورة الناجحة الأصلية ومتجهات النموذج الأولي للوكيل/الخطأ المحدد) ويدفعها بعيداً عن السلبيات.
- الاتساق: يفرض قيوداً منطقية (على سبيل المثال، لا يمكن أن يتجاوز احتمال زوج "الوكيل-الخطأ" احتمال الوكيل وحده) عبر فقدان (loss) هرمي.

3. المساهمات الرئيسية

مجموعة بيانات Aegis: مجموعة بيانات ضخمة ومتنوعة تضم حوالي 9.5 ألف مسار خطأ موسوم، وهي أكبر بكثير من الموارد السابقة، وتغطي بنيات وأنماط خطأ متنوعة.
مسار توليد مؤتمت: طريقة قابلة للتكرار لتوليد حالات خطأ واقعية وقابلة للتحقق برمجياً مع عزو للحقيقة الأرضية، مما يحل مشكلة ندرة البيانات.
تقييم شامل: التحقق عبر ثلاثة نماذج تعلم (SFT، وRL، وCL) يظهر تحسينات متسقة.
المصدر المفتوح: إصدار جميع الأكواد والبيانات والنماذج لتسهيل الأبحان المستقبلية في موثوقية الأنظمة متعددة الوكلاء.

4. النتائج التجريبية

قيم المؤلفون نماذج مفتوحة المصدر (Qwen2.5، وQwen3) ونماذج مملوكة (GPT-4o، وo3، وGemini) على Aegis-Bench (داخل النطاق) و Who&When (خارج النطاق).

مكاسب الأداء:
- حقق Aegis-SFT (الذي تم ضبطه دقيقاً على مجموعة البيانات) أعلى متوسط درجة (26.51)، متفوقاً على جميع النماذج المرجعية.
- ظل Aegis-GRPO (18.41) منافساً للنماذج التأسيسية الكبيرة.
- ضاعف الضبط الدقيق لنموذج 14B (Qwen2.5-14B) أداءه تقريباً مقارنة بالنموذج الأساسي (13.99 $\to$ 26.51).
- حقق نموذج DCL الخفيف (باستخدام مشفر بحوالي 35 مليون معلمة) درجة قدرها 12.61، متفوقاً بشكل كبير على خط الأساس العشوائي (4.08) ومثبتاً فعالية التعلم التبايني لهذه المهمة.
التعميم: أظهرت النماذج المدربة على Aegis تعميماً قوياً على معيار Who&When الموسوم بشرياً، مما يؤكد أن التوليد الاصطناعي ينتج بيانات واقعية.
نتائج التحليل:
- الوكيل مقابل الخطأ: تجد النماذج سهولة أكبر في تحديد أي وكيل فشل (على مستوى الوكيل) مقارنة بـ لماذا فشل (على مستوى الخطأ).
- توزيع الذيل الطويل: كانت درجات Micro-F1 أعلى باستمرار من Macro-F1، مما يشير إلى أن النماذج تعاني مع أنماط الخطأ النادرة والمحددة.
- تأثير CoT: كان استخدام سلسلة الأفكال (Chain-of-Thought) ضاراً بالنماذج مفتوحة المصدر الأساسية (مما يسبب فشلاً في التحليل)، ولكنه كان مفيداً للغاية بعد تدريب GRPO، مما يشير إلى أن التعلم التعزيزي يساعد النماذج على هيكلة استدلالها بفعالية.

5. الأهمية

تحول منهجي: يثبت Aegis أن توليد البيانات برمجياً هو مسار قابل للتوسع والتحقق لتحسين موثوقية الذكاء الاصطناعي، بعيداً عن عقبة التوسيم اليدوي.
المتانة: القدرة على تعميم النماذج المدربة على بيانات اصطناعية لتشمل حالات الفشل الموسومة بشرياً في العالم الحقيقي، تشير إلى أن هيكل الأخطاء (تفاعلات الوكلاء، وأنماط الخطأ) أكثر أهمية من المحتوى المحدد للمهام.
الرؤية المستقبلية: يضع هذا العمل حجر الأساس لأنظمة الوكلاء ذاتية الإصلاح، حيث لا تستطيع النماذج فقط اكتشاف، بل ومن المحتمل أيضاً تشخيص وإصلاح حالات الفشل المتتالية في البيئات المعقدة متعددة الوكلاء.