MASPO: Joint Prompt Optimization for LLM-based Multi-Agent Systems
يُعد MASPO إطار عمل مبتكر يعمل تلقائياً على تحسين المطالبات لأنظمة الوكلاء المتعددة القائمة على النماذج اللغوية الكبيرة من خلال توظيف آلية تقييم مشتركة وبحث شعاعي تطوري لمواءمة أهداف الوكلاء المحليين مع الأهداف العالمية للنظام، مما يجعله يتفوق على الأساليب الحالية عبر مختلف المهام التعاونية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك فريقاً من الروبوتات الخبيرة التي تعمل معاً لحل لغز صعب للغاية. لكل روبوت وظيفة محددة: أحدهم يقرأ الأدلة، والآخر يقوم بالعمليات الحسابية، والثالث يتحقق من الأخطاء، والرابع يكتب الإجابة النهائية.
في الماضي، إذا فشل الفريق، كان من الصعب معرفة من نلوم. هل كان روبوت الرياضيات سيئاً في الحساب؟ أم أن روبوت القراءة أعطاه أدلة خاطئة؟ هذا هو المشكل الذي يحله بحث MASPO.
إليك كيف يعمل MASPO، مشروحاً عبر تشبيهات بسيطة:
1. المشكلة: "لعبة اللوم" في الفريق
عادةً، عندما نقوم بتدريب فرق الروبوتات هذه، فإننا ننظر فقط إلى الإجابة النهائية. إذا كانت الإجابة خاطئة، فلا نعرف أي روبوت قد أخطأ.
- التشبيه: تخيل سباق تتابع. إذا خسر الفريق، لا يمكنك مجرد الصراخ في وجه العداء الأخير. ربما أسقط العداء الأول العصا، أو ربما ركض العداء الثاني في المسار الخاطئ. إذا قمت بتدريب العداء الأخير فقط ليركض بشكل أسرع، فسيظل الفريق يخسر لأن عملية تسليم العصا معطلة.
- رؤية البحث: أدرك المؤلفون أنه في الأنظمة متعددة الوكلاء، يمكن للروبوت أن يؤدي وظيفته الخاصة بشكل مثالي (نجاح محلي) ولكنه لا يزال يقدم للمعلومات التالية التي تؤدي إلى فشل كلي (فشل عالمي). وهذا ما يسمى بـ "عدم التوافق بين المحلي والعالمي" (Local-Global Misalignment).
2. الحل: MASPO (مدرب الفريق)
MASPO هو إطار عمل جديد يعمل كمدرب ذكي لا يكتفي بمراقبة خط النهاية فح، بل يراقب كل عملية تسليم في سباق التتابع. يقوم تلقائياً بإعادة كتابة "كتيبات التعليمات" (المطالبات/Prompts) لكل روبوت لجعل الفريق بأكره يعمل معاً بشكل أفضل.
يفعل ذلك باستخدام ثلاث حيل رئيسية:
أ. بطاقة تقييم "جاهزة للمستقبل" (التقييم المشترك)
بدلاً من مجرد السؤال، "هل قام هذا الروبوت بعمله؟"، يسأل MASPO: "هل ساعد عمل هذا الروبوت الروبوت التالي على النجاح؟"
- التشبيه: تخيل طباخاً يجهز وجبة. قد يكتفي الحكم العادي بتذوق الحساء ويقول: "إنه مالح". لكن MASPO يشبه حكماً يسأل أيضاً: "هل هذا الحساء مالح بما يكفي ليتماشى جيداً مع الخبز الذي يخبزه الطباخ التالي؟"
- كيف يعمل: يعطي MASPO كل روبوت درجة بناءً على ثلاثة أشياء:
- هل اتبعوا قواعدهم الخاصة؟ (الصلاحية المحلية)
- هل جعل مخرجهم مهمة الروبوت التالي أسهل؟ (إمكانية الاستشراف)
- هل ساعد الفريق في الفوز باللعبة النهائية؟ (التوافق العالمي)
ب. التعلم من الكوارث "الوشيكة" (تنقيب عدم التوافق)
معظم الأنظمة تتعلم فقط من الأخطاء حيث كانت الإجابة النهائية خاطئة. يبحث MASPO عن نوع محدد ومخادع من الأخطاء: عندما يقوم الروبوت بعمله بشكل مثالي، ولكن الفريق لا يزال يفشل.
- التشبيه: تخيل سائقاً يتبع جميع قوانين المرور بدقة (نجاح محلي) ولكنه دخل بالخطأ في شارع مسدود لأن الخريطة كانت مربكة (فشل عالمي). المدرب العادي سيقول: "عمل جيد أيها السائق!". أما MASPO فيقول: "انتظر، لقد اتبعت القواعد، لكننا لا نزال تائهين. دعنا نصلح تعليماتك حتى لا تدخل في شوارع مسدودة في المرة القادمة".
- كيف يعمل: يقوم النظام بحفظ حالات "النجاح المحلي، الفشل العالمي" هذه ويجبر الروبوتات على دراستها، مما يضمن عدم تكرار أخطاء التنسيق نفسها.
ج. تمرين "إعادة المحاذاة" (تحديث الشعاع - Beam Refresh)
بينما تتعلم الروبوتات وتغير سلوكها، قد تصبح التعليمات الخاصة بالروبوت التالي غير محدثة فجأة.
- التشبيه: تخيل فريق رقص. إذا زادت سرعة الراقص الأول، فإن توقيت الراقص الثاني سيصبح خاطئاً الآن. إذا استمروا في التدريب على الروتين القديم، فسيستمرون في الاصطدام ببعضهم البعض.
- كيف يعمل: يقوم MASPO بفحص الفريق باستمرار. إذا غير الروبوت الأول أسلوبه، يقوم MASPO فوراً بتحديث "الدرجة" الخاصة بتعليمات الروبوت الثاني بحيث يتدربون ضد الواقع الحالي، وليس نسخة قديمة من الفريق.
3. النتائج: فريق أفضل
اختبر المؤلفون هذا على 6 أنواع مختلفة من المهام الصعبة، بما في ذلك الرياضيات المعقدة، وألغاز المنطق، وكتابة أكواد الكمبيوتر.
- النتيجة: تفوقت الفرق المدربة بواسطة MASPO باستمرار على الطرق الأخرى. لقد حسنوا دقة أعمالهم بمتوسط 2.9% مقارنة بأفضل الطرق الموجودة.
- لماذا يهم هذا: يثبت هذا أنه من خلال تعليم الروبوتات الاهتمام بكيفية تأثير عملهم على زملائهم (وليس فقط مهمتهم الخاصة)، يصبح النظام بأكمله أكثر ذكاءً.
ملخص
فكر في MASPO كـ مدرب فريق يعيد كتابة خطة اللعب في الوقت الفعلي. بدلاً من مجرد قول "افعلوا ما بوسعكم"، فإنه يحلل كيف تؤثر تمريرة اللاعب (أ) على استقبال اللاعب (ب)، ويعيد كتابة التعليمات لكل منهما لضمان فوز الفريق بأكمله، وليس فقط اللاعبين الأفراد. إنه يحل مشكلة "لقد قمت بعملي، لكننا لا نزال خسرنا" من خلال التأكد من أن وظيفة الجميع مصممة لمساعدة الفريق على الفوز.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.