ملخص تقني: AgentPSO

بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) تقدماً ملحوظاً في الاستدلال المعقد، إلا أن أداءها يظل حساساً للغاية لهندسة الأوامر (Prompt Engineering) ومهارات الاستدلال المحددة التي يتم توجيهها لاستخدامها. تندرج الطرق الحالية لتحسين الاستدلال عموماً تحت فئتين، كلتاهما تعاني من قيود:

1. التطور الذاتي للوكيل المنفرد: الطرق التي تعمل على تحسين أمر (Prompt) الوكيل أو سياسته من خلال التأمل الذاتي غالباً ما تعاني من محدودية التنوع الاستكشافي ويمكن أن تقع في فخ الأمثل المحلية (Local Optima) المقيدة بالتحيزات المتأصلة في النموذج.
2. التعاون بين عدة وكلاء أثناء الاستنتاج: تسمح أساليب مثل المناظرة بين الوكلاء أو التجميع للوكلاء بنقد بعضهم البعض أثناء عملية الاستنتاج. ومع ذلك، فإن هذه الأساليب عرضة للتأثير الخاطئ من الأقران والوصول إلى إجماع متحيز. والأهم من ذلك، أنها ثابتة؛ فمهارات الاستدلال الأساسية للوكلاء لا تتطور عبر المهام، كما أن التكلفة الحسابية للمناظرة متعددة الجولات في وقت الاختبار كبيرة جداً.

السؤال المركزي الذي تعالجه هذه الدراسة هو: هل يمكن لأنظمة الوكلاء المتعددة تطوير مهارات الاستدلال الأساسية لديها بشكل تكراري من خلال التفاعل الجماعي، بدلاً من مجرد تحسين المخرجات لحالة فردية واحدة؟

المنهجية: AgentPSO

يقترح المؤلفون إطار عمل AgentPSO، وهو إطار يعامل تطور مهارات الاستدال متعدد الوكلاء كمسألة تحسين ديناميكية مستوحاة من تحسين سرب الجسيمات (Particle Swarm Optimization - PSO). وخلافاً لـ PSO القياسي الذي يعمل على متجهات عددية مستمرة، يعمل AgentPSO في فضاء مهارات اللغة الطبيعية.

المفاهيم الأساسية

• الوكلاء كجسيمات: يُعامل كل وكيل $A_i$ في مجتمع مكون من $N$ من الوكلاء كجسيم.
• الحالة ($s_i^t$): "موقع" الجسيم هو مهارة الاستدلال الحالية للوكيل، وتُعرف بأنها تعليمات بلغة طبيعية.
• السرعة ($v_i^t$): "السرعة" هي اتجاه تحديث دلالي (Semantic Update)، ويمثل المراجعة النصية التي سيتم تطبيقها على المهارة.
• الأفضل الشخصي ($p_i^t$) والأفضل العالمي ($g^t$): يمثلان أعلى حالات المهارة أداءً والتي تم اكتشافها بواسطة الوكيل الفردي والمجتمع بأكما، على التوالي، بناءً على دقة التحقق.

الحلقة التطورية

يعمل إطار العمل عبر $T$ من تكرارات التدريب، حيث يتم تحسين تعليمات المهارة فقط دون تحديث معاملات النموذج الأساسي (Backbone LLM). يتبع كل تكرار أربع خطوات:

1. الحل المستقل: يقوم جميع الوكلاء بحل نفس دفعة التدريب بشكل مستقل باستخدام مهاراتهم الحالية ($s_i^t$). لا يحدث أي تواصل بين الوكلاء خلال هذه المرحلة لضمان عزو الأداء بدقة إلى مهارات محددة.
2. ملاحظة الأقران والتأمل الذاتي: يراقب كل وكيل مسارات الاستدلال وتسميات الصحة لمجتمع الوكلاء بأكمله (باستثناء تعليمات مهارته الخاصة). بناءً على ذلك، يولد الوكيل اتجاهاً للتأمل الذاتي ($d_i^t$) باستخدام دالة Reflect. يحدد هذا الاتجاه الدروس القابلة لإعادة الاستخدام من مسارات الأقراء (مثل التحقق من الافتراضات، أو تفكيك المشكلات) بدلاً من مجرد نسخ أمر (Prompt) الزميل.
3. تحديث مستوحى من PSO: يقوم الوكيل بتحديث سرعته الدلالية ($v_i^{t+1}$) عن طريق الجمع بين:
   • السرعة السابقة ($v_i^t$).
   • اتجاه التأمل الذاتي ($d_i^t$).
   • أفضل مهارة شخصية ($p_i^t$).
   • أفضل مهارة عالمية ($g^t$).
     يتم ذلك عبر دالة VelocityUpdate حيث يقوم النموذج اللغوي الكبير (LLM) بتوليف تعليمات نصية جديدة تصف كيفية مراجعة المهارة الحالية.
4. إعادة كتابة المهارة: يتم تطبيق السرعة الجديدة على المهارة الحالية عبر دالة SkillUpdate لتوليد حالة المهارة التالية ($s_i^{t+1}$).
5. التحقق والاختيار: يتم تقييم المهارات المحدثة على دفعة تحقق. يتم تحديث المهارات "الأفضل شخصياً" و"الأفضل عالمياً" فقط إذا تجاوز الأداء الجديد الأداء السابق بهامش $\epsilon$، وذلك لمنع الضجيج من زعزعة استقرار عملية البحث.

في وقت الاختبار، يقوم الوكلاء المتطورون بحل المشكلات بشكل مستقل، ويتم تجميع إجاباتهم عبر التصويت بالأغلبية، مما يلغي الحاجة إلى المناظرة متعددة الجولات المكلفة.

المساهمات الرئيسية

1. إطار عمل AgentPSO: تقديم إطار عمل مستوحى من PSO يطور مهارات الاستدلال متعدد الوكلاء من خلال تحديث الوكلاء عبر الاتجاهات الشخصية، والعالمية، والتأمل الذاتي في فضاء اللغة الطبيعية.
2. التطور المستمر للمهارات: إثبات أن AgentPSO يحقق تطوراً مستمراً لقدرات الوكلاء، محققاً أداءً أقوى من الأوامر أحادية الوكيل الثابتة (مثل CoT) ومن نماذج المناظرة بين الوكلاء التي تعتمد على الاستنتاج.
3. القابلية للنقل (Transferability): دليل على أن المهارات المتطورة تنتقل عبر مختلف معايير الاستدال وحتى إلى نماذج لغوية أساسية مختلفة، مما يشير إلى أن الطريقة تتعلم سلوكيات استدلال عامة بدلاً من حفظ أوامر مهام محددة.

النتائج التجريبية

قيم المؤلفون AgentPSO على معايير الاستدلال الرياضي (DeepMath, MATH, AIME25, Minerva) ومعايير الاستدلال العام (BigBenchHard).

• الأداء: حقق AgentPSO أعلى متوسط دقة (71.98%) عبر جميع المعايير، متفوقاً على الطرق أحادية الوكيل التقليدية (مثل Chain-of-Thought بنسبة 64.50%)، والطرق أحادية الوكيل المتقدمة (مثل Self-Refine بنسبة 66.50%)، والأساليب متعددة الوكلاء الثابتة مثل MAD (بنسبة 67.68%) وDMAD (بنسبة 68.79%).
• التحسن التدريجي: أظهر التحليل أن كلاً من المهارات "الأفضل شخصياً" و"الأفضل عالمياً" قد تحسنت تدريجياً عبر التكرارات، مما دفع المجتمع نحو تكوينات مهارات أكثر فعالية.
• النقل عبر المعايير: المهارات التي تم تحسينها على DeepMath أدت أداءً جيداً على BigBenchHard (والعكس صحيح)، متفوقة على النماذج الثابتة، مما يشير إلى تعلم إجراءات استدلال قابلة للتعميم.
• النقل عبر النماذج: المهارات التي تم تحسينها باستخدام GPT تم تطبيقها بنجاح على Claude دون تدريب إضافي، مما حسن متوسط دقة Claude من ~52-55% (مع الأوامر القياسية) إلى 58.37%.
• دراسات الاستبعاد (Ablation Studies): أدى حذف اتجاه التأمل الذاتي ($d_i$) إلى انخفاض كبير في الأداء، مما أكد أن توجيهات PSO القياسية (الأفضل شخصياً/عالمياً) وحدها غير كافية لتحسين مهارات الاستدلال المعقدة. يوفر مكون التأمل الذاتي التوجيه السلوكي اللازم لاستخراج الدروس القابلة لإعادة الاستخدام.
• الكفاءة: بينما يتطلب AgentPSO مرحلة تدريب، فإنه يقلل بشكل كبير من زمن انتقال الاستنتاج (Inference-time latency) مقارنة بالأساليب القائمة على المناظرة (MAD, MoA)، لأن الوكلاء المتطورين يحلون المشكلات بشكل مستقل ويجمعون الإجابات عبر التصويت، متجنبين عبء التواصل متعدد الجولات.

الأهمية والادعاءات

يدعي البحث أن AgentPSO يثبت أن التعاون بين الوكلاء يمكن أن يعمل ليس فقط كآلية استنتاج لتحسين الإجابة، بل أيضاً كعملية خالية من تحديث معاملات النموذج لتطوير مهارات استدلال قابلة لإعادة الاستخدام على مستوى المجتمع.

من خلال معاملة الوكلاء كجسيمات في سرب يتعلم من مسارات الاستدلال لبعضهم البعض، يتيح إطار العمل للوكلاء اكتساب سلوكيات استدلال قابلة لإعادة الاستخدام (مثل تصنيف المشكلات، والتحقق من الحالات الحدية، والامتثال للتنسيق) دون تحديث أوزان النموذج الأساسي. ويفترض المؤلفون أن هذا النهج يحسن موثوقية وكفاءة أنظمة الاستدلال من خلال السماح للوكلاء باستيعاب إجراءات استدلال عامة تنتقل عبر المهام والنماذج، متجاوزين بذلك قيود الأوامر الثابتة أو المناظرة أثناء الاستنتاج.

يقر العمل بوجود قيود، مشيراً إلى أنه يركز على معايير الاستدلال بدلاً من المجالات كثيفة المعرفة (حيث قد يكون استرجاع المعرفة بالمجال أكثر أهمية من تطور مهارة الاستدلال)، وأن عملية التدريب تتطلب استدعاءات إضافية للنماذج اللغوية الكبيرة. ومع ذلك، فإنه يؤسس لنموذج جديد لتطوير قدرات الوكلاء من خلال التفاعل التكراري والجماعي.