🤖 AI

UnityMAS-O: A General RL Optimization Framework for LLM-Based Multi-Agent Systems

يُعد UnityMAS-O إطار عمل عام للتعلم المعزز يعمل على تحسين الأنظمة متعددة الوكلاء القائمة على النماذج اللغوية الكبيرة من خلال معاملة سير العمل بأكمله كوحدة تدريب، وفصل الأدوار المنطقية عن معلمات النموذج عبر تجريد مرن رباعي الكائنات، وإظهار مكاسب أداء كبيرة عبر مهام متنوعة مثل الإجابة على الأسئلة وتوليد الأكواد البرمجية.

المؤلفون الأصليون: Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

نُشر 2026-05-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yiqun Chen, Wei Yang, Erhan Zhang, Shijie Wang, Qi Liu, Zechun Niu, Bin Zhang, Haitao Li, Rui Li, Lingyong Yan, Jinyuan Feng, Biqing Qi, Xiaochi Wei, Yan Gao, Yi Wu, Yao Hu, Jiaxin Mao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقًا من المساعدين الذكيّين (AI) يعملون معًا لحل لغز معقد، مثل كتابة برنامج كمبيوتر أو إيجاد إجابة لسؤال صعب. في الوقت الحالي، معظم هذه الفرق تشبه مجموعة من الأشخاص الذين أُعطوا نصًا صارمًا؛ فهم يعرفون ماذا يقولون ومتى يقولونه لأن إنسانًا كتب القواعد، لكنهم لم يتعلموا فعليًا كيفية العمل معًا بشكل أفضل من تلقاء أنفسهم. إذا ارتكب أحد الأشخاص خطأً، فقد يفشل الفريق بأكمله، ولن يعرف النظام كيفية إصلاح ذلك.

UnityMAS-O هو "صالة تدريب" جديدة مصممة لتعليم فرق الذكاء الاصطناعي هذه كيفية التعلم من تجاربها الخاصة، تمامًا كما تتدرب فرق الرياضة للفوز بالمباراة.

إليك كيف يعمل ذلك، باستخدام تشبيهات بسيطة:

1. المشكلة: الفريق "المبرمج بنص" مقابل الفريق "المتعلم"

في الوقت الحالي، إذا أردت من فريق ذكاء اصطناعي حل مشكلة، عليك كتابة كل خطوة يدويًا: "أولاً، يقوم الباحث بالبحث عن المعلومات. ثم يقوم الكاتب بكتابة مسودة. ثم يقوم الناقد بمراجعتها."

المشكلة: إذا وجد الباحث معلومات سيئة، فلن يستطيع الكاتب إصلاحها لأنه لم يتم تدريبه على التعامل مع المعلومات السيئة. وهكذا يظل الفريق عالقًا في نفس الأخطاء.
حل UnityMAS-O: بدلاً من مجرد إعطائهم نصًا، يعامل UnityMAS-O الفريق بأكمله كوحدة واحدة يمكن تدريبها. فهو يسم يسمح للفريق بلعب "اللعبة"، ورؤية ما يحدث، ثم تعديل "أدمغتهم" ليعملوا بشكل أفضل في المرة القادمة.

2. اللبنات الأربع الأساسية (الخطة التكتيكية)

لتدريب الفريق، يستخدم UnityMAS-O أربع أدوات رئيسية، والتي يسميها البحث "كائنات من الدرجة الأولى":

الأدوار المنطقية (الوصف الوظيفي): أنت تحدد من يفعل ماذا. هناك "المخطط"، و"الباحث"، و"المبرمج"، و"المتأمل". فكر في هذه الأدوار كأنها مسميات وظيفية على بطاقة عمل.
مخطط سير العمل (المخطط الانسيابي): أنت ترسم خريطة توضح كيف يتحرك الفريق. هل يتحدث المخطط إلى الباحث أولاً؟ هل يعملون بالتوازي؟ هذا هو "كتيب قواعد" الفريق.
رسم خرائط الدماغ (من الذي يفكر؟): هذه ميزة ذكية. يمكنك أن تقرر ما إذا كان لكل دور عقل فريد خاص به (نموذج ذكاء اصطناعي منفصل)، أو إذا كانوا جميعًا يتشاركون عقلًا واحدًا ضخمًا، أو إذا كانت بعض الأدوار تتشارك عقلًا بينما يمتلك البعض الآخر عقولًا خاصة بهم. الأمر يشبه تحديد ما إذا كان أعضاء فريقك هم جميعًا نفس الشخص يرتدي قبعات مختلفة، أم أنهم أشخاص مختلفون تمامًا.
بطاقة النقاط (المكافآت): هذا هو الجزء الأهم. في الماضي، كنت تعطي درجة في النهاية فقط (مثل: "هل نجح الكود؟"). أما UnityMAS-O فيعطي درجات عند كل خطوة.
- مثال: إذا وجد الباحث دليلًا جيدًا حقًا، يحصل على نقطة صغيرة "عمل جيد" فورًا. وإذا ارتكب المبرمج خطأً قام المتأمل بإصلاحه، يحصل المتأمل على نقاط مقابل الإصلاح. هذا يساعد الفريق على تعلم بالضبط من فعل الصواب أو الخطأ.

3. كيف يحدث التدريب (المدرب واللاعبون)

النظام مبني مثل منظمة رياضية محترفة:

المتحكم المركزي (المدرب): هذا هو المدير الرئيسي. هو من يدير اللعبة، ويخبر اللاعبين متى يتحركون، ويتابع النتيجة. هو لا يقوم بالجهد الذهني الشاق؛ بل يدير التدفق فقط.
مجموعات العمال (اللاعبون): هؤلاء هم نماذج الذكاء الاصطناعي الفعلية التي تقوم بالعمل. هم يولدون الإجابات، ويخزنون "ذاكرة العضلات" (البيانات)، ويحدثون مهاراتهم بناءً على ملاحظات المدرب.
الحلقة: يرسل المدرب مهمة -> يقوم اللاعبون بمهامهم -> يتحقق المدرب من النتائج ويخصص النقاط -> يقوم اللاعبون بتحديث أدمغتهم للقيام بعمل أفضل في المرة القادمة.

4. ماذا حدث عندما جربوا ذلك؟

اختبر الباحثون النظام على نوعين رئيسيين من المهام:

الإجابة على الأسئلة (عمل المحققين): طلبوا من فرق الذكاء الاصطناعي إيجاد إجابات لأسئلة صعبة.
- النتيجة: قبل التدريب، كانت فرق الذكاء الاصطناعي الصغيرة تفشل تمامًا. بعد التدريب باستخدام UnityMAS-O، أصبحوا أفضل بكثير. حتى الفرق الصغيرة تعلمت كيفية إيجاد الأدلة الصحيحة وكتابة إجابات أفضل.
توليد الكود (بناة البرمجيات): طلبوا من فرق الذكاء الاصطناعي كتابة كود برمجي يجتاز جميع الاختبارات.
- النتيجة: الفرق المدربة كتبت أكوادًا تعمل بشكل أكثر تكرارًا. ومن المثير للاهتمام، أنها أصبحت أكثر كفاءة أيضًا؛ حيث احتاجوا إلى عدد أقل من "المحاولات" (جولات التحقق) للحصول على الكود الصحيح، مما يعني أنهم أضاعوا وقتًا وطاقة أقل.

5. لماذا هذا مهم؟

يزعم البحث أن UnityMAS-O هو "إطار عمل عام". وهذا يعني أنك لست بحاجة لبناء نظام تدريب جديد في كل مرة تريد فيها إنشاء فريق ذكاء اصطناعي جديد. ما عليك سوى تحديد الأدوار، ورسم المخطط الانسيابي، ووضع قواعد تسجيل النقاط، وسيتولى UnityMAS-O الباقي.

إنه يحول النص الجامد المكتوب يدويًا إلى فريق مرن وقابل للتدريب يمكنه التعلم كيفية التنسيق، والتخصص، وتحسين أدائه الخاص بمرور الوقت. يظهر البحث أن هذا يعمل لمهام البحث، وكتابة الكود، وربما وظائف معقدة أخرى، مما يثبت أنه يمكن تعليم فرق الذكاء الاصطناعي كيفية العمل معًا بفعالية، وليس فقط اتباع الأوامر.

ملخص تقني: UnityMAS-O

بيان المشكلة

تعتمد أنظمة الوكلاء المتعددين الحالية القائمة على النماذج اللغوية الكبيرة (LLMs) عادةً على تفكيك المهام المعقدة إلى أدوار متفاعلة (مثل المخططين، والمسترجعين، والمبرمجين)، ولكنها تعتمد على سير عمل يتم توجيهه يدويًا عبر الأوامر (prompts)، والأدوات، وقواعد التحكم. وبينما تكون هذه الأنظمة فعالة في مرحلة الاستنتاج، إلا أن الوكلاء أنفسهم نادرًا ما يتم تحسينهم من خلال واجهة موحدة للتعلم التعزيزي (RL). إن أطر العمل الحالية لتدريب النماذج اللاحق (مثل TRL وOpenRLHF وverl) تستهدف بشكل أساسي تحسين السياسة المنفردة؛ فهي تفتقر إلى التجريدات اللازمة لتحسين أنظمة الوكلاء المتعددين التي يحددها المستخدم والتي تتطلب تفاعلاً مهيكلاً، وتخصيصاً للائتمان (credit assignment) خاص بكل دور، ومشاركة معلمات قابلة للتهيئة. وبناءً على ذلك، فإن تدريب مسارات العمل متعددة الوكلاء غالبًا ما يؤدي إلى تنفيذات خاصة بمهام معينة لا يمكنها بسهولة مقارنة أنظمة مشاركة المعلمات المختلفة أو إعادة استخدام البنية التحتية عبر مسارات العمل المختلفة.

المنهجية: UnityMAS-O

إن UnityMAS-O هو إطار عمل للتحسين بالتعلم التعزيزي مصمم للتعامل مع سير العمل الكامل للوكلاء المتعددين كوحدة للتحسين، بدلاً من استجابة واحدة أو مسار سياسة واحد. ومن خلال توسيع إطار عمل verl باستخدام بيئة تشغيل ذات طوبولوجيا نجمية تعتمد على Ray، يقدم الإطار أربعة تجريدات أساسية لفصل تصميم الوكيل المنطقي عن معلمات النموذج الفيزيائية:

الأدوار المنطقية للوكلاء (Logical Agent Roles): يحدد المستخدمون الأدوار (مثل المخطط، والمُحقّق) مع أوامر محددة، ومخططات مدخلات/مخرجات (I/O schemas)، والوصول إلى الأدوات. هذه هي كائنات على مستوى سير العمل، وليست مرتبطة بمجموعات معلمات فريدة.
خرائط الوكيل والنموذج ( $\phi$ ): خريطة قابلة للتهيئة من الأدوار المنطقية إلى نماذج LLM الفيزيائية. وهي تدعم ثلاثة أنظمة:
- المشاركة الكاملة (Full Sharing): جميع الأدوار ترتبط بنموذج واحد.
- الانفصال الكامل (Full Separation): كل دور يرتبط بنموذج مستقل.
- المشاركة الجزئية (Partial Sharing): مجموعات من الأدوار ذات الصلة تشترك في المعلمات بينما تستخدم الأدوار الأخرى نماذج متميزة.
رسوم بيانية لسير العمل ( $G$ ): رسوم بيانية حسابية موجهة تمثل تدفق التنفيذ (متسلسل، متوازي، تكراري، أو هجين). ينتج عن التنفيذ مسارات مهيكلة تحتوي على حالات، وإجراءات، وتبعية للتحكم.
دوال المكافأة الخاصة بكل دور: يتم تحديد المكافآت على مستويات العقدة، والدور، والمسار. يدعم إطار العمل المكافآت المتأخرة وإشارات التحسن الهامشي (مثل $\Delta$ F1 أو $\Delta$ score)، مما يسمح بتخصيص الائتمان للوكلاء المسؤولين عن الحالات الوسيطة أو النتائج النهائية.

بنية النظام:
يستخدم النظام متحكمًا مركزيًا ومجموعات عمال محليين للنماذج.

المتحكم المركزي (Central Controller): ينفذ سير العمل المحدد من قبل المستخدم، ويوجه استدعاءات الوكيل المنطقي إلى مجموعة العمال المناسبة بناءً على $\phi$ ، ويسجل المسارات المهيكلة، ويجمع المكافآت.
مجموعات العمال (Worker Groups): مرتبطة بنماذج LLM فيزيائية محددة، وتتولى هذه المجموعات عمليات الاستنتاج غير المتزامنة، وتخزين تنسورات المسار (الاحتمالات اللوغاريتمية، والقيم)، وحساب المزايا (advantages)، وإجراء تحديثات السياسة الموزعة بأسلوب PPO.
فصل البيانات: تظل البيانات الوصفية للتحكم في سير العمل "خفيفة" ومركزية، بينما تظل التنسورات التدريبية الثقيلة "ضخمة" ومحلية لمجموعات العمال، مما يقلل من عبء الاتصالات.

المساهمات الرئيسية

يقدم البحث المساهمات التالية:

تجريد موحد: إطار عمل يمثل بشكل مشترك رسوم سير العمل التي يحددها المستخدم، والأدوار المنطقية للوكلاء، وخرائط الوكيل والنموذج، والمسارات المهيكلة للوكلاء المتعددين.
مشاركة معلمات قابلة للتهيئة: دعم أصيل للمشاركة الكاملة، والانفصال الكامل، والمشاركة الجزئية، مما يتيح دراسة منضبطة للتخصص، وتكلفة الموارد، وسلوك التحسين دون إعادة كتابة مسار التدريب.
بيئة تشغيل موزعة: بنية تعتمد على Ray وverl تتميز بالتحكم المركزي في سير العمل، والمسارات غير المتزامنة، والتخزين المؤقت المحلي للنماذج، وتحديثات السياسة لكل نموذج.
واجهة تحسين عامة: واجهة تسمح للمستخدمين بتحديد سير العمل، والوكلاء، وخرائط النماذج، والمكافآت لأنظمة متنوعة دون تعديل البنية التحتية للتحسين الأساسية.
تنفيذ مفتوح المصدر: إصدار إطار العمل عبر https://github.com/chenyiqun/UnityMAS-O.

النتائج التجريبية

قام المؤلفون بتطبيق UnityMAS-O على عائلتين من المهام القابلة للتحقق: الإجابة على الأسئلة (QA) المدعومة بالاسترجاع، وتوليد الكود الانعكاسي.

الأسئلة والاستعلام البحثي (QA and Agentic Search):
أُجريت التجارب على Natural Questions (NQ) وHotpotQA باستخدام سير عمل يتراوح من الاسترجاع المتوازي إلى حلقات البحث التكرارية (M-ASK).

مكاسب الأداء: أدى تدريب التعلم التعزيزي متعدد الوكلاء (MARL) إلى تحسين الأداء عبر جميع مسارات العمل والنماذج التي تم تقييمها (من 0.5B إلى 14B).
تأثير النماذج الصغيرة: كانت المكاسب ملحوظة بشكل خاص للنماذج الأصغر (على سبيل المثال، تحسنت وكلاء 0.5B من ~0.02 إلى ~0.44 F1 في NQ)، مما يشير إلى أن MARL يساعد الوكلاء المتخصصين في الأدوار على استيفاء بروتوكولات سير العمل والتنسيق بفعالية.
مشاركة المعلمات: أظهرت التجارب التي قارنت بين النماذج المشتركة والمستقلة (على سبيل المثال، 3B مشتركة مقابل 4x3B مستقلة) أن النماذج المشتركة تتقارب ببطء قليلًا ولكنها تصل إلى مستويات أداء نهائية مماثلة، مما يثبت جدوى تدريب مسارات عمل الوكلاء المتعددين المنطقية باستخدام معلمات فيزيائية مشتركة.

توليد الكود الانعكاسي (Reflective Code Generation):
تم اختبار سير عمل (تخطيط–تكويد–تحقق–تفكير) مكون من ثلاث جولات على مهام برمجية محجوزة.

مقاييس صارمة: تحت مقياس "النجاح في الكل" الصارم، تحسن سير عمل 3xQwen3-4B من 0.255 إلى 0.686، وتحسن 3xQwen3-8B من 0.290 إلى 0.738.
الكفاءة: قلل تدريب MARL من متوسط عدد جولات التحقق المطلوبة لحل المشكلة (من ~2.5 إلى ~1.7)، مما يشير إلى تحسن في سلوك التوقف الداخلي وكفاءة التنفيذ.

الأهمية والادعاءات

يزعم البحث أن العائق الرئيسي في العديد من أنظمة الوكلاء المتعددين القائمة على LLM ليس تصميم سير العمل نفسه، بل غياب واجهة تحسين مبدئية لسير العمل بعد التصميم. يعالج UnityMAS-O ذلك من خلال تحويل الأنظمة متعددة الوكلاء المحددة يدويًا إلى سياسات متعددة الوكلاء قابلة للتدريب.

يضع المؤلفون UnityMAS-O كركيزة تحسين قابلة لإعادة الاستخدام تتيح:

التحسين المنهجي: تحويل مسارات العمل المتنوعة إلى أنظمة تعلم تعزيزي قابلة للتدريب مع تخصيص صريح للائتمان.
المرونة: دراسة المقايضات بين التخصص وكفاءة الموارد من خلال مشاركة المعلمات القابلة للتهيئة.
الكفاءة: تحسين ليس فقط الصحة النهائية، بل أيضًا كفاءة التنسيق والتنفيذ للتفاعلات متعددة الوكلاء.

يُقدم العمل كركيزة نظام عملية لتدريب الأنظمة المعقدة متعددة الوكلاء، ومنصة لدراسة التنسيق، والتخصص، والقابلية للتوسع في مثل هذه الأنظمة، وليس مجرد أداة قياس لمهام محددة. ويشير المؤلفون إلى أن التجارب المستمرة في الوكلاء المجسدين (embodied agents) وهندسة البرمجيات جارية لمزيد من التحقق من عمومية إطار العمل.