🤖 machine learning

Reinforced Collaboration in Multi-Agent Flow Networks

تقدم الورقة البحثية إطار عمل MANGO، وهو إطار عمل قائم على البيانات يستفيد من التعلم التعزيزي والتدرجات النصية ضمن شبكة تدفق لتحسين التعاون بين الوكلاء المتعددين، مما يقلل بفعالية من انتشار الأخطاء ويحقق مكاسب كبيرة في الأداء والكفاءة عبر مختلف المعايير المرجعية.

المؤلفون الأصليون: Zheng Wang, Yuang Liu, Yangkai Ding

نُشر 2026-05-14

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zheng Wang, Yuang Liu, Yangkai Ding

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك فريقاً من الروبوتات المتخصصة، كل منها خبير في مجال معين (مثل مراقب فيديو، وباحث ويب، وحاسب رياضي). هدفك هو جعلهم يعملون معاً لحل لغز معقد، مثل العثور على فائز محدد في سباق داخل فيديو، ثم البحث عن إحصائياته، وحساب فرق التاريخ.

المشكلة في فرق الروبوتات الحالية هي أنها غالباً ما ترتكب أخطاءً تتراكم وتتفاقم. إذا أساء الروبوت الأول فهم المهمة، أو بحث الروبوت الثاني عن الشخص الخطأ، فإن هذا الخطأ ينتقل عبر السلسلة لتصبح الإجابة النهائية خاطئة. الأمر يشبه لعبة "الهاتف المكسور" حيث تتعطل الرسالة، ولكن بدلاً من الهمس، ينهار تسلسل منطقي كامل.

تقدم الورقة البحثية نظام MANGO (تحسين تدرج الشبكة متعدد الوكلاء)، وهي طريقة جديدة لتدريب فرق الروبوتات هذه بحيث لا تكتفي باتباع قواعد جامدة، بل تتعلم فعلياً من نجاحاتها السابقة لتصبح أفضل.

إليك كيف يعمل MANGO، باستخدام تشبيهات بسيطة:

1. "شبكة التدفق" (خريطة النجاح)

بدلاً من إخبار الروبوتات بما يجب فعله في كل مرة، يبني MANGO خريطة بناءً على المهام الناجحة السابقة.

العُقد (المحطات): تخيل خريطة مترو الأنفاق. كل محطة على الخريطة تمثل نوعاً معيناً من الوظائف (مثل "مشاهدة الفيديو"، "البحث في الويب"، "إجراء عملية حسابية").
الخطوط (المسارات): توضح المسارات التي تربط المحطات ببعضها ترتيب تنفيذ الوظائف.
الدرس المستفاد: لا يقوم MANGO بالتخمين فقط لاختيار المسار؛ بل ينظر إلى مكتبة من المسارات الصحيحة السابقة ويبني خريطة تتضمن فقط المسارات التي نجحت بالفعل.

2. التدريب ذو الخطوتين (المدرب والمحرر)

يعمل MANGO على تحسين الفريق باستخدام طريقتين متميزتين في آن واحد، مثل مدرب ومحرر يعملان معاً:

المدرب (التعلم المعزز): يراقب المدرب الفريق أثناء محاولتهم حل لغز جديد. إذا اختار الفريق المحطة الخطأ (على سبيل المثال، محاولة "البحث في الويب" بدلاً من "مشاهدة الفيديو")، يقول المدرب: "لا، هذا المسار خاطئ!" ويكافئهم لاختيار المسار الصحيح. مع مرور الوقت، يتعلم الفريق أفضل مسار لاتخاذه لأي لغز معطى.
المحرر (التدرجات النصية): في بعض الأحيان، يكون المسار صحيحاً، لكن الروبوت في المحطة يؤدي عملاً غير متقن (على سبيل المثال، روبوت "البحث في الويب" يجد الشخص الخطأ). بدلاً من طرد الروبوت، يقدم له المحرر ملاحظات مكتوبة محددة: "لقد بحثت عن السائق الخطأ؛ حاول البحث عن الفائز في الساعة 6:56". يقوم الروبوت بإعادة كتابة تعليماته الخاصة (الأمر الخاص به) لإصلاح هذا الخطأ المحدد. هذا يشبه الكاتب الذي يحرر مسودته بناءً على نقد ما.

3. آلية "التخطي" (المسار السريع)

أحد أكبر ابتكارات الورقة البحثية هو توفير الوقت والمال.

المشكلة: في التدريب التقليدي، قد تجبر كل روبوت على إعادة قراءة تعليماته وإعادة كتابتها لكل مهمة، حتى لو كان بارعاً بالفعل في وظيفته. هذا يشبه إجبار شيف ماهر على إعادة قراءة وصفة غلي الماء في كل مرة يطبخ فيها.
الحل: يمتلك MANGO زر "تخطي". إذا رأى النظام أن روبوتاً ما يؤدي وظيفته بشكل مثالي (بناءً على البيانات السابقة)، فإنه يتخطى خطوة التحرير لهذا الروبوت. يترك الروبوت يقوم بعمله ببساسة وينتقل إلى التالي. هذا يجعل العملية بأكملها أسرع وأرخص بك كثيراً.

ماذا وجدوا؟

اختبر المؤلفون MANGO على سبعة أنواع مختلفة من الألغاز الصعبة (البرمجة، الرياضيات، فهم القراءة، إلخ).

نتائج أفضل: حل MANCO هذه الألغاز بشكل أفضل بكثير (أكثر دقة بنسبة تصل إلى 12.8%) مقارنة بأفضل الطرق الحالية.
أسرع وأرخص: بفضل آلية "التخطي"، استهلك MANCO وقتاً وقدرة حوسبية أقل بنسبة 47.4% لتحقيق تلك النتائج.
قابل للتكيف: حتى عندما اختبروا MANCO على ألغاز لم يسبق له رؤيتها، أو مع "أدمغة" مختلفة (نماذج ذكاء اصطناعي مختلفة)، ظل يعمل بشكل جيد.

الملخص

فكر في MANCO كأنه معسكر تدريب ذكي لفرق الذكاء الاصطناعي. بدلاً من إجبارهم على اتباع سيناريو جامد، فإنه يمنحهم خريطة للرحلات الناجحة، ومدرباً لتوجيه مسارهم، ومحرراً لتصحيح صياغتهم، وزر "تخطي" للتوقف عن إضاعة الوقت في أشياء يعرفونها بالفعل. النتيجة هي فريق أكثر ذكاءً، وأسرع، وأقل عرضة لارتكاب الأخطاء التي تفسد الإجابة النهائية.

ملخص تقني: MANGO (تحسين تدرج الشبكة متعددة الوكلاء)

بيان المشكلة

تقدم الأنظمة متعددة الوكلاء نموذجاً واعداً لتوسيع قدرات النماذج اللغوية الكبيرة (LLMs) من خلال تفكيك المهام المعقدة إلى مهام فرعية متخصصة. ومع ذلك، فإن هذه الأنظمة عرضة بطبيعتها لـ انتشار الخطأ (Error Propagation)، حيث تؤدي عدم الدقة في تصميم سير العمل أو تنفيذ الوكيل إلى تدهور النتائج النهائية. يحدد البحث تحديين رئيسيين:

خطأ توليد سير العمل (C1): التخطيط الخاطئ لتسلسل المهام (على سبيل المثال، اختيار البحث عبر الويب بدلاً من تحليل الفيديو) يؤدي إلى حالات فشل متتالية. تعتمد الطرق الحالية غالباً على استدلالات يدوية أو تصميمات قائمة على القواعد التي تجد صعوبة في التكيف مع المجالات المتنوعة.
خطأ تنفيذ الوكيل المنفرد (C2): حتى مع وجود سير عمل صحيح، قد ينتج الوكلاء الأفراد مخرجات هلوسة أو غير دقيقة (على سبيل المثال، استرجاع تاريخ خاطئ). تواجه طرق التدرج النصي الحالية للتخفيف من هذه الأخطاء قيوداً: فهي غالباً ما توفر إشارات إشراف ضعيفة للخطوات المتوسطة في السلاسل الطويلة (بما يشبه تلاشي التدرج)، وتتسبب في زمن انتقال عالٍ عبر تمرير التدرجات إلى الخلف لجميع الوكلاء، بما في ذلك أولئك الذين تم تحسينهم بالفعل بشكل جيد.

المنهجية: إطار عمل MANGO

يقترح المؤلفون MANGO (تحسين تدرج الشبكة متعددة الوكلاء)، وهو إطار عمل قائم على البيانات ينظم التعاون بين الوكلاء عبر شبكة تدفق (Flow Network) يتم بناؤها من سير العمل الناجحة السابقة. يقوم الإطار بتحسين مسارات سير العمل (الحواف) وسلوكيات الوكلاء (العقد) بشكل مشترك باستخدام التعلم التعزيزي (RL) والتدرجات النصية (TG).

1. بناء شبكة التدفق

يبني النظام رسماً بيانياً موجهاً $G = (V, E, s, t)$ حيث:

العقد ( $V$ ): تمثل كل عقدة وكيلاً (نموذج لغوي كبير مع "برومبت" نظام ووصف دور محدد). يتم تشكيل العقد عن طريق تجميع العمليات المتشابهة من سير العمل الناجحة تاريخياً.
الحواف ( $E$ ): تمثل الحواف الموجهة الانتقالات الصالحة بين العمليات.
المصدر ( $s$ ) والمصب ( $t$ ): تحتوي الشبكة على عقدة مصدر تستقبل المهمة المدخلة، وعقدة مصب حيث يتم تقييم الأداء النهائي.

2. استراتيجية التحسين المشترك

يعالج MANGO التحسين المشترك للمسار $P$ ومعلمات العقد $\Theta_P$ من خلال استراتيجية تحديث متكاملة:

تحسين الحواف (التعلم التعزيزي):
- يتم صياغة توليد سير العمل كعملية إيجاد مسار من $s$ إلى $t$ .
- يقوم وكيل مخطط (Planner Agent) بتوليد خطة عالية المستوى، ويقوم شبكة سياسة (Policy Network) ( $\pi_\phi$ ) باختيار عقدة التنفيذ التالية بناءً على الحالة الراهنة (التشابه بين خطوة الخطة ودور/خبرة العقدة).
- يتم تحسين السياسة عبر خوارزمية REINFORCE، لتعظيم مكافأة تجمع بين الصحة الموجهة للعملية (مطابقة هياكل سير العمل الصحيحة) والأداء الموجه للنتيجة (دقة المهمة النهائية).
تحسين العقد (التدرجات النصية):
- بمجرد أخذ عينة من المسار، يتم تحسين المطالبات ( $P_i$ ) وأوصاف الأدوار ( $r^*_i$ ) للعقد الموجودة على طول المسار.
- يقدم MANGO إشارات تدرج محلية جنباً إلى جنب مع الإشارات العالمية. تجمع دالة الخسارة بين خسارة المهمة النهائية والتغذية الراجعة المتوسطة لمنع تلاشي التدرج في السلا chains الطويلة.
- يتم تحديث المعلمات باستخدام التدرج النصي الهابط، مما يؤدي إلى صقل المطالبات دون تغيير أوزان النموذج.
آلية التخطي للكفاءة:
- لتقليل التكاليف الحسابية، يستخدم MANGO استراتيجية تخطي. إذا كانت العقدة محسنة جيداً بالفعل، يمكن للوكيل تخطيها أثناء عملية التحسين.
- يمكن للوكيل الاختيار من بين ما يصل إلى $K$ -من العقد المجاورة في الشبكة. تعيد العقد التي تم تخطيها استخدام الخطوات المتوسطة من سير العمل التدريبية، مما يتجنب التوليد الزائد وتحديثات المطالبات أثناء التشغيل.

المساهمات الرئيسية

نموذج شبكة تدفق مبتكر: يقدم البحث نموذج شبكة تدفق قائم على البيانات يصيغ التعاون متعدد الوكلاء كتحسين مشترك للحواف (مسارات سير العمل) والعقد (مخرجات الوكيل)، مع معالجة انتشار الخطأ بشكل صريح.
إطار عمل MANGO: نظام موحد يدمج التعلم التعزيزي لاختيار المسار والتدرجات النصية لتحسين المطالبات. يتميز بدمج فريد للإشارات المحلية وآلية التخطي لتحسين الكفاءة.
التحقق التجريبي: تثبت التجاروسعية الواسعة أن MANGO يتفوق على أفضل النماذج المرجعية الحالية (مثل MaAS) مع تقليل التكاليف الحسابية بشكل كبير.

النتائج التجريبية

أُجريت التجارب على سبعة معايير مرجعية: HumanEval، MBPP، MATH، GSM8K، DROP، MMLU، و GPQA.

الأداء: يحقق MANGO تحسناً يصل إلى 12.8% مقارنة بأفضل النماذج المرجعية (مثل MaAS) في مجموعة بيانات MATH. كما يتفوق باستمرار على النماذج أحادية الوكيل ومتعددة الوكلاء في جميع المجالات.
الكفاءة: يقلل إطار العمل من وقت التدريب بنسبة 41.5% ووقت الاستدلال بنسبة 47.4% مقارنة بـ MaAS، ويرجع ذلك أساساً إلى آلية التخطي. كما يحقق تكاليف API واستخداماً أقل للرموز (Tokens).
التعميم:
- عبر النماذج: يتعمم MANGO المدرب على GPT-4o-mini بفعالية على النماذج الأساسية غير المرئية (Qwen-2.5-72B، Llama-3.1-70B)، متفوقاً على النماذج المرجعية في كل من إعدادات Zero-shot و Few-shot.
- عبر المجالات: يظهر النموذج قدرة قوية على النقل، حيث يعمل بشكل جيد عند التدريب على مجال واحد (مثل MATH) والاختبار على مجال آخر (مثل GSM8K أو HumanEval).
دراسات الاستئصال (Ablation Studies): يؤدي إزالة التعلم التعزيزي أو التدرجات النصية إلى تدهور الأداء بشكل كبير، مما يؤكد ضرورة التحسين المشترك. تساهم الإشارات المحلية في تحقيق زيادة في الدقة بنسبة 6.8%، مما يسلط الضوء على دورها في التخفيف من انتشار الخطأ.

الأهمية والادعاءات

يدعي البحث أن MANGO يمثل تحولاً من التصميم متعدد الوكلاء القائم على الاستدلال أو القواعد إلى نموذج قائم على البيانات يتعلم أنماط التعاون من النجاحات التاريخية. من خلال تحسين هيكل سير العمل ومطالبات الوكيل بشكل مشترك، ينجح MANGO في التخفيف من التحديات المزدوجة المتمثلة في أخطاء توليد سير العمل وأخطاء التنفيذ. إن تقديم آلية التخطي يعالج مشكلة التكرار الحسابي الحرجة في الأنظمة متعددة الوكلاء، مما يوفر حلاً قابلاً للتوسع للتعاون الفعال بين الوكلاء. يشير المؤلفون إلى أنه بينما يعتمد إطار العمل على جودة سير العمل الناجحة الأولية، فإنه يظهر قدرات قوية على التمهيد الذاتي (Self-bootstrapping)، حيث يتحسن تدريجياً حتى عند البدء ببيانات أولية ذات جودة منخفضة.