💬 NLP

MMoA: An AI-Agent framework with recurrence for Memoried Mixure-of-Agent

تقدم الورقة البحثية MMoA، وهو إطار عمل تكراري لخليط من الوكلاء (Mixture-of-Agents) يستخدم بوابة قائمة على الذاكرة الطويلة قصيرة المدى (LSTM) لتعديل مساهمات الوكلاء ديناميكيًا بناءً على السياق التاريخي، محققًا أداءً مشابهًا لأنظمة خليط الوكلاء التقليدية مع تقليل التكاليف الحسابية بشكل كبير.

المؤلفون الأصليون: Rui Chu

نُشر 2026-05-20

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Rui Chu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول حل لغز صعب للغاية. في الماضي، ربما كنت ستسأل خبيراً واحداً عن الإجابة. ولكن ماذا لو سألت بدلاً من ذلك فريقاً كاملاً من الخبراء؟

هذه هي الفكرة الأساسية وراء MoA (خليط الوكلاء - Mixture-of-Agents). إنه نظام حيث يقوم نموذج لغوي كبير (بمثابة "العقل") بسؤال عدة "وكلاء" ذكاء اصطناعي مختلفين (مثل متخصصين مختلفين) لحل مشكلة ما، ثم يدمج إجاباتهم للحصول على أفضل نتيجة ممكنة.

ومع ذلك، كان للطريقة القديمة في القيام بذلك عيب. لقد كانت تشبه مديراً يطلب النصيحة من خمسة أشخاص، لكن المدير لا يتذكر ما سألهم عنه بالأمس أو ما قرره الفريق في الخطوة السابقة. في كل مرة يأتي فيها سؤال جديد، يتعامل المدير مع الأمر كما لو كانت هذه هي المرة الأولى على الإطلاق، متجاهلاً تاريخ المحادثة. وهذا يهدر الوقت والطاقة لأن المدير قد يسأل نفس "الخبراء" لطلب المساعدة حتى عندما لا يكونون الأنسب لللحظة الحالية.

الحل الجديد: MMoA (خليط الوكلاء المزود بالذاكرة - Memoried Mixture-of-Agents)

تقدم الورقة البحثية MMoA، وهو يشبه إعطاء ذلك المدير ذاكرة ومساعداً ذكياً.

إليك كيف يعمل ذلك باستخدام تشبيه بسيط:

1. "الموجه الذكي" مع ذاكرة
في النظام القديم، كان "الموجه" (الشخص الذي يقرر أي الوكلاء يجب الاستماع إليهم) ثابتاً. كان يتخذ نفس القرار في كل مرة.
في MMoA، يكون الموجه متكرراً (Recurrent). فكر في هذا الأمر كأنه محقق يحتفظ بدفتر ملاحظات.

الدفتر (LSTM): يستخدم النظام نوعاً خاصاً من الذاكرة (يسمى LSTM) الذي يتتبع ما حدث في الخطوات السابقة.
القرار: عندما يصل سؤال جديد، ينظر الموجه إلى السؤال ويتحقق أيضاً من دفتر ملاحظاته ليرى ما الذي نجح جيداً من قبل. ثم يقرر: "حسناً، بالنسبة لهذا الجزء المحدد من اللغز، أحتاج فقط للاستماع إلى الوكيل (أ) والوكيل (ج). لست بحاجة لإزعاج الوكلاء (ب)، (د)، و(e) الآن".

2. توفير الطاقة عبر الانتقائية
لأن الموجه أكثر ذكاءً ويتذكر السياق، فإنه ليس بحاجة لإيقاظ كل وكيل لكل سؤال.

الطريقة القديمة: اسأل جميع الوكلاء الخمسة، واستمع إلى الخمسة جميعاً، وادمج الإجابات الخمس. (مكلف وبطيء).
الطريقة الجديدة (MMoA): اسأل فقط الوكيلين الأكثر صلة، واستمع إليهما، وادمج إجاباتهما. (أسرع وأرخص).

ما وجدته الورقة البحثية

اختبر المؤلفون هذا "المدير الذكي" في عدة اختبارات معيارية (مثل AlpacaEval 2.0 و MT-Bench) لمعرفة ما إذا كان لا يزال جيداً في حل المشكلات.

الدقة: كان النظام الجديد جيداً تقريباً مثل النظام القديم. في اختبار يسمى AlpacaEval 2.0، فاز النظام القد م 59.8% من المرات، بينما فاز نظام MMoA الجديد بنسبة 58.0%. هذا انخفاض طفيف جداً في الجودة.
السرعة: كان الفوز الكبير في السرعة. نظرًا لأن MMoA يقوم بتنشيط عدد أقل من الوكلاء، فإنه يعمل بشكل أسرع بكثير. وتدعي الورقة أنه حسن كفاءة وقت التشغيل بنسبة تصل إلى 4.6% مقارنة بالطريقة القياسية.

الخلاصة

تدعي الورقة أن MMoA هو أول نظام ينجح في إضافة "ذاكرة" إلى عملية اختيار الوكلاء. فهو يسمح للذكاء الاصطناعي بأن يكون متكيفاً — حيث يتعلم اختيار المساعدين المناسبين بناءً على الموقف الحالي وما حدث من قبل.

باخت-صريح: إنه يشبه الترقية من مدير يطلب المساعدة من الجميع بشكل أعمى في كل مرة، إلى مدير يعرف فريقه، ويتذكر النجاحات السابقة، ويستدعي فقط الخبراء المعنيين بالمهمة المطلوبة. هذا يجعل النظام أسرع وأكثر كفاءة دون فقدان الكثير من ذكائه.

ملاحظة: تركز الورقة البحثية حصرياً على مكاسب الكفاءة والدقة هذه في المهام اللغوية. وهي لا تدعي أن هذه التكنولوجيا جاهزة للتشخيص الطبي، أو المشورة القانونية، أو التطبيقات الواقعية عالية المخاطر الأخرى بعد.

ملخص تقني: MMoA – إطار عمل للوكلاء الذكيين يعتمد على التكرار لنموذج خليط الوكلاء (Mixture-of-Agents)

بيان المشكلة
أظهر إطار عمل "خليط الوكلاء" (Mixture-of-Agents - MoA) نجاحاً في تعزيز أداء النماذج اللغوية الكبيرة (LLMs) عبر تجميع مخرجات من عدة وكلاء مستقلين. ومع ذلك، تعتمد أنظمة MoA الحالية على آليات توجيه ثابتة تقوم بتجميع مخرجات الوكلاء دون مراعاة صريحة للاعتمادات الزمنية أو السياقية عبر طبقات التجميع المتتالية. هذا القصور يمنع النظام من تكييف مساهمات الوكلاء بناءً على قرارات التوجيه التاريخية أو السياق المتطور لعملية التوليد، مما قد يؤدي إلى كفاءة غير مثلى وجودة تجميع متدنية.

المنهجية
يقترح البحث MMoA، وهو بنية MoA تكرارية مبتكرة تدمج آلية بوابات تعتمد على LSTM في عملية اختيار الوكيل. وتتضمن المنهجية الجوهرية ما يلي:

وحدة البوابات التكرارية (Recurrent Gating Module): بدلاً من تجميع مخرجات الوكلاء بشكل ثابت، يقوم MMoA بدمج مخرجات $n$ من الوكلاء ( $A_1(x), \dots, A_n(x)$ ) في تمثيل $z_t$ . يتم معالجة هذا التمثيل بواسطة LSTM جنباً إلى جنب مع الحالة الخفية من الطبقة السابقة ( $h_{t-1}$ ) لالتقاط السياق التاريخي، مما ينتج حالة خفية محدثة $h_t$ .
التوزين الديناميكي (Dynamic Weighting): يتم حساب متجه بوابة $g$ عبر تحويل خطي وتطبيق دالة softmax على $h_t$ . يقوم هذا المتجه بتوزين مساهمات كل وكيل ديناميكياً للطبقة الحالية: $y = \sum g_i \cdot A_i(x)$ .
التحسين المتكرر (Iterative Refinement): تعمل البنية عبر طبقات متعددة ( $L$ ). في كل طبقة، تستقبل الوحدة الاستجابات المرشحة والمخرج المجمع من الطبقة السابقة، مما يسمح للنموذج بتحسين مخرجاته بشكل متكرر عبر الاستفادة من ميزات المدخلات الحالية ومعلومات التوجيه التاريخية.
هدف التدريب (Training Objective): تم تحديد دالة خسارة محددة للموجه (router) لتقليل خسائر المهام مع الحفاظ على الاستكشاف من خلال تنظيم الإنتروبيا ( $H(p)$ )، مع فرض توازن الحمل (load balancing) بين الوكلاء اختيارياً.

المساهمات الرئيسية

تصميم الموجه لـ MoA: قدم المؤلفون موجهاً مكيفاً من آليات "خليط الخبراء" (Mixture-of-Experts - MoE)، وتحديداً باستخدام بوابات تعتمد على LSTM/RNN للقيام باختيار وكلاء ديناميكي ومدرك للسياق ضمن إطار عمل MoA.
تكامل البوابات التكرارية: يعد هذا العمل الأول الذي يدمج آلية بوابات تكرارية في إطار عمل MoA، مما يمكن النظام من اتخاذ قرارات توجيه مستنيرة بكل من المدخلات الحالية والحالات التوجيهية التاريخية.
المفاضلة بين الكفاءة والدقة: يقدم النهج حلاً قابلاً للتوسع يقوم بتنشيط عدد أقل من الوكلاء ديناميكياً، مما يقلل بشكل كبير من العبء الحسابي مع الحفاظ على دقة عالية.

النتائج التجريبية
قام المؤلفون بتقييم MMoA مقابل النماذج المرجعية القياسية (بما في ذلك MoA الثابت والنماذج المستبعدة) في اختبارات قياس اتباع التعليمات: AlpacaEval 2.0، و MT-Bench، و Arena-Hard.

الدقة: حقق MMoA دقة مقاربة لـ MoA التقليدي مع انخفاض طفيف فقط.
- في AlpacaEval 2.0، حقق MMoA معدل فوز قدره 58.0% مقارنة بـ 59.8% لـ MoMo، (انخفاض قدره 1.8 نقطة)، ومعدل فوز LC قدره 61.5% مقابل 65.1%.
- في MT-Bench، انخفض متوسط الدرجات بمقدار 0.05 نقطة فقط (من 9.25 إلى 9.20).
الكفاءة: يحسن الموجه التكراري كفاءة وقت التشغيل بشكل كبير عن طريق تقليل التعقيد الزمني الفعلي من $O(nL)$ $O (n L)$ إلى حوالي $O(n+L)$ $O (n + L)$ عبر إعادة استخدام الحالات الخفية بدلاً من إعادة حساب شبكات البوابة لكل وكيل في كل طبقة.
- في AlpacaEval 2.0، أظهر MMoA تحسناً يصل إلى 4.6% في كفاءة وقت التشغيل مقارنة بالنماذج المرجعية غير التكرارية.
- كانت تخفيضات وقت الاستنتاج متسقة عبر أعداد الوكلاء المختلفة ( $n=2, 3, 6$ )، حيث أكمل MMoA المهام في حوالي 54-56% من وقت تشغيل النموذج المرجعي.

الأهمية والادعاءات
يزعم البحث أن MMoA يمثل أول عمل يقدم موجهاً لاختيار الوكلاء خصيصاً داخل إطار عمل MoA، مما يسد الفجوة بين استراتيجيات التجميع الثابتة وآليات التوجيه الديناميكية التكرارية. ويضع المؤلفون هذا كخطوة نحو "ضبط نظام خليط الوكلاء بطريقة النماذج اللغوية".

تكمن أهمية العمل في قدرته على توفير حل قابل للتوسع وفعال لأنظمة الوكلاء المتعددة المتكيفة. ومن خلال تمكين التوجيه المدرك للسياق والمعلوم زمنياً، يسمح MMoA بتنشيط عدد أقل من الوكلاء دون التضحة بجوهر الأداء، مما يجعله نهجاً قابلاً للتطبيق في التطبيقات الواقعية حيث تكون التكلفة الحسابية قيداً.

القصور
أقر المؤلفون بتواضع بعدة قصور:

يركز التقييم بشكل أساسي على اختبارات قياس اتباع التعليمات؛ ولم يتم إثبات القدرة على التعميم في مهام الاستنتاج طويل السياق، أو استخدام الأدوات، أو المهام الحرجة للسلامة.
تم إنشاء الموجه التكراري خصيصاً بآلية من نمط LSTM؛ ولم يتم استكشاف تصميمات أخرى (مثل التصميمات القائمة على Transformer أو Reinforcement Learning).
يقدم النظام معاملات فائقة (hyperparameters) إضافية وقد يكون حساساً لبيانات التدريب وتكوين مجموعة الوكلاء، وهي جوانب لم يتم تحليلها بالكامل.
يظل التركيز على كفاءة وقت الاستنتاج ومقاييس معدل الفوز، مع ترك حالات الفشل النوعية والمعايرة للعمل المستقبلي.

الحل الجديد: MMoA (خليط الوكلاء المزود بالذاكرة - Memoried Mixture-of-Agents)

ما وجدته الورقة البحثية

الخلاصة

أبحاث مشابهة