💻 computer science

Collaborative Multi-Agent Optimization for Personalized Memory System

تقترح هذه الورقة CoMAM، وهو إطار عمل للتعلم التعزيزي التعاوني يعمل على تحسين أنظمة الذاكرة المخصصة من خلال نمذجة تفاعلات الوكلاء المتعددين كعملية ماركوف لاتخاذ القرار المتسلسل ودمج مكافآت المهام المحلية مع مقاييس الأداء العالمية لمواءمة تحسينات الوكيل الفردي مع الفعالية الإجمالية للنظام.

المؤلفون الأصليون: Wenyu Mao, Haoyang Liu, Zhao Liu, Haosong Tan, Yaorui Shi, Jiancan Wu, An Zhang, Xiang Wang

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Wenyu Mao, Haoyang Liu, Zhao Liu, Haosong Tan, Yaorui Shi, Jiancan Wu, An Zhang, Xiang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "التحسين التعاوني متعدد الوكلاء لنظام الذاكرة الشخصية" (CoMAM)، مقسمة إلى مفاهيم بسيطة باستخدام تشبيهات إبداعية.

الصورة الكبيرة: مشكلة "أمين المكتبة المنهك"

تخيل أن لديك مساعدًا ذكيًا (مثل أمين مكتبة فائق الذكاء) يعرف كل شيء عنك. لقد كنت تدردش مع هذا الأمين لسنوات.

المشكلة: يمتلك أمين المكتبة مكتبًا صغيرًا (نافذة السياق - context window). يمكنه فقط استيعاب بضع صفحات من محادثتك في المرة الواحدة. إذا سألته: "ما كانت عطلتي المفضلة قبل خمس سنوات؟"، يصاب أمين المكتبة بالذعر لأن تلك الصفحة مدفونة تحت جبل من الأوراق الأحدث.
الحل الحالي: نحن نعطي أمين المكتبة خزانة ملفات (نظام ذاكرة). تحتوي هذه الخزانة على عمال مختلفين (وكلاء) للمساعدة:
1. الكاتب (The Scribe): يدون التفاصيل الخام لمحادثاتك.
2. الملخص (The Summarizer): يقرأ ملاحظات الكاتب ويكتب "ملف تعريف المستخدم" (مثلاً: "جون يحب التنزه ويكره الطعام الحار").
3. الباحث (The Searcher): يبحث في الملفات للعثور على الإجابة عندما تطرح سؤالاً.

الخلل في الأنظمة الحالية:
في الوقت الحالي، نحن ندرب هؤلاء العمال بشكل مستقل.

نقول للكاتب: "اكتب كل شيء! لا تفوت أي تفصيل!"
ونقول للباحث: "جد الإجابة الدقيقة بسرعة!"

النتيجة: يكتب الكاتب رواية من 1000 صفحة لكل كلمة قلتها. يشعر الباحث بالارتباك، ولا يستطيع إيجاد الإبرة في كومة القش، ويعطيك إجابة خاطئة. إنهم جميعًا "خبراء" في وظائفهم الخاصة، لكنهم سيئون جدًا في العمل معًا. الأمر يشبه فرقة موسيقية حيث يعزف كل فرد آلتة ببراعة، لكنهم جميعًا يعزفون ألحانًا مختلفة وبسرعات مختلفة. النتيجة هي ضجيج، وليست موسيقى.

الحل: CoMAM (نهج "المايسترو")

يقترح المؤلفون CoMAM، وهي طريقة جديدة لتدريب هؤلاء العمال ليعملوا كـ فريق تعاوني بدلاً من مجرد مجموعة من الخبراء المنفردين.

فكر في CoMAM كأنها مايسترو في أوركسترا. بدلاً من ترك كل عازف يتدرب بمفرده، يجعلهم المايسترو يتدربون معًا، ويستمع كل منهم كيف يؤثر عزف الآخر على أدائه.

إليك كيف يعمل CoMAM، باستخدام ثلاث خطوات بسيية:

1. "خط التجميع" (تنظيم MDP)

في الطريقة القديمة، كان الكاتب والملخص والباحث يعملون في عزلة.
في CoMAM، يتم إجبارهم على العمل في خط تجميع متسلسل.

الخطوة 1: الكاتب يكتب ملاحظة.
الخطوة 2: الملخص يقرأ تلك الملاحظة فورًا وينشئ ملف تعريف.
الخطوة 3: الباحث يستخدم هذا الملف للتعامل مع السؤال فورًا.

يتعامل النظام مع هذه السلسلة بأكملها كقصة واحدة مستمرة. إذا كتب الكاتب الكثير من الهراء، سيصاب الملخص بالارتباك، وسيفشل الباحث. يتعلم النظام أن ما يفعله الشخص الأول يؤثر بشكل مباشر على نجاح الشخص الأخير.

2. "درجة الفريق" مقابل "الدرجة الفردية" (المكافآت المحلية مقابل العالمية)

الطريقة القديمة: يحصل الكاتب على نجمة ذهبية لكتابة 1000 صفحة (مكافأة محلية). ويحصل الباحث على نجمة ذهبية لإيجاد ملف بسرعة (مكافأة محلية). لكن الفريق يحصل على درجة رسوب لأن الإجابة كانت خاطئة.
طريقة CoMAM:
- المكافأة المحلية: "هل قمت بوظيفتك المحددة بشكل جيد؟" (مثلاً: هل نقل الكاتب الحقائق؟)
- المكافأة العالمية: "هل حصل الفريق بأكمله على الإجابة الصحيحة للمستخدم؟"

يدرك نظام CoMAM أن النجمة الذهبية للكاتب لا فائدة منها إذا كانت ستفسد مهمة الباحث.

3. "الشيك العادل" (تخصيص الائتمان التكيفي)

هذه هي الخدعة السحرية. عندما يحصل الفريق على "مكافأة عالمية" (إجابة صحيحة)، كيف نوزع الفضل؟

الطريقة القديمة: تقسيم الفضل بالتساوي. "كل منكم حصل على 33%". هذا غير عادل. ربما قام الكاتب بعمل رائع، لكن الباحث كان كسولاً. أو ربما كتب الكاتب هراءً، لكن الباحث كان عبقريًا.
طريقة CoMAM: تستخدم آلة حاسبة ذكية لترى من ساعد أكثر في الواقع.
- تسأل: "عندما أدى الكاتب بشكل جيد، هل ارتفع تقييم الفريق؟"
- تسأل: "عندما أدى الملخص بشكل جيد، هل ارتفع تقييم الفريق؟"
- تعطي مزيدًا من الفضل (ومكافأة تدريب أكبر) للعامل الذي ارتبط أداؤه فعليًا بنجاح الفريق.

إذا كتب الكاتب ملخصًا مثاليًا ساعد الباحث على الفوز، يحصل الكاتب على مكافأة ضخمة. وإذا كتب الكاتب هراءً أربك الباحث، يحصل الكاتب على مكافأة أصغر، حتى لو "عمل بجد".

لماذا هذا مهم (النتائج)

اختبرت الورقة البحثية هذا على مجموعة بيانات ضخمة من المحادثات الطويلة (تصل إلى مليون كلمة!).

النتيجة: تفوق فريق CoMAM (الأوركسترا التي تعزف معًا) بشكل كبير على "الخبراء المستقلين" (العازفين المنفردين).
التشبيه: تخيل سباق تتابع.
- التحسين المستقل: يتدرب كل عداء على الجري بأقصى سرعة ممكنة بمفرده. ولكن عند تمرير العصا، يسقطونها لأنهم لم يتدربوا أبدًا على عملية التسليم.
- CoMAM: يتدربون معًا. يتعلم العداء الأول أن يبطئ سرعته قليلاً لضمان تسليم مثالي، لأنه يعلم أن العداء الثاني يحتاج إلى بداية سلسة للفوز في السباق.

ملخص في جملة واحدة

يتوقف CoMAM عن معاملة عمال الذاكرة في الذكاء الاصطناي كخبراء معزولين، ويبدأ في تدريبهم كـ فريق تعاوني، باستخدام نظام ذكي لمكافأتهم بناءً على مدى مساعدة عملهم المحدد للفريق بأكمله للفوز في اللعبة.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التحسين التعاوني متعدد الوكلاء لنظام الذاكرة الشخصية" (CoMAM).

1. بيان المشكلة

تعتمد نماذج اللغات الكبيرة (LLMs) المخصصة على أنظمة الذاكرة للتغلب على قيود نافذة السياق والاحتفاظ بتاريخ المحادثة الطويل للمستخدم. توظف أنظمة الذاكرة الحالية عادةً عدة وكلاء متخصصين (على سبيل المثال، لبناء ذكريات دقيقة، وملفات تعريف عامة، واسترجاع المعلومات).

المشكلة الجوهرية: تعمل الطرق الحالية على تحسين هؤلاء الوكلاء بشكل مستقل (عبر هندسة الأوامر أو التعلم المعزز المنفصل). هذا النهج يعامل النظام كـ "مجموعة من الخبراء المحليين" بدلاً من فريق تعاوني.

عدم التوافق بين المحلي والعالمي: إن تحسين وكيل لمهمته المحلية (مثل تعظيم تغطية المعلومات) دون مراعاة الوكلاء اللاحقين قد يؤدي إلى تخزين بيانات مكررة أو مشوشة تعيق عملية الاسترجاع. وعلى العكس من ذلك، فإن وكلاء الاسترجاع الذين يتم تدريبهم دون معرفة باستراتيجيات البناء قد يبالغون في تصفية التفاصيل المهمة.
فجوة الأداء: كما هو موضح في الشكل 1 من الورقة، غالباً ما تؤدي الوكلاء المحسّنة بشكل مستقل إلى أداء نظام عالمي أقل (دقة الإجابة على الاستعلام) مقارنة بالأنظمة المحسّنة بشكل مشترك، حتى لو بدا أن المهام المحلية الفردية قد وصلت إلى مرحلة التقارب.
التحديات: يواجه التحسين المشترك عقبتين رئيسيتين:
1. التباين وعدم التزامن: يعمل الوكلاء بتكوينات وتكرارات تنفيذ مختلفة (البناء دوري؛ والاسترجاع مدفوع بالاستعلام).
2. تخصيص الائتمان (Credit Assignment): من الصعب تحديد مدى مساهمة كل وكيل في النتيجة العالمية النهائية، مما يؤدي إلى إشارات مكافأة غامضة إذا تم توزيع المكافآت العالمية بالتساوي.

2. المنهجية: إطار عمل CoMAM

يقترح المؤلفون CoMAM (إطار التعلم المعزز التعاوني لأنظمة الذاية متعددة الوكلاء)، والذي يحسن الوكلاء غير المتجانسين بشكل مشترك من خلال ثلاث آليات رئيسية:

أ. تعريف الوكيل الخاص بالمهمة

يستخدم النظام ثلاثة وكلاء متخصصين:

وكيل الاستخراج (Extraction Agent): يبني ذكريات دقيقة ( $M_f$ ) من التاريخ الخام (مثل الأحداث الرئيسية، الحقائق).
وكيل الملف الشخصي (Profile Agent): يلخص ذكريات عامة ( $M_c$ ) من $M_f$ (مثل تفضيلات المستخدم، وأنماط السلوك).
وكيل الاسترجاع (Retrieval Agent): يسترجع الذكريات ذات الصلة من المجموعة $M = \{M_f, M_c\}$ للإجابة على استعلامات المستخدم وتوليد الاستجابات.

ب. تنظيم مسار التنفيذ (صياغة MDP)

للتعامل مع عدم التجانس وعدم التزامن، صاغ المؤلفون خط الإنتاج بأكمله كـ عملية قرار ماركوف متسلسلة (MDP):

فضاء الحالة ( $S$ ): يلتقط حالة النظام في كل خطوة (التاريخ الخام $\leftarrow$ الذاكرة الدقيقة $\leftarrow$ الذاكرة العامة $\leftarrow$ المعلومات المسترجعة $\leftarrow$ الاستجابة النهائية).
فضاء الإجراء ( $A$ ): المخرجات المحددة لكل وكيل (الاستخراج، التجريد، الاسترجاع/التوليد).
الانتقالات ( $T$ ): تدمج التبعيات بين الوكلاء؛ حيث تصبح مخرجات أحد الوكلاء هي حالة المدخلات للوكيل التالي.
المكافآت ( $R$ ):
- المكافآت المحلية: مقاييس خاصة بالمهمة (مثل تغطية المعلومات للاستخراج، عقلانية التجريد لتشكيل الملف الشخصي، ودقة الاسترجاع).
- المكافأة العالمية: دقة الإجابة على الاستعلام ( $r_{ans}$ ).

تسمح هذه الصياغة بالتحسين من النهاية إلى النهاية حيث تتعلم الوكلاء تكييف استراتيجياتها المحلية لخدمة المسار العالمي.

ج. آلية تخصيص الائتمان التكيفية

لحل مشكلة تخصيص الائتمان ومواءمة التحسينات المحلية مع الأداء العالمي، يقدم CoMAM استراتيجية وزن ديناميكية:

اتساق التصنيف: بالنسبة لمجموعة من المسارات، يحسب النظام الربح التراكمي المخفض المعياري (NDCG) بين تصنيف المكافأة المحلية للوكيل وتصنيف المكافأة العالمية.
الأوزان التكيفية: الوكلاء الذين لديهم اتساق أعلى (أي أولئك الذين ترتبط تحسيناتهم المحلية بقوة بالنجاح العالمي) يتلقون أوزاناً أعلى ( $w_n$ ).
المكافأة المتكاملة: المكافأة النهائية للوكيل هي مجموع مرجح لمكافأة مهمته المحلية ومكافأة النظام العالمية:
$r_{final, n} = r_{local, n} + w_n \cdot r_{global}$
يضمن هذا أن الوكلاء لا يُكافأون فقط على أداء مهمتهم المحددة بشكل جيد، بل على أدائها بطريقة تساعد النظام ككل.

خوارزمية التحسين المستخدمة هي تحسين السياسة النسبية الجماعية (GRPO)، والتي تلغي الحاجة إلى نموذج ناقد (critic model) منفصل.

3. المساهمات الرئيسية

إطار التحسين المشترك: يعد CoMAM أول إطار عمل يصيغ أنظمة الذاكرة متعددة الوكلاء صراحةً كعملية MDP متسلسلة لتسهيل التدريب التعاوني من النهاية إلى النهاية، متجاوزاً بذلك التحسين المستقل للوكلاء.
تخصيص الائتمان التكيفي: تقترح الورقة آلية مبتكرة تستخدم اتساق التصنيف القائم على NDCG لتخصيص المكافآت العالمية ديناميكياً، مما يحل مشكلة المواءمة بين "المحلي والعالمي" بفعالية دون الحاجة إلى تشكيل يدوي للمكافآت.
التعامل مع عدم التجانس: يسمح تنظيم MDP للوكلاء غير المتجانسين (بمهام وتكرارات تنفيذ مختلفة) بالتدريب في آن واحد ضمن مسار موحد.
التقييم الشامل: أظهرت التجارب المكثفة على معيار PersonaMem تفوق الإطار على أفضل النماذج المرجعية الحالية.

4. النتائج التجريبية

قيم المؤلفون CoMAM على معيار PersonaMem (أكثر من 180 تاريخ تفاعل طويل الأمد، و6,000+ استعلام) عبر ثلاثة أطوال سياق (32K، 128K، 1M توكن) باستخدام نماذج خلفية Qwen و Llama.

الأداء العام (RQ1): تفوق CoMAM على جميع النماذج المرجعية (بما في ذلك الأنظمة القائمة على الأوامر مثل CAM والأنظمة القائمة على التعلم المعزز مثل Memory-R1).
- في إعداد 128K مع Llama، حقق CoMAM دقة بنسبة 70%، وهو ما يمثل تحسناً بنسبة 16.7% عن أفضل النماذج السابقة.
- تفوق باستمرار على النماذج المرجعية ذات التحسين المستقل عبر جميع أطوال السياق.
دراسات الاستئصال (Ablation Studies):
- ضرورة الوكيل (RQ2): أدى حذف أي وكيل واحد (الاستخراج، أو الملف الشخصي، أو الاسترجاع) إلى انخفاض كبير في الأداء، مما يؤكد الطبيعة التكاملية لتصميم تعدد الوكلاء.
- تنظيم MDP (RQ3): تفوق "MDP RL" (التحسين المشترك) بشكل كبير على نهج "التعلم المعزز المستقل" ونهج "السياسة الواحدة"، مما يثبت الحاجة إلى نمذجة التبعيات بين الوكلاء.
- تخصيص الائتمان (RQ4): تفوقت الآلية التكيفية ("Ours") على استراتيجيات الوزن الثابت (التوزيع المتساوي) والاستراتيجيات التي تستخدم المكافآت المحلية فقط أو العالمية فقط، مما يثبت فعالية تخصيص الوزن الديناميكي.
الكفاءة (RQ5): بينما يتطلب التدريب المشترك تحديثات متوازية، فإن إجمالي خطوات التقارب أقل من مجموع خطوات التدريب المستقل، مما يشير إلى كفاءة تدريب أعلى. أما زمن انتقال الاستدلال فيظل مشابهاً للأنظمة المستقلة.

5. الأهمية

تحول في النموذج: تتحدى الورقة النموذج السائد المتمثل في "التحسين المستقل" في أنظمة الوكلاء المتعددة للنماذج اللغوية الكبيرة، وتثبت أن التدريب التعاوني ضروري لتحقيق الأمثلية العالمية في المسارات المعقدة.
القابلية للتوسع: تم تصميم الإطار للتعامل مع سيناريوهات السياق الطويل (حتى 1 مليون توكن)، مما يعالج عقبة حرجة في تطبيقات النماذج اللغوية الكبيرة المخصصة.
القدرة على التعميم: يمكن تطبيق مفاهيم تنظيم MDP للوكلاء غير المتزامنين وتخصيص الائتمان التكيفي القائم على NDCG على أنظمة متعددة الوكلاء أخرى تتجاوز إدارة الذاكرة، مثل سلاسل الاستدلال المعقدة أو وكلاء استخدام الأدوات.
الأثر العملي: من خلال تحسين دقة الاستجابات المخصصة في المحادثات طويلة الأمد، يعزز CoMAM بشكل مباشر تجربة المستخدم في المساعدين الذكيين، وروبوتات دعم العملاء، والرفقاء الرقميين الشخصيين.