💬 NLP

MemSearcher: Training LLMs to Reason, Search and Manage Memory via End-to-End Reinforcement Learning

يُعد MemSearcher إطار عمل لوكيل يعتمد على النماذج اللغوية الكبيرة، يستخدم آلية ذاكرة مدمجة وخوارزمية تدريب GRPO متعددة السياقات ومبتكرة لتحقيق تعلم تعزيزي فعال وشامل من البداية إلى النهاية لمهام البحث متعددة الجولات، متفوقاً بذلك على النماذج المرجعية التقليدية القائمة على دمج السجل التاريخي مع الحفاظ على استقرار أطوال السياق.

المؤلفون الأصليون: Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

نُشر 2026-05-11

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Qianhao Yuan, Jie Lou, Zichao Li, Jiawei Chen, Yaojie Lu, Hongyu Lin, Le Sun, Debing Zhang, Xianpei Han

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث MemSearcher، مقسماً إلى مفاهيم بسيطة مع استخدام تشبيهات من الحياة اليومية.

المشكلة: العميل "المزدحم للغاية"

تخيل أنك استأجرت مساعد باحث ذكي جداً ولكنه ينسى قليلاً (الذكاء الاصطناعي) للإجابة على سؤال معقد.

في الطريقة القياسية الحالية (تسمى ReAct)، في كل مرة يفكر فيها المساعد أو يتصرف أو يقرأ معلومة جديدة، فإنه يدونها جميعاً في دفتر ملاحظات واحد ضخم.

الدورة 1: يكتب السؤال وأول نتيجة بحث.
الدورة 2: يكتب فكرته الجديدة وثانية نتائج البحث أسفل المعلومة الأولى.
الدورة 10: أصبح دفتر الملاحظات الآن بطول 50 صفحة.

المشكلة: كلما طال دفتر الملاحظات، يشعر المساعد بالإرهاق. فعليه قراءة 50 صفحة من الملاحظات القديمة ليجد الجملة الوحيدة التي تهمه. هذا يجعل العملية بطيئة، ومكلفة (مثل الدفع مقابل مكتبة ضخمة)، وغالباً ما يؤدي إلى أخطاء بسبب ارتباك المساعد من كل هذا "الضجيج" (التفاصيل غير المهمة) الموجود في وسط الكتاب.

الحل: "الملخص الذكي" (MemSearcher)

ابتكر المؤلفون MemSearcher، وهي طريقة جديدة لعمل الذكاء الاصطناعي. بدلاً من الاحتفاظ بدفتر ملاحظات ضخم ومتنامٍ، يستخدم MemSearcher بطاقة فهرسة واحدة قابلة لإعادة الاستخدام.

إليك كيف يعمل:

السؤال: أنت تسأل الذكاء الاصطناعي سؤالاً.
البحث: يبحث الذكاء الاصطناعي عن إجابة.
التحديث: بدلاً من كتابة المعلومة الجديدة في قائمة طويلة، يتصرف الذكاء الاصطناعي كأنه أمين متحف (قيم). ينظر إلى المعلومة الجديدة، ويقرر ما هو المفيد حقاً، ثم يعيد كتابة بطاقة الفهرسة لتشمل فقط الحقائق الأكثر أهمية.
الدورة التالية: في الخطوة التالية، ينظر الذكاء الاصطناعي فقط إلى بطاقة الفهرسة الحالية وإلى السؤال الأصلي. لا يحتاج لقراءة تاريخ آخر 10 عمليات بحث.

النتيجة: "دفتر الملاحظات" لا يكبر أبداً عن حجم بطاقة الفهرسة (حوالي 4,000 حرف). هذا يبقي الذكاء الاصطناعي سريعاً، رخيصاً، ومركزاً، حتى بعد دورات عديدة من المحادثة.

تحدي التدريب: تعليم مهارة التقييم (Curation)

قد تعتقد: "ألا يمكننا فقط أن نطلب من الذكاء الاصطناعي القيام بذلك؟" تقول الورقة البحثية: لا. النماذج الحالية للذكاء الاصطناعي مدربة على كتابة قصص طويلة، وليس على التلخيص والنسيان. إذا طلبت منها فقط استخدام ذاكرة صغيرة، فستصاب بالارتباك وتفشل.

لحل هذه المشكلة، استخدم المؤلفون طريقة تدريب تسمى التعلم المعزز (Reinforcement Learning - RL).

التشبيه: تخيل تعليم كلب كيفية جلب الكرة. أنت لا تكتب دليلاً للكلب، بل ترمي الكرة. إذا أحضرها الكلب، تعطي له مكافأة (مكافأة). إذا أسقطها، لا توجد مكافأة.
الابتكار: قدمت الورقة تقنية تدريب خاصة تسمى Multi-Context GRPO.
- عادةً، تدريب الذكاء الاصطناعي على محادثة طويلة يشبه تقييم مقال كامل دفعة واحدة.
- طريقة MemSearcher تشبه تقييم كل جملة في ذلك المقال بشكل فردي، ولكن باستخدام الدرجة النهائية للمقال بأكمله لتحديد مدى جودة كل جملة.
- هذا يعلم الذكاء الاصطناعي بالضبط الأجزاء التي يجب الاحتفاظ بها في بطاقة الفهرسة والأجزاء التي يجب التخلص منها، طوال العملية بأكملها.

لماذا هذا مهم (النتائج)

اختبر المؤلفون MemSearcher مقابل طريقة "الدفتر الضخم" القديمة على سبعة مجموعات بيانات مختلفة من المسابقات الثقافية وعمليات البحث الصعبة.

أذكى: حقق MemSearcher درجات أفضل من الطرق القديمة، حتى عند استخدام نماذج ذكاء اصطناعي أصغر وأرخص.
أسرع وأرخص: لأن "دفتر الملاحظات" يظل صغيراً، لا يحتاج الكمبيوتر لبذل جهد كبير. فهو يستخدم ذاكرة أقل ويكلف أقل للتشغيل.
أقل ارتباكاً: في أحد الأمثلة الموضحة في الورقة، ارتبكت الطريقة القديمة لأنها خلطت بين شخصين مختلفين ذُكرا في أجزاء مختلفة من المحادثة الطويلة. أما MemSearcher، ومن خلال الاحتفاظ بملخص نظيف، فقد حدد الشخص الصحيح بدقة.

ملخص

MemSearcher يشبه ترقية باحث من شخص يجمع كل قصاصة ورق لمسها، إلى أمين مكتبة محترف يحتفظ بملخص منظم ومحدث لأهم الحقائق. يحقق ذلك من خلال تدريب الذكاء الاصطناعي ليكون مدير ذاكرته الخاص، مما يضمن بقاءه حاداً وفعالاً مهما طالت المحادثة.

ملخص تقني: MemSearcher

بيان المشكلة

عادةً ما تقوم وكلاء البحث القائمة على النماذج اللغوية الكبيرة (LLM)، وخاصة تلك التي تتبع نموذج ReAct، بدمج تاريخ التفاعل بأكွယ် (الأفكار، الإجراءات، والملاحظات) في نافذة سياق النموذج لكل دورة. يخلق هذا التصميم عنق زجاجة جوهرياً: فمع زيادة عدد دورات التفاعل، ينمو طول السياق بشكل خطي. وفي سيناريوهات البحث، يؤدي هذا إلى مدخلات طويلة وضوضائية تهيمن عليها الفقرات المسترجعة، والتي يكون الكثير منها غير ذي صلة باستعلام المستخدم. هذا التضخم في عدد الرموز (tokens) لا يجهد قدرة النموذج اللغوي الكبير على استخدام المعلومات الجوهرية فحسب، بل يتسبب أيضاً في أعباء حسابية هائلة واستهلاك مرتفع لذاكرة وحدة معالجة الرسومات (GPU)، مما يحد من قابلية التوسع ونشر وكلاء البحث في البيئات محدودة الموارد.

المنهجية

يقترح المؤلفون MemSearcher، وهو إطار عمل لوكيل مصمم للحفاظ على ذاكرة مدمجة ومحدثة بشكل تكراري طوال التفاعلات متعددة الأدوار، بدلاً من إلحاق التاريخ الكامل.

1. إطار عمل MemSearcher

على عكس ReAct، حيث يكون المدخل في الدورة $i$ هو التاريخ التراكمي $(q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$ ، يوفر MemSearcher للنموذج اللغوي الأساسي مدخلين موجزين فقط:

سؤال المستخدم $q$ .
ذاكرة مدمجة $m_{i-1}$ تحتوي على المعلومات الأساسية من الدورات السابقة.

في كل دورة، يولد النموذج اللغي مسار استدلال (فكرة) وإجراءً بناءً على هذا السياق الموجز. وعند تلقي ملاحظة (مثل نتائج البحث) من البيئة، يعمل النموذج اللغوي كـ مدير للذاكرة. فهو يدمج المعلومات الجديدة ذات الصلة من الملاحظة الحالية في الذاكرة الموجودة مع الحفاظ على التفاصيل الضرية من الذاكرة السابقة، مولداً ذاكرة محدثة $m_i$ . تضمن هذه العملية بقاء طول السياق مستقراً ومحدوداً بحد أقصى محدد مسبقاً لعدد الرموز (على سبيل المثال، 1,024 رمزاً)، بغض النظر عن عدد الدورات.

2. خوارزمية Multi-Context GRPO

يعد تدريب MemSearcher أمراً صعباً لأن المسار الواحد يمتد عبر عدة دورات، وكل دورة تحدث تحت سياق مختلف (بسبب تغير حالة الذاكرة). إن خوارزمية تحسين السياسة النسبي للمجموعات (GRPO) القياسية تعامل المسار كوحدة واحدة، وهو أمر غير كافٍ عندما تمثل كل دورة هدف تحسين مستقل.

ولمعالجة ذلك، قدم المؤلفون Multi-Context GRPO:

أخذ عينات المسار: لكل استعلام، يتم أخذ مجموعة من المسارات. يتكون كل مسار من عدة دورات تحت سياقات متغيرة.
انتشار الميزة (Advantage Propagation): تُحسب المكافآت على مستوى المسار. ويتم نشر "الميزة" الناتجة بشكل موحد على كل دورة داخل ذلك المسار.
التحسين المستقل: تُعامل كل دورة كهدف تحسين مستقل. ويتم تحديث السياسة من خلال تعظيم الهدف عبر جميع الدورات في جميع المسارات التي تم أخذ عينات منها، مما يسمح بالتدريب عبر التعلم التعزيزي (RL) من البداية إلى النهاية.

3. نمذجة المكافأة

يستخدم التدريب دالة مكافأة تتكون من مكونين:

مكافأة التنسيق: تضمن التزام النموذج بالتنسيق المحدد مسبقاً (الاستخدام الصحيح للوسوم ووجود \boxed{}).
مكافأة الإجابة: مقياس قائم على القواعد يحسب درجة F1 بين الإجابة النهائية داخل \boxed{} والحقيقة الأرضية (ground truth).

المساهمات الرئيسية

إطار عمل MemSearcher: بنية وكيل تستفيد من النموذج اللغوي الأساسي كمدير ذاكرة داخلي للاحتفاظ بذاكرة مدمجة بشكل تكراري، مما يلغي الحاجة إلى إلحاق تاريخ التفاعل بأكمله بالسياق.
Multi-Context GRPO: خوارزمية تدريب تعلم تعزيزي (RL) مبتكرة تمكن التحسين من البداية إلى النهاية لمسارات MemSearcher من خلال نشر ميزات مستوى المسار إلى الدورات الفردية، مما يستوعب السياقات المتغيرة للتفاعلات متعددة الأدوار.
الكفاءة والأداء: تجارب شاملة تثبت أن MemSearcher يحقق أداءً فائقاً مقارنة بالنماذج المرجعية القائمة على ReAct، مع الحفاظ على طول سياق ثابت تقريباً (أقل من 4 آلاف رمز) عبر التفاعلات متعددة الأدوار.

النتالئج التجريبية

قيم المؤلفون MemSearcher على سبعة مجموعات بيانات عامة لاكتساب المعرفة (Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Musique, Bamboogle) باستخدام نماذج Qwen2.5 بأحجام متفاوتة (3B, 7B, 14B).

الأداء: تفوق MemSearcher باستمرار على النماذج المرجعية القوية، بما في ذلك Search-R1 وReSearch وAutoRefine. والجدير بالذكر أن MemSearcher 3B حقق متوسط درجة 43.8، متفوقاً على العديد من النماذج المرجعية ذات 7 مليارات معلمة. كما تفوق MemSearcher 7B (بمتوسط 48.9) على ReSearch 32B.
الكفاءة: بينما أظهرت الوكلاء القائمة على ReAct زيادة خطية في استهلاك الرموز مع دورات التفاعل، حافظ MemSearcher على أعداد رموز أقل واستقراراً أكبر. وهذا يسمح بتفاعلات متعددة الأدوار ضمن نافذة سياق أقصر من 4 آلاف رمز.
ضرورة التدريب: أكدت دراسات الاستئصال (Ablation studies) أن التدريب بالتعلم التعزيزي (RL) أمر بالغ الأهمية. فقد أظهرت النماذج التي استخدمت إطار عمل MemSearcher دون تدريب RL تدهوراً كبيراً في الأداء مقارنة بتلك التي تم تدريبها باستخدام Multi-Context GRPO. علاوة على ذلك، تفوق التدريب بـ RL على الضبط الدقيق الخاضع للإشراف (SFT) عبر التقطير (distillation)، ويرجع ذلك على الأرجب إلى أن SFT يعتمد على تسميات وسيطة مكلفة ونماذج معلمة غير مثالية لهذا الإطار المحدد.

الأهمية والادعاءات

يزعم البحث أن MemSearcher يعالج عقبة التوسع في وكلاء البحث الحاليين من خلال فصل طول السياق عن عدد دورات التفاعل. ومن خلال الحفاظ على ذاكرة مدمجة واستخدام Multi-Context GRPO للتدريب، يتيح الإطار نشر وكلاء بحث فعالين في البيئات محدودة الموارد. ويؤكد المؤلفون أن نهجهم يسمح للنماذج الأصغر (مثل 3B أو 7B) بالتفوق على النماذج الأكبر التي تعتمد على نماذج ReAct التقليدية، مما يشير إلى أن إدارة السياق الفعالة لا تقل أهمية عن حجم النموذج لمهام الاستدلال المعقدة.

يقر المؤلفون بوجود قيود، مشيرين إلى أنه على الرغم من فعالية تصميم الذاكرة الخاص بهم، فإن الآليات الأكثر تطوراً (مثل الذاكرة القائمة على RAG أو الذاكرة المهيكلة) تستحق مزيداً من الاستقصاء للوكلاء القائمين على التعلم التعزيزي. كما يقترحون أنه بينما يعد Multi-Context GRPO امتداداً فعالاً، إلا أن هناك حاجة إلى تقنيات أخرى للتخفيف من تحيزات الطول المحتملة والاستفادة الكاملة من إمكانات تدريب RL.