← أحدث الأبحاث
💻 علوم الحاسوب

MemHRL: Aligning Hierarchical Memory and Policy Learning for Long-Horizon LLM Agents

يقترح إطار عمل MemHRL هيكلية لمحاذاة الذاكرة والسياسة للمهام طويلة الأمد لوكلاء النماذج اللغوية الكبيرة باستخدام الاسترجاع المدرك للمستوى والدمج المدرك للفشل، غير أن التقييمات على مجموعات فرعية مقيدة من ScienceWorld وWebShop تكشف عن مكاسب أداء محدودة وتسلط الضوء على تحديات آليات السياسة والذاكرة المدمجة في ظل المقترحات المقيدة.

المؤلفون الأصليون: Xin Yin, Chenyi Huang, Ruiqi Liu, Yue Ning

نُشر 2026-10-21
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Xin Yin, Chenyi Huang, Ruiqi Liu, Yue Ning

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم الذكاء الاصطناي، هناك تحدٍ مستمر يُعرف باسم مشكلة "الأفق الطويل". تخيل أنك تطلب من حاسوب إكمال مهمة معقدة متعددة الخطوات، مثل التنقل في منزل افتراضي للعثور على مكون معين، أو تصفح متجر إلكتروني ضخم لشراء هدية تلبي اثني عشر معيارًا محددًا. لكي ينجح، يجب على النظام ألا يكتفي فقط بتقرير ما سيفعله بعد ذلك، بل يجب عليه أيضًا أن يتذكر ما تعلمه من المحاولات السابقة. يحتاج النظام إلى التمييز بين تفصيل عابر، مثل لون باب، وبين درس جوهري، مثل حقيقة أن مسارًا معينًا يؤدي إلى طريق مسدود. غالبًا ما تعاني الأنظمة الحالية من هذا التوازن؛ فهي إما تنسى الدروس المهمة بعد بضع خطوات أو تغرق في الكثير من المعلومات، مما يؤدي إلى تكرار الأخطاء أو فقدان الطريق. والسؤال الذي يطرحه الباحثون هو ما إذا كان منح هؤلاء الوكلاء الرقميين طريقة منظمة لتنظيم ذاكرتهم — عبر الفصل بين الاستراتيجيات الواسعة والأفعال المحددة — يمكن أن يساعدهم في حل هذه الألغاز الطويلة والصعبة.

لقد وضع فريق من الباحثين خطة لاختبار فكرة محددة: ماذا لو استطاع الوكيل مطابقة ذاكرته صراحةً مع مستوى القرار الذي يتخذه؟ قاموا ببناء نظام يسمى MemHRL، وهو اختصار لـ "التعلم التعزيزي الهرمي للذاكرة" (Memory Hierarchical Reinforcement Learning). المفهوم الجوهري بسيط ودقيق في آن واحد؛ إذ يعمل النظام على مستويين. في المستوى العالي، يخطط الوكيل لمراحل واسعة من المهمة، مثل "البحث عن الشيء" أو "تجهيز المادة". أما في المستوى المنخفض، فيقوم بتنفيذ الحركات المحددة المطلوبة لإتمام تلك المرحلة، مثل "فتح الدرج" أو "النقر على الزر". افترض الباحثون أنه إذا تمكن الوكيل من تخزين ملخصات مراحل المستوى العالي الفاشلة في مكان ما، وسجلات مفصلة لأفعال المستوى المنخفض في مكان آخر، فإنه سيتمكن من استرجاع نوع المعلومات المناسب في الوقت المناسب. ولاختبار ذلك، استخدموا نموذج لغة مجمدًا — وهو "عقل" مُدرب مسبقًا لا يتعلم حقائق جديدة أثناء التجربة — وألحقوا به "مُنتقيين" صغيرين قابلين للتدريب. يعمل هذان المنتقيان كحراس بوابة، يقرران أي التجارب الماضية يتم سحبها من مكتبة مشتركة بناءً على ما إذا كان الوكيل يقوم حاليًا بالتخطيط لمرحلة كبيرة أو تنفيذ حركة صغيرة.

اختبر الباحثون هذا النظام في بيئتين مختلفتين: محاكاة علمية حيث يجب على الوكيل إجراء تجارب مثل غلي الماء أو تجميد الأشياء، ومهمة تسوق افتراضية حيث يجب على الوكيل العثور على عناصر محددة وشرائها من كتالوج يحتوي على ما يقرب من 50,000 منتج. أجروا التجارب على 100 مهمة مختلفة في كل بيئة، مع منح الوكيل عددًا محدودًا من المحاولات للنجاح. وكانت النتال مثيرة للاهتمام. ففي المحاكاة العلمية، فشل الوكيل المزود بنظام الذاكرة الجديد في إكمال مهمة واحدة من أصل 100، ولم يكن أداؤه أفضل من نظام لا يمتلك أي محاذاة للذاكرة على الإطلاق. وفي مهمة التسوق، تمكن الوكيل من إكمال 12% من المهام. ورغم أن هذا يبدو نجاحًا، إلا أنه كان أسوأ قليلاً من نظام أبسط استخدم هيكلًا هرميًا ولكن افتقر إلى محاذاة الذاكرة المعقدة، والذي نجح في 13% من الحالات.

تعمق البحث لفهم سبب عدم تقديم نظام الذاكرة الدفعة المتوقعة. وجد الباحثون أن النظام كان يسترجع مزيجًا من المعلومات المفيدة وغير المفيدة. فرغم أن النظام صُمم لجلب ذكريات تتوافق مع مستوى اتخاذ القرار الحالي، إلا أن ما يقرب من 76% من السجلات المسترجعة لم تكن ذات قيمة إيجابية للمهمة القائمة. في بعض الأحيان، كان النظام يسحب ذاكرة عن منتج مختلف أو محاولة فاشلة لا علاقة لها بالموقف الحالي. يشير هذا إلى أن مجرد تنظيم الذاكرة في مستويات مختلفة ليس كافيًا؛ بل يحتاج النظام أيضًا إلى وسيلة للحكم على ما إذا كانت الذاكرة المحددة ذات صلة بالمشكلة الحالية أم لا. وفي الواقع، عندما أزال الباحثون الذاكرة طويلة المدى تمامًا من مهمة التسوق، تحسن معدل نجاح الوكيل في الواقع، ليرتفع إلى 15.7%. تشير هذه النتيجة المناقضة للمنطق إلى أن نظام الذاكرة، بتصميمه الحالي، قد يسبب أحيانًا ضجيجًا يربك الوكيل بدلاً من مساعدته.

خلص الباحثون إلى أنه بينما تبدو فكرة مواءمة الذاكرة مع مستويات اتخاذ القرار واعدة، فإن التنفيذ الحالي له حدود. يعمل النظام بشكل أفضل عندما تتضمن المهام تكرار نفس الإجراءات مرارًا وتكرارًا، مما يسمح للوكيل بالتعلم من الملخصات الماضية. ومع ذلك، عندما تتطلب المهام التكيف مع تفاصيل جديدة وفريدة — مثل العثور على عنصر محدد بسعر أو سمة فريدة — يصبح هيكل الذاكرة الجامد عائقًا. لم تجد الدراسة حلاً عالميًا للتخطيط طويل الأمد، بل قدمت خارطة طريق واضحة لمواضع نجاح هذا النهج وإخفاقه، موضحة أن إضافة الذاكرة لا تجعل الوكيل أكثر ذكاءً تلقائيًا. وتشير البيانات إلى أنه لكي تتحسن هذه الأنظمة، يجب أن تركز التصميمات المستقبلية على تصفية الذكريات غير ذات الصلة وضمان أن الوكيل يستخدم تجاربه الماضية فقط عندما تتناسب حقًا مع الموقف الحالي. ويقف هذا العمل كتجربة دقيقة ومنضبطة توضح حدود ما يمكن أن تفعله الذاكرة المهيكلة بالذكاء الاصطناعي اليوم.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 💻 cs →