🤖 AI

ELMUR: External Layer Memory with Update/Rewrite for Long-Horizon RL Problems

تقترح الورقة البحثية ELMUR، وهي بنية محول (transformer) مزودة بذاكرة خارجية مهيكلة تمكن الوكلاء الروبوتيين من التعامل بفعالية مع المهام طويلة الأمد ذات الإدراك الجزئي عبر تمديد الآفاق الفعالة بشكل كبير والتفوق على النماذج المرجعية الحالية في اختبارات المعايير الاصطناعية والواقعية للمناولة.

المؤلفون الأصليون: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Egor Cherepanov, Alexey K. Kovalev, Aleksandr I. Panov

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تعلم روبوتاً كيفية طهي المعكرونة. يقوم بتحريك القدر، ويضيف رشة ملح، ثم... ينسى أنه فعل ذلك. بعد خمس دقائق، يضيف الملح مرة أخرى. ثم مرة أخرى. وسرعان ما يصبح الطبق غير قابل للأكل.

لماذا يحدث هذا؟ لأنه لا يستطيع "تذكر" الملح غير المرئي الذي أضافه للتو. في العالم الحقيقي، غالباً ما تواجه الروبوتات مشكلة "الملاحظة الجزئية" هذه: فهي لا تستطيع رؤية كل ما يحدث، ولا يمكنها التمسك بالدلالات المهمة لفترة طويلة.

تقدم هذه الورقة البحثية ELMUR، وهي طريقة جديدة لمنح الروبوتات (والوكلاء الذكيين) قوة خارقة: ذاكرة مهيكلة طويلة المدى تعمل بالفعل.

إليك شرح مبسط لكيفية عملها، باستخدام بعض التشبيهات من الحياة اليومية.

١. المشكلة: الروبوت ذو "مدى الانتباه القصير"

معظم روبوتات الذكاء الاصطنا_عي الحديثة تشبه الطلاب الذين يدرسون فقط آخر ٥ دقائق من المحاضرة. إذا ذكر المعلم قاعدة حاسمة قبل ١٠ دقائق، فسيكون الروبوت قد نسيها بالفعل.

الذكاء الاصطناعي القياسي: يمتلك "نافذة سياق". يمكنه فقط النظر إلى الثواني القليلة الماضية من الفيديو أو البيانات. إذا كانت المهمة تستغرق ساعات (مثل متاهة طويلة أو وصفة طبخ معقدة)، فسيصطدم الروبوت بحائط مسدود وينسى البداية.
النتيجة: يفشلون في المهام الطويلة لأنهم لا يستطيعون الربط بين "بداية" المهمة و"نهايتها".

٢. الحل: ELMUR (نظام "الدفتر متعدد الطبقات")

يقترح المؤلفون بنية جديدة تسمى ELMUR. تخيل نموذج الـ Transformer القياسي (العقل الكامن وراء معظم أنظمة الذكاء الاصطناعي) كسبورة بيضاء ضخمة واحدة. يغير ELMUR ذلك عبر منح كل طبقة من طبقات العقل دفتر ملاحظات شخصي خاص بها.

إليك كيف يعمل ELMUR، خطوة بخطوة:

أ. المساران: القراءة والكتابة

تخيل خط تجميع في مصنع.

مسار الرموز (العمال): هؤلاء هم الروبوتات التي تعالج ما تراه الآن. هم مشغولون بالنظر إلى إطار الفيديو الحالي.
مسار الذاكرة (الدفاتر): تعمل هذه الدفاتر الخاصة بالتوازي مع العمال. هي لا تتغير كل ثانية؛ بل تحتفظ بالحقائق المهمة.
التفاعل:
- القراءة (mem2tok): يلقي العمال نظرة خاطفة على الدفاتر ليسألوا: "هل أضفنا الملح بالفعل؟"
- الكتابة (tok2mem): إذا رأى العمال شيئاً مهماً (مثل "تم إضافة الملح!")، فإنهم يكتبونه في الدفتر.

ب. أمين المكتبة "الأقل استخداماً مؤخراً" (LRU)

لا يمكنك الكتابة في الدفتر للأبد؛ ففي النهاية تنفد الصفحات. يستخدم ELMUR أميناً ذكياً للمكتبة يسمى LRU لإدارة الصفحات.

التشبيه: تخيل فندقاً لديه عدد محدود من الغرف (فتحات الذاكرة).
- إذا وصل ضيف (معلومة جديدة) وكانت هناك غرفة فارغة، فإنه ينتقل إليها فوراً.
- إذا كان الفندق ممتلئاً، يبحث أمين المكتبة عن الضيف الذي وصل منذ أطول فترة زمنية ولم يتم زيارته منذ ذلك الحين. يُطلب من هذا الضيف المغادرة (أو يتم دمج غرفته مع معلومات الضيف الجديد).
لماذا هذا رائع: يضمن هذا أن يحتفظ الروبوت بأكثر التاريخ حداثة وأهمية بينما يتخلص من البيانات القديمة وغير المفيدة. هذا يمنع الروبوت من الانغماس في الكثير من البيانات.

ج. "الخلط المحدب" (الانتقال السلس)

أحياناً، بدلاً من طرد الضيف القديم فوراً، يقوم أمين المكتبة بخلط معلومات الضيف الجديد مع القديم. هذا ما يسمى الخلط المحدب (Convex Blending). إنه يشبه التلاشي التدريجي لصورة قديمة مع ظهور صورة جديدة، مما يضمن أن الذاكرة لا تختفي فجأة أو تصبح فوضوية.

٣. النتائج: ذاكرة خارقة للبشر

اختبر الباحثون ELMUR في ثلاثة أنواع من التحديات:

١. متاهة T (الممر الطويل): تخيل روبوتاً يمشي في ممر طوله مليون خطوة. في البداية، يرى لافتة تقول "انعطف يساراً". يمشي لمليون خطوة، ثم يجب عليه الانعطاف يساراً.

الروبوتات القديمة: نسيت اللافتة بعد الخطوة رقم ١٠٠.
ELMUR: تذكر اللافتة تماماً وانعطف يساراً عند الخطوة رقم ١,٠٠٠,٠٠٠. نسبة نجاح ١٠٠٪.

٢. POPGym (صندوق الألغاز): مجموعة من ٤٨ لغزاً منطقياً وألعاب تحكم مختلفة حيث يتعين عليك تذكر أدلة من الماضي لحل الحاضر.

ELMUR: فاز أو تعادل في المركز الأول في ٢٤ من أصل ٤٨ مهمة، متفوقاً على جميع نماذج الذكاء الاصطناعي الرائدة الأخرى.

٣. MIKASA-Robo (طباخ الروبوت): مهام روبوتية في العالم الحقيقي حيث يتعين على الروبوت التعامل مع الأشياء بناءً على إشارات بصرية (مثل "التقط المكعب الأحمر، ثم الأزرق").

ELMUR: ضاعف تقريباً معدل النجاح لأفضل الروبوتات السابقة. لقد أكمل بنجاح ٢١ مهمة من أصل ٢٣، بينما عانت الروبوتات الأخرى في عدد قليل منها.

الصورة الكبيرة

فكر في ELMUR كمنح الذكاء الاصطناعي مذكرات منظمة بدلاً من مجرد ذاكرة قصيرة المدى.

هو لا يحاول تذكر كل شيء (وهو أمر مستحيل).
لا ينسى الأشياء المهمة لمجرد مرور الوقت.
ينظم ذاكرته بحيث يمكنه النظر إلى الوراء آلاف الخطوات للعثور على الدليل الذي يحتاجه الآن.

باختصار، يسمح ELMUR للروبوتات بالتوقف عن كونها "مصابة بفقدان الذاكرة" والبدء في كونها مخططين استراتيجيين قادرين على التعامل مع الوظائف المعقدة طويلة المدى في العالم الحقيقي.

إليك ملخص تقني مفصل لورقة البحث بعنوان "ELMUR: ذاكرة الطبقة الخارجية مع التحديث/إعادة الكتابة للمشكلات ذات الأفق الطويل في التعلم المعزز".

1. بيان المشكلة

غالبًا ما تعمل الوكلاء الروبوتية وأنظمة اتخاذ القرار في العالم الحقيقي تحت ظروف الإدراك الجزئي (POMDPs) وقيود الأفق الطويل (Long-Horizon). وتشمل التحديات الرئيسية ما يلي:

الإشارات المتأخرة: قد تظهر معلومة حاسمة (مثل إشارة لونية أو حالة كائن محدد) في وقت مبكر من التسلسل، ولكنها لا تصبح ذات صلة لاتخاذ القرار إلا بعد آلاف الخطوات.
قصور النماذج القياسية:
- الشبكات العصبية المتكررة (RNNs): تعاني من مشكلة تلاشي التدرجات وصعوبة الاحتفاظ بالمعلومات عبر آفاق زمنية طويلة جدًا.
- المحولات (Transformers): رغم قوتها، إلا أن آليات الانتباه الذاتي القياسية محدودة بنوافذ سياق ثابتة. وتؤدي زيادة هذه النوافذ إلى تكاليف حسابية تربيعية ( $O(N^2)$ )، كما يؤدي الاقتطاع الساذج إلى نسيان كارثي للإشارات المبكرة.
- النماذج المعززة بالذاكرة الموجودة: تفتقر العديد من النهج إما إلى تخزين الحالات الخفية بكفاءة أو تفتقر إلى آليات مهيكلة للتحديث والاحتفاظ بالمعلومات بشكل انتقائي، مما يؤدي إلى عدم الاستقرار أو ضعف القابلية للتوسع.

السؤال الجوهري الذي تعالجه الورقة هو: كيف يمكن تزويد سياسات التعلم بالتقليد (IL) بذاكرة طويلة المدى فعالة وقابلة للتوسع لحل مهام الأفق الطويل ذات الإدراك الجزئي؟

2. المنهجية: بنية ELMUR

يقترح المؤلفون ELMUR (ذاكرة الطبقة الخارجية مع التحديث/إعادة الكتابة)، وهي بنية قائمة على المحولات تدمج ذاكرة خارجية مهيكلة مباشرة في كل طبقة من طبقات الشبكة.

المكونات الهيكلية الرئيسية

الذاكرة الخارجية المحلية للطبقة:
- على عكس فتحات الذاكرة العالمية المشتركة عبر الشبكة، تحافظ كل طبقة محول على مجموعة خاصة بها من تضمينات الذاكرة $M$ ( $m \in \mathbb{R}^{M \times d}$ ).
- يسمح هذا للطبقات المختلفة بتخزين واسترجاع المعلومات بمستويات مختلفة من التجريد.
التفاعل ثنائي الاتجاه بين الرموز والذاكرة (Token-Memory Interaction):
- القراءة (mem2tok): تقوم تمثيلات الرموز (Tokens) بالاستعلام عن الذاكرة الخارجية عبر الانتباه المتقاطع (Cross-attention). يتيح ذلك للنموذج استرجاع المعلومات الماضية ذات الصلة المخزنة في الذاكرة لتوجيه معالجة الرمز الحالي.
- الكتابة (tok2mem): تقوم الحالات الخفية للرموز بتحديث تضمينات الذاكرة عبر الانتباه المتقاطع. يضمن هذا كتابة المعلومات البارزة من الملاحظة الحالية في مسار الذاكرة المستمر.
- الانحياز النسبي (Relative Bias): للتعامل مع المسافات الزمنية عبر المقاطع، يستخدم النموذج انحيازات نسبية متعلمة بناءً على الفرق بين الخطوة الزمنية للرمز الحالي و"مرساة" (Anchor) فتحة الذاكرة (آخر وقت تحديث). هذا يستبدل الترميز الموضعي المطلق، مما يتيح تفاعلًا متسقًا مع الذاكرة عبر آفاق زمنية طويلة بشكل تعسفي.
آلية التحديث باستخدام "الأقل استخدامًا مؤخرًا" (LRU):
- لمنع تجاوز سعة الذاكرة وإدارة المقايضة بين الاستقرار والمرونة، يستخدم ELMUR سياسة LRU مع الخلط المحدب (Convex Blending).
- التهيئة: يتم تهيئة فتحات الذاكرة بمتجهات عشوائية.
- الملء: يتم ملء الفتحات الفارغة عبر الاستبدال الكامل.
- التحديث: بمجرد امتلاء الفتحات، يتم اختيار الفتحة الأقل استخدامًا مؤخرًا لتحديثها. وبدلاً من استبدالها بالكامل، يتم خلط المحتوى الجديد مع المحتوى القديم:
  $m_{new} = \lambda \cdot \text{content}_{new} + (1 - \lambda) \cdot \text{content}_{old}$
- المعامل $\lambda$ : يتحكم في التوازن؛ حيث يفضل $\lambda$ الصغير الاحتفاظ طويل المدى (الاستقرار)، بينما يفضل $\lambda$ الكبير التكيف السريع (المرونة).
التكرار على مستوى المقطع (Segment-Level Recurrence):
- يتم تقسيم المسارات إلى مقاطع بطول $L$ . يعالج النموذج المقاطع بالتتابع، حيث يمرر حالة الذاكرة المحدثة من مقطع إلى الذي يليه. يسمح هذا للنموذج بالتعامل مع تسلسلات طولها $T \gg L$ دون زيادة حجم نافذة الانتباه، مما يحافظ على التعقيد الحسابي خطيًا بالنسبة لطول التسلسل.
تحسينات الكفاءة:
- تستخدم شبكات التغذية الأمامية (FFN) في كل من مساري الرموز والذاكرة تقنية خليط الخبراء (MoE) (تحديدًا أسلوب DeepSeek-MoE)، مما يزيد من قدرة النموذج وتخصصه دون زيادة تناسبية في الحوسبة.

3. التحليل النظري

تقدم الورقة ضمانات رسمية فيما يتعلق بديناميكيات الذاكرة:

النسيان الأسي: اشتق المؤلفون أن مساهمة محتوى الذاكرة الأولي تتلاشى أسيًا مع عدد عمليات إعادة الكتابة، ويحكمها $(1-\lambda)^k$ .
عمر النصف: حددوا "عمر نصف" للاحتفاظ بالذاكرة، حيث أظهروا أن الأفق الفعال يتناسب خطيًا مع عدد فتحات الذاكرة ( $M$ ) وطول المقطع ( $L$ ).
الحدود (Boundedness): أثبتوا أنه تحت افتراضات المدخلات المحدودة، يظل معيار (norm) تضمينات الذاكرة محدودًا بشكل موحد طوال التدريب والاستدلال، مما يضمن الاستقرار حتى عبر آفاق زمنية لانهائية.

4. المساهمات الرئيسية

البنية: تقديم ELMUR، وهو نوع جديد من المحولات يتميز بذاكرة خارجية محلية للطبقة، وانتباه متقاطع ثنائي الاتجاه، وخلط محدب قائم على LRU.
القابلية للتوسع: إثبات القدرة على تمديد آفاق الذاكرة الفعالة لتصل إلى 100,000 ضعف نافذة الانتباه الأصلية.
الضمانات النظرية: تحليل رسمي لمعدلات النسيان، وآفاق الاحتفاظ، وحدود التنشيط.
التحقق التجريبي: تقييم شامل عبر مجالات اصطناعية، وألغاز، وتحكم، وتلاعب روبوتي.

5. النتائج التجريبية

تم تقييم ELMUR في ثلاث اختبارات رئيسية:

أ. متاهة T-Maze (أفق طويل اصطناعي)

المهمة: تذكر إشارة في بداية ممر لاختيار الفرع الصحيح في النهاية.
النتيجة: حقق نسبة نجاح 100% في ممرات تصل إلى 1,000,000 خطوة (تم التدريب بسياق $L=10$ ).
الأهمية: تفوق على جميع النماذج المرجعية (بما في ذلك RATE وDecision Transformer وRMT)، مما أظهر احتفاظًا مثاليًا عبر آفاق زمنية تبلغ 100,000 ضعف نافذة السياق.

ب. MIKASA-Robo (التلاعب الروبوتي)

المهمة: مهام التلاعب ذات المكافأة المتفرقة مع ملاحظات بصرية (RGB)، بما في ذلك استدعاء الألوان والتراجع المتأخر.
النتيجة:
- حقق أفضل معدل نجاح في 21 مهمة من أصل 23.
- حسن معدل النجاح الإجمالي عبر المجموعة بنسبة ~70% مقارنة بأفضل نموذج مرجعي سابق (RATE).
- تحديدًا، في مهمة TakeItBack-v0، حقق ELUR نسبة نجاح 0.78 مقابل 0.42 للنموذج التالي الأفضل.

ج. POPGym (الألغاز والتحكم)

المهمة: 48 بيئة متنوعة (ألغاز، تحكم، ألعاب ذاكرة).
النتيجة:
- حقق أعلى درجة في 24 من أصل 48 مهمة.
- حصل على أعلى درجة إجمالية (10.4) عبر جميع المهام، متفوقًا بشكل كبير على نماذج Decision Transformers ونماذج BC، خاصة في الألغاز التي تعتمد على الذاكرة.

د. الكفاءة

على الرغم من امتلاكه بارامترات أكثر قليلاً (2.1 مليون) من بعض النماذج المرجعية، إلا أن ELMUR يعمل بسرعة أكبر لكل خطوة (6.8 مللي ثانية) من RATE (7.2 مللي ثانية) وDT (10.7 مللي ثانية) بسبب نافذة الانتباه القصيرة وكفاءة MoE.

6. الأهمية والخاتمة

يمثل ELMUR تقدمًا كبيرًا في التعلم المعزز ذي الأفق الطويل والتعلم بالتقليد.

حل مشكلة الإدراك الجزئي: يوفر حلاً قويًا للوكلاء الذين يجب أن يتذكروا الأحداث من الماضي البعيد لاتخاذ قرارات صحيحة، وهي قدرة حاسمة للروبوتات في العالم الحقيقي.
القابلية للتوسع: من خلال فصل سعة الذاكرة عن حجم نافذة السياق، يقدم مسارًا قابلًا للتوسع للتعامل مع المهام ذات التبعيات الطويلة جدًا دون التكلفة التربيعية للانتباه الكامل.
البساطة: تعتبر البنية بديلاً "جاهز للاستخدام" (drop-in replacement) لطبقات المحول القياسية، مما يجعل من السهل دمجها في نماذج الرؤية واللغة والعمل (VLA) الحالية.
التعميم: أظهر النموذج تعميمًا قويًا عبر الألغاز الاصطناعية، والتحكم المستمر، والتلاعب الروبوتي المعقد، مما يشير إلى أن الذاكرة الخارجية المهيكلة هي مطلب أساسي للذكاء القوي في بيئات الإدراك الجزئي.

تخلص الورقة إلى أن الذاكرة الخارجية المهيكلة والمحلية للطبقة توفر نهجًا بسيطًا وقابلًا للتوسع وله أسس نظرية لاتخاذ القرار تحت ظروف الإدراك الجزئي، مما يسد الفجوة بفعالية بين الانتباه قصير المدى ومتطلبات الذاكرة طويلة المدى.