🤖 machine learning

Endpoint Replay: Compressing the Recency Buffer in Deep Reinforcement Learning

تقدم هذه الورقة "إعادة تشغيل النقاط الطرفية" (Endpoint Replay)، وهي طريقة تضغط ذاكرة إعادة تشغيل الخبرة عبر تخزين انتقالات ممثلة من نهايات المتواليات المتصلة ذات الخطوات-n، محققة أداءً مماثلاً للذاكرات الكبيرة التقليدية مع تقليل متطلبات التخزين بمقدار عشرة أضعاف.

المؤلفون الأصليون: Parham Mohammad Panahi, Armin Ashrafi, Haoyu Du, Andrew Patterson, Martha White, Adam White

نُشر 2026-07-29

📖 6 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Parham Mohammad Panahi, Armin Ashrafi, Haoyu Du, Andrew Patterson, Martha White, Adam White

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل روبوتًا يتعلم لعب لعبة فيديو. لكي يصبح جيدًا، يحتاج إلى التدرب، لكن لا يمكنه الاعتماد فقط على ما حدث في الثواني القليلة الماضية؛ بل يحتاج إلى تذكر الدروس من ساعات مضت. في عالم الذكاء الاصطناء، يُسمى مخزن الذاكرة هذا "مخزن إعادة تشغيل الخبرات" (experience replay buffer). فكر في الأمر كدفتر ملاحظات لطالب يدوّن فيه كل حركة قام بها، والنتيجة التي حصل عليها، وماذا حدث بعد ذلك. تستخدم معظم روبوتات الذكاء الاصطناعي الحديثة دفتر ملاحظات ضخمًا — غالبًا ما يحتوي على مليون إدخال — لضمان عدم نسيان الأشياء المهمة. إنهم يتصفحون هذا الدفتر عشوائيًا للتعلم من أخطائهم وانتصاراتهم الماضية. ولكن هنا تكمن المشكلة: تخزين مليون إدخال يستغرق الكثير من ذاكرة الكمبيوتر والطاقة. وقد تساءل العلماء سؤالًا بسيطًا: هل يمكننا تقليص حجم هذا الدفتر إلى حجم صغير جدًا دون أن ينسى الروبوت كيفية اللعب؟

الورقة البحثية التي ستطالعها الآن تعالج هذه المشكلة تحديدًا. فهي تقدم طريقة ذكية لضغط هذه الذاكرة، وتثبت أن الذكاء الاصطناعي يمكنه التعلم بنفس الكفاءة باستخدام دفتر ملاحظات أصغر بـ 10 إلى 50 مرة من الدفاتر القياسية. اكتشف الباحثون أنه إذا قمت ببساطة باختيار بعض الصفحات "المهمة" عشوائيًا من دفتر ملاحظات ضخم للاحتفاظ بها، فإن الروبوت سيصاب بالارتباك لأن الصفحات لن تكون متصلة ببعضها البعض. ما هو حلهم؟ بدلًا من الاحتفاظ بصفحات معزولة، يحتفظون بـ "سلاسل" من الأحداث التي تربط الأشياء ببعضها، مما يضمن أن كل درس يؤدي منطقيًا إلى الدرس التالي. ومن خلال استخدام خدعة رياضية خاصة للتعامل مع الفجوات الزمنية، تمكنوا من ضغط ذاكرة ضخمة في مساحة صغيرة جدًا، مما سمح للروبوت بالتعلم بشكل أسرع وأقل تكلفة دون فقدان مهاراته.

المشكلة: دفتر ملاحظات مليء بالصفحات المنفصلة

لسنوات، كانت الوصفة القياسية لتعليم وكلاء الذكاء الاصطناعي (مثل تلك التي تلعب ألعاب أتاري) هي الاحتفاظ بمخزن ضخم من نوع "الداخل أولاً يخرج أولاً" (FIFO). تخيل حزامًا ناقلًا حيث تنزلق الخبرات الجديدة من الأمام، وتسقط القديمة من الخلف. عادة ما يكون طول الحزام مليون خطوة. يقوم الذكاء الاصطناعي بأخذ عينات من صفحات عشوائية من هذا الحزام للتعلم. إنه يعمل، لكنه ضخم ومستهلك.

حاول الباحثون تقليص هذا الحزام من قبل. حاول البعض الاحتفاظ فقط بالصفحات "الأكثر أهمية"، وهي تقنية تسمى النواة الجوهرية (coreset). الفكرة هي اختيار أفضل الخبرات الأكثر تمثيلًا ورمي الباقي. ومع ذلك، وجد مؤلفو هذه الورقة خللًا خفيًا في هذا النهج.

عندما تختار صفحات عشوائية ومنفصلة من تاريخ طويل، فغالبًا ما ينتهي بك الأمر بصفحة تقول: "لقفتُ هذا الإجراء، ثم هبطتُ في هذه الحالة". ولكن إذا رميت جميع الصفحات التي بينهما، فلن يتعلم الذكاء الاصطناعي فعليًا ما يحدث داخل حالة الهبوط تلك. الأمر يشبه قراءة كتاب مصور حيث تحتفظ فقط باللوحة الأولى والأخيرة من المشهد. ترى البطل يقفز، ثم تراه يهبط، لكن ليس لديك أدنى فكرة كيف وصل إلى هناك أو كيف كان الشعور أثناء الهبوط. بالمعنى التقني للذكاء الاصطناعي، تصبح "الهدف الاستقرائي" (القيمة التي يحاول الذكاء الاصطناعي التنبؤ بها للخطوة التالية) غير مستندة إلى مرجع (unanchored). يبدأ الذكاء الاصطناعي في تخمين قيمة حالة لم يقم بتحديثها أو رؤيتها فعليًا في ذاكرته الصغيرة الحالية. يؤدي هذا إلى تخمينات سيئة وأداء ضعيف.

الحل: إعادة تشغيل النقاط النهائية (Endpoint Replay)

يقترح المؤلفون طريقة جديدة تسمى إعادة تشغيل النقاط النهائية (Endpoint Replay). بدلًا من الاحتفاظ بصفحات معزولة، يحتفظون بـ سلاسل.

تخيل أنك تقوم بضغط فيلم طويل وتحويله إلى مقطع لأبرز اللقطات. بدلًا من اختيار إطارات عشوائية، تختار إطار البداية، ثم تقفز 10 إطارات للأمام، ثم تسجل تسلسل المكافآت الكامل الذي حدث في هذه الأثناء كـ "ملخص" واحد. أنت تحتفظ بنقطة البداية ونقطة النهاية، ولكنك تربطهما معًا بإجمالي النقاط التي تم الحصول عليها خلال تلك القفزة.

إليك كيف يعمل ذلك في نظامهم:

مخزنان: يحتفظ الذكاء الاصطناعي بمخزن "حداثة" صغير (آخر 10,000 خطوة) للتعلم الفوري، تمامًا مثل دفتر الملاحظات القياسي.
مخزن التأخر (Lag Buffer): عندما تسقط البيانات القديمة من مخزن الحداثة، لا يتم حذفها ببساطة. بل تذهب إلى "مخزن تأخر" صغير يحتوي على حوالي 10 خطوات.
السلسلة: بمجرد امتلاء مخزن التأخر (أو انتهاء الحلقة)، يحسب الذكاء الاصطناعي إجمالي المكافأة لتلك الخطوات العشر، ويقوم بإنشاء "انتقال n-خطوة" واحد. يخزن نقطة البداية، ونقطة النهاية، وإجمالي المكافأة التي تم الحصول عليها في المنتصف.
النواة الجوهرية (Coreset): تُخزن هذه الملخصات "المتسلسلة" في مخزن ثانٍ أكبر قليلاً يسمى النواة الجوهرية.

السحر يكمكم في أن كل حالة نهاية في النواة الجوهرية هي أيضًا حالة بداية لسلسلة أخرى. هذا يعني أن الذكاء الاصطناዊ لن يضطر أبدًا لتخمين قيمة حالة لم يرها؛ فكل "هبوط" مستند إلى "إقلاع" موجود أيضًا في الذاكرة. وهكذا يتم الحفاظ على الروابط، حتى مع اختفاء الخطوات الوسطى.

إصلاح تحيز "الأخبار القديمة"

كان هناك عقبة أخرى. نظرًا لأن هذه السلاسل مبنية من بيانات جمعها نسخة أقدم من الذكاء الاصطناعي (بما أن العميل يتحسن باستمرار)، فقد تبدو المكافآت في السلسلة "متشائمة" أو منخفضة جدًا مقارنة بما يمكن للذكاء الاصطناعي الحالي الأكثر ذكاءً تحقيقه.

لإصلاح ذلك، استخدم المؤلفون أداة رياضية تسمى إكسبيكتيل سارسا (Expectile Sarsa).

التعلم القياسي يحاول إيجاد المكافأة المتوسطة.
تعلم الإكسبيكتيل (Expectile) يشبه "فلتر التشاؤم". فهو يركز على المكافآت التي هي أفضل من المتوسط، مما يخبر الذكاء الاصطناعي فعليًا: "لا تكتفِ بالمتوسط؛ بل استهدف الدرجات العالية".

باستخدام هذا النوع المحدد من الرياضيات، يمكن للذكاء الاصطناعي النظر إلى تلك السلاسل القديمة المكونة من 10 خطوات والاستمرار في تعلم القيم الصحيحة دون أن يتم سحبه للأسفل بواسطة أخطاء ذاته السابقة.

ماذا وجدوا؟

اختبر الباحثون هذه الفكرة في عالمين مختلفين تمامًا:

بينبول (Pinball): لعبة تعتمد على الفيزياء حيث ترتد الكرة حول طاولة.
أتاري 2600 (Atari 2600): مجموعة كلاسيكية من 12 لعبة فيديو (مثل Breakout وSpace Invaders وPong).

قارنوا طريقة إعادة تشغيل النقاط النهائية الخاصة بهم مقابل:

مخزن ضخم قياسي (مليون خطوة).
مخزن صغير (100 ألف خطوة) بدون سلاسل.
مخزن صغير يستخدم أخذ عينات عشوائية "غير مستندة إلى مرجع" (الطريقة القديمة).
طرق ضغط أخرى مثل MeDQN.

النتائج:

ضغط هائل: عملت طريقة "إعادة تشغيل النقاط النهائية" بكفاءة تماثل مخزن الـ مليون خطوة الضخم، حتى عند استخدام مساحة تخزين أقل بـ 10 إلى 50 مرة.
التفوق على الأساسيات: في حالات الـ 10 أضعاف والـ 50 ضعفًا الأصغر، تفوقت طريقة "إعادة تشغيل النقاط النهائية" بشكل كبير على المخازن الصغيرة التي استخدمت أخذ العينات العشوائية أو تحديثات الخطوة الواحدة القياسية.
إثبات "الاستناد المرجعي": عندما أزالوا "التسلسل" (مما جعل الحالات غير مستندة إلى مرجع مرة أخرى)، انهار الأداء. أثبت هذا أن مشكلة "الاستدلال غير المستند إلى مرجع" كانت حقيقية وأن حل التسلسل الخاص بهم كان هو المفتاح.
الرياضيات مهمة: عندما أزالوا رياضيات "الإكسبيكتيل" الخاصة واستخدموا المتوسطات القياسية، انخفض الأداء قليلاً، مما أظهر أن التعامل مع تحيز "الأخبار القديمة" كان أمرًا بالغ الأهمية أيضًا.

الخلاصة

لا تقترح هذه الورقة البحثية فقط أن المخازن الأصغر قد تنجح؛ بل تثبت أنه مع الهيكل الصحيح، فإنها تنجح بالفعل. أثبت المؤلفون رياضيًا أن طريقتهم سليمة، وأظهروا من خلال المحاكاة أنها تضاهي أداء مخازن الذاكرة الضخمة مع استخدام جزء ضئيل من المساحة.

لم يكتفوا بتقليص حجم دفاتر الملاحظات فحسب؛ بل أعادوا كتابة الطريقة التي ترتبط بها الصفحات. من خلال الاحتفاظ بـ "النقاط النهائية" لسلاسل طويلة وربطها معًا، حلوا مشكلة ضياع الذكاء الاصطناعي في ذاكرته الخاصة. وهذا يعني أن وكلاء الذكاء الاصطناعي المستقبليين يمكنهم تعلم مهام معقدة على أجهزة بذاكرة أقل بكثير، مما يجعل الذكاء الاصطناعي القوي أكثر سهولة في الوصول وأكثر كفاءة.

ملخص تقني: إعادة تشغيل النقاط الطرفية (Endpoint Replay): ضغط ذاكرة الحداثة في التعلم التعزيزي العميق

بيان المشكلة

تعتمد خوارزميات التعلم التعزيزي العميق (DRL)، ولا سيما الأساليب غير المتصلة بالسياسة (off-policy) مثل DQN وSAC وDreamerV3، بشكل كبير على مخازن إعادة التشغيل الضخمة (experience replay buffers) (عادةً ما تكون مليون انتقال) لفك الارتباط بين العينات، والاحتفاظ بالبيانات من أجل الاستكشاف الصعب، ونشر المكافآت المتفرقة. وبينما تعد هذه المخازن فعالة، إلا أنها تسبب تكاليف تخزين كبيرة وأعباء حسابية إضافية.

ركزت المحاولات السابقة لتقليل حجم الذاكرة على:

التعلم التعزيزي المستمر (Continual RL): ضغط المخازن لتتبع المهام غير المستقرة، مما يؤدي غالباً إلى التضحية بالاحتفاظ طويل الأمد.
الأساليب التدفقية/التوليدية (Streaming/Generative Methods): إلغاء المخازن تماماً أو استخدام نماذج توليدية، والتي يمكن أن تؤدي إلى انحياز محاكاة أو عدم استقرار.
بناء النواة الجوهرية (Coreset Construction): اختيار الانتقالات الممثلة (مثل أخذ عينات الخزان) لتلخيص ذاكرة كبيرة.

المشكلة المركزية التي يعالجها هذا البحث هي ما إذا كان يمكن ضغط ذاكرة حداثة كبيرة بمقدار رتبة مقدار (10 إلى 50 ضعفاً) مع الحفاظ على فوائد الذاكرة الكبيرة الأصلية. يحدد المؤلفون نمط فشل حرجاً، لم يتم التعرف عليه سابقاً في أساليب النواة الجوهرية الموجودة: أهداف التقدير غير المثبتة (unanchored bootstrap targets). عندما تتكون النواة الجوهرية من انتقالات معزولة وغير متصلة، فإن أهداف التقدير (أزواج الحالة-الفعل التالية) غالباً لا توجد داخل النواة الجوهرية نفسها. وبناءً على ذلك، فإن تقديرات القيمة لهذه الأهداف لا يتم تحديثها أبداً بواسطة الانتقالات الموجودة في الذاكرة، مما يؤدي إلى أهداف غير دقيقة وغير مثبتة تفسد دالة القيمة.

المنهجية: إعادة تشغيل النقاط الطرفية (Endpoint Replay)

يقترح المؤلفون إعادة تشغيل النقاط الطرفية (Endpoint Replay)، وهي طريقة تضغط الخبرة عبر الحفاظ على ذاكرة حداثة صغيرة وذاكرة نواة جوهرية مكونة من انتقالات " $n$ -خطوة" متسلسلة (chained).

1. الانتقالات المتسلسلة لـ $n$ -خطوة (التثبيت - Anchoring)

بدلاً من تخزين انتقالات معزولة $(s_t, a_t, r_{t+1}, s_{t+1}, a_{t+1})$ ، تقوم "إعادة تشغيل النقاط الطرفية" ببناء نواة جوهرية من انتقالات "قفزية". ومع تقادم البيانات من ذاكرة الحداثة الصغيرة ( $D_r$ )، يتم تجميعها في تسلسلات مكونة من $n$ -خطوة.

الآلية: يقوم "مخزن التأخير" (lag buffer) بتجميع $n$ من الانتقالات من ذاكرة الحداثة. وبمجرد امتلائه (أو عند الانتهاء)، يحسب العائد لـ $n$ -خطوة $G_{t,n} = \sum_{i=0}^{n-1} \gamma^i r_{t+i+1}$ ويخزن انتقالاً واحداً: $(s_t, a_t, G_{t,n}, \gamma^n, s_{t+n}, a_{t+n})$ .
التثبيت (Anchoring): من الضروري أن تعمل النقطة الطرفية $(s_{t+n}, a_{t+n})$ لانتقال ما كنقطة بداية للانتقال التالي في النواة الجوهرية. هذا يضمن أن كل هدف تقدير "مثبت" — أي أنه موجود كحالة بداية في انتقال آخر داخل النواوة الجوهرية، وبالتالي يتم تحديثه أثناء التدريب. وهذا يلغي مشكلة الأهداف غير المثبتة التي تعاني منها أساليب النواة الجوهرية الساذجة.

2. تحديث Sarsa بالمتوقع (Expectile Sarsa Update)

تؤدي أهداف $n$ -خطوة إلى تحدٍ جديد وهو: الانحياز التشاؤمي (pessimistic bias). في الإعدادات غير المتصلة بالسياسة، يتم حساب عوائد $n$ -خطوة من مسارات ناتجة عن سياسات قديمة، وربما غير مثالية. إن تحديثات $n$ -خطوة القياسية باستخدام القيمة القصوى للفعل ( $\max_a Q$ ) قد تكون متفائلة للغاية أو منحازة، بينما يمكن لتحديثات Sarsa القياسية (باستخدام الفعل الفعلي المتخذ $a_{t+n}$ ) أن تكون متشائمة إذا كانت السياسة القديمة غير مثالية.

للتخفيف من ذلك، يقدم المؤلفون $n$ -step Expectile Sarsa:

دالة الخسارة: يستبدلون خسارة الخطأ التربيعي القياسية بـ خسارة المتوقع (expectile loss) مع معامل $\tau \in (0, 1)$ .
الآلية: توازن خسارة المتوقع $u$ بين الانحرافات الهابطة المتوقعة (الموزونة بـ $1-\tau$ ) والانحرافات الصاعدة (الموزونة بـ $\tau$ ). ومن خلال ضبط $\tau > 0.5$ (على سبيل المثال $\tau=0.7$ )، يركز التحديث على العوائد الأعلى، مما يؤدي فعلياً إلى تعظيم تسلسل الأفعال المتخذة في مجموعة البيانات دون الاستعلام عن أفعال خارج نطاق التوزيع.
Sarsa مقابل Q-Learning: يستخدم التحديث الفعل المتخذ فعلياً عند النقطة الطرفية ( $a_{t+n}$ ) بدلاً من $\max_a Q(s_{t+n}, a)$ ، مما يضمن أن الفعل أيضاً "مثبت" ضمن توزيع مجموعة البيانات.

3. بنية الخوارزمية

يستخدم النظام بنية ذاكرتين:

ذاكرة الحداثة ( $D_r$ ): تخزن أحدث $j$ من الانتقالات (على سبيل المثال 10 آلاف). يتم تحديثها باستخدام تحديثات Double DQN (DDQN) القياسية.
ذاكرة النواة الجوهرية ( $D_c$ ): تخزن انتقالات $n$ -خطوة المضغوطة. يتم تحديثها باستخدام خسارة $n$ -step Expectile Sarsa.
أخذ العينات: يتم أخذ عينات من الدفعات الصغيرة (mini-batches) بنسبة عالية من ذاكرة الحداثة (على سبيل المثال نسبة 7:1 من $D_r$ إلى $D_c$ ) لإعطاء الأولوية للتعلم من البيانات الحديثة مع استخدام النواة الجوهرية للتنظيم ونشر القيمة.

المساهمات الرئيسية

خوارزمية إعادة تشغيل النقاط الطرفية (Endpoint Replay Algorithm): طريقة لضغط الخبرة تجمع بين ذاكرة حداثة صغيرة ونواة جوهرية من انتقالات $n$ -خطوة متسلسلة، يتم تحديثها عبر Expectile Sarsa. تحقق أداءً يضاهي الذاكرات الكبيرة مع توفير في التخزين يتراوح بين 10 إلى 50 ضعفاً.
تحديد الأهداف غير المثبتة: يحدد البحث رسمياً ويثبت أن انتقالات النواة الجوهرية المعزولة تؤدي إلى أهداف تقدير غير مثبتة، مما يسبب فساداً في دالة القيمة. ويثبت أن ربط (chaining) انتقالات $n$ -خطوة يحل هذه المشكلة عبر ضمان تثبيت جميع حالات التقدير.
التحليل النظري لـ $n$ -step Expectile Sarsa:
- صياغة قيم الفعل لـ $n$ -خطوة المتوقعة وإثبات أن مؤثر بيل مان (Bellman operator) المرتبط بها هو عملية تقليص (contraction)، مما يضمن التقارب لـ $n \ge 1$ .
- إثبات أن تكرار السياسة (policy iteration) يتقارب نحو السياسة المثلى تحت الديناميكيات الحتمية.
- وضع علاقة مرتبة بين قيم $n$ -step المتوقعة، مما يوضح أن الآفاق الأطول تؤدي إلى تقديرات أكثر تحفظاً.

النتائج التجريبية

قيم المؤلفون "إعادة تشغيل النقاط الطرفية" في بيئة Pinball و 12 لعبة Atari 2600.

Pinball: حققت "إعادة تشغيل النقاط الطرفية" مع ذاكرة أصغر بـ 50 ضعفاً (10 آلاف إجمالي مقابل 500 ألف قياسي) أداءً يضاهي ذاكرة الحداثة الكبيرة (1 مليون) وتفوقت بشكل كبير على الذاكرات الصغيرة ذات الحجم المتساوي، وعلى عينات الخزان (reservoir-sampling coresets)، وعلى MeDQN.
Atari 2600:
- ضغط 10 أضعاف (ذاكرة 100 ألف): تفوقت "إعادة تشغيل النقاط الطرفية" على الذاكرات الصغيرة ذات الحجم المتساوي وعينات الخزان، وطابقت أو تجاوزت قليلاً أداء خط الأساس للذاكرة القياسية (1 مليون).
- ضغط 50 ضعفاً (ذاكرة 20 ألف): تفوقت "إعادة تشغيل النقاط الطرفية" على جميع خطوط الأساس للذاكرة الصغيرة (1-خطوة و 10-خطوة) وطابقت أداء الذاكرة الكبيرة في 5 من أصل 12 لعبة.
دراسات الاستئصال (Ablation Studies):
- التثبيت (Anchoring): أدى إزالة التسلسل (الحالات غير المثبتة) أو إزالة تثبيت الفعل (استخدام DDQN بدلاً من Sarsa) إلى تدهور الأداء بشكل كبير.
- خسارة المتوقع (Expectile Loss): أدى استبدال خسارة المتوقع بخسارة الخطأ التربيعي القياسية (إزالة تصحيح الانحياز) إلى أداء أقل، مما يؤكد ضرورة تحديث المتوقع لـ $n$ -خطوة.

الأهمية والادعاءات

يدعي البحث أن "إعادة تشغيل النقاط الطرفية" تعالج بنجاح المقايضة بين كفاءة التخزين وأداء التعلم في التعلم التعزيزي العميق غير المتصل بالسياسة. ومن خلال تحديد مشكلة "الهدف غير المثبت"، يوضح المؤلفون أن مجرد اختيار النواة الجوهرية البسيط ليس كافياً للتعلم التعزيزي العميق. حلهم — وهو تثبيت النقاط الطرفية عبر سلاسل $n$ -خطوة وتصحيح الانحياز عبر خسائر المتوقع — يسمح للوكلاء بالاحتفاظ بفوائد الذاكرات الكبيرة (الإسناد الائتماني طويل الأمد والاستكشاف) مع جزء ضئيل من بصمة الذاكرة.

يشير المؤلفون إلى أنه بينما تعد الطريقة قوية تجاه العشوائية المنخفضة، فإن الضمان النظري للتقارب نحو السياسة المثلى ينطبق بصرامة تحت الديناميكيات الحتمية، حيث يمكن لخسارة المتوقع أن تلاحق العشوائية البيئية بدلاً من تسلسلات الأفعال. يشير العمل إلى مسار نحو تعلم تعزيزي عميق أكثر كفاءة في الموارد دون التضحية بالاستقرار وكفاءة العينات التي توفرها مخازن إعادة التشغيل الكبيرة.