ملخص تقني: التعلم المعزز المتدفق تحت الملاحظة الجزئية باستخدام التعلم المتكرر في الوقت الحقيقي

بيان المشكلة

التعلم المعزز المتدفق (Streaming Reinating Learning - RL) هو نموذج تعلم عبر الإنترنت حيث يقوم العميل بتحديث سياسته أو دالة القيمة الخاصة به من كل عينة واردة فوراً، دون الاحتفاظ بذاكرة مؤقتة لإعادة التشغيل (replay buffer) أو استخدام تحديثات دفعية (batched updates). وبينما نجحت الأعمال الحديثة في توسيع نطاق التعلم المعزز المتدفق ليشمل التقريب الدالي العميق في البيئات كاملة الملاحظة باستخدام آثار الأهلية (eligibility traces)، ظل تطبيق ذلك في بيئات الملاحظة الجزئية (POMDPs) تحدياً مفتوحاً.

في بيئات الملاحظة الجزئية، يجب على الوكلاء الاعتماد على بنيات متكررة للحفاظ على حالة مخفية تلتقط السياق التاريخي. ومع ذلك، تواجه طرق التعلم المتكرر القياسية مقايضة في إعداد التدفق:

1. الانتشار العكسي عبر الزمن المقطوع (TBPTT): في إعداد التحديث أحادي العينة، يتقلص TBPTT إلى أفق خطوة واحدة (TBPTT(1)). وهذا يوفر تدرجاً لخطوة واحدة فقط، وهو غير كافٍ لتخصيص الائتمان عبر التبعيات الزمنية الطويلة.
2. التعلم المتكرر في الوقت الحقيقي (RTRL): يحافظ RTRL على تدرجات النموذج الأمامي بشكل تراكمي، مما يجعله مثالياً نظرياً للتدفق. ومع ذلك، بالنسبة للبنيات المتكررة العامة (مثل GRUs أو LSTs)، فإن تعقيد الحساب في RTRL باهظ للغاية، حيث يتوسع بشكل رباعي ($O(n^4)$) مع البعد المخفي $n$.

تعالج الورقة الفجوة بين الحاجة إلى تخصيص ائتمان طويل الأفق في POMDPs والقيود الحسابية لتحديثات التدفق.

المنهجية

تدمج الطريقة المقترحة وحدات الأثر المتكررة (RTUs) مع التعلم المتكرر الدقيق في الوقت الحقيقي (RTRL) في خوارزميات التعلم المعزز المتدفق الموجودة.

البنية الأساسية: وحدات الأثر المتكررة (RTUs)

وحدات RTUs هي بنية متكررة قطرية ذات قيم مركبة. على عكس الوحدات المتكررة العامة، تُعرف طبقة RTU بأنها:
$$h_t = \Lambda h_{t-1} + W x_t$$
حيث $\Lambda$ هي مصفوفة قطرية ذات مدخلات مركبة $\lambda_k = r_k(\cos \Omega_k + i \sin \Omega_k)$. ولأن كل وحدة مخفية تتصل بنفسها فقط (تكرار قطري)، فإن حساب التدرج يتبسط بشكل كبير. تسمح هذه البنية بحساب RTRL الدقيق بتعقيد زمني وذاكرة خطي بالنسبة لعدد المعلمات، مما يتجنب اختناق $O(n^4)$ الخاص بـ RTRL القياسي.

التكامل مع التعلم المعزز المتدفق

يضع المؤلفون طبقة RTU واحدة بين مشفر الملاحظة والرأس التغذوي الأمامي (دالة القيمة أو السياسة) لخوارزميات التدفق القياسية (تحديداً QRC($\lambda$) للقيم و stream AC($\lambda$) للتحكم في السياسة).

تتضمن آلية التحديث أثرين متميزين يتكونان بشكل طبيعي:

1. آثار الأهلية: آثار تخصيص الائتمان الزمني القياسية ($z_t$) المستخدمة في التعلم المعزز المتدفق لتجميع التدرجات عبر الزمن ($z_t = \gamma\lambda z_{t-1} + g_t$).
2. آثار RTRL: مصفوفات حساسية النموذج الأمامي ($S_t = \partial h_t / \partial \psi$) التي تحافظ عليها طبقة RTU لنشر التدرجات عبر الحالة المتكررة.

استراتيجية حساب التدرج:

• المعلمات المتكررة ($\psi$): يتم حساب التدرجات باستخدام أثر RTRL الدقيق $S_t$، والذي يتم تحديثه أمامياً عند كل خطوة.
• معلمات الرأس ($w$): يتم استخدام الانتشار العكسي القياسي حيث لا توجد تبعية زمنية.
• معلمات المشفر ($\theta$): لتجنب التكلفة الباهظة للحفاظ على آثار دقيقة عبر مشفر عميق، يستخدم المؤلفون تقريباً لخطوة واحدة. يتم ائتمان المشفر فقط لتأثيره المباشر على الحالة المخفية الحالية، متجاهلين تأثيره من خلال الحالات الماضية. هذا تقريب ضروري للمشفرات العميقة في نظام التدفق.

تحليل التقادم والتصحيح

تقر الورقة بأنه تحت تحديثات التدفق، تتغير المعلمات $\psi$ عند كل خطوة. وبناءً على ذلك، تجمع مصفوفة حساسية RTRL الجاكوبيان (Jacobian) التي تم تقييمها بمعلمات قديمة، مما يؤدي إلى "التقادم".

• اشتق المؤلفون حداً نظرياً لخطأ التقادم هذا، موضحين أنه يتناسب خطياً مع حجم الخطوة وأفق تخصيص الائتمان.
• يقترحون تصحيح تايلور من الدرجة الأولى لتحديث الحساسية. من خلال تقريب التغيير في الجاكوبيان الفوري بناءً على تحديث المعلمات $\Delta \psi$، يقللون من خطأ التقادم من $O(\eta)$ إلى $O(\eta^2)$.

المساهمات الرئيسية

1. الخوارزمية: خوارزمية تعلم معزز عميق متدفق للبيئات ذات الملاحظة الجزئية باستخدام RTUs يتم تدريبها باستخدام RTRL الدقيق. وهي لا تتطلب ذاكرة مؤقتة لإعادة التشغيل ولا تحديثات دفعية.
2. التحقق التشخيصي: تجربة MemoryChain التي تثبت أن هذا المزيج يحافظ على تخصيص الائتمان عبر سلاسل تصل إلى (64 خطوة) حيث تنهار النماذج المرجعية للتدفق التي تستخدم الشبكات التغذوية الأمامية، أو GRUs، أو RTUs مع TBPTT(1).
3. الأداء التجريبي: أدلة على خمس مهام ذاكرة من POPGym ومهام التحكم المستمر في MuJoCo ذات الملاحظة الجزئية، تظهر أن نهج التدفق تنافسي مع PPO الدفعي، حيث يحل جميع مهام POPGym ويستعيد جزءاً كبيراً من أداء PPO الدفعي في MuJoCO.
4. تحليل التقادم: تحليل كمي لتقادم حساسية RTRL تحت تحديثات التدفق، مما يوفر حداً للخطأ في الحالة المستقرة ويوضح فعالية تصحيح تايلور من الدرجة الأولى في تضييق هذا الحد.

النتائج التجريبية

MemoryChain (أفق تخصيص الائتمان)

في مهمة تشخيصية تتطلب من العميل استدعاء إشارة ثنائية بعد $L$ من الخطوات:

• النماذج المرجعية: الشبكات التغذوية الأمامية، وGRUs مع TBPTT(1)، وRTUs مع TBPTT(1)، جميعها انهارت إلى عوائد تقترب من الصفر لأسطح السلسلة $L > 16$.
• الطريقة المقترحة: حافظت RTU مع RTRL الدقيق على أداء عالٍ حتى $L=48$ وظلت تنافسية حتى $L=64$. وهذا يؤكد أن طريقة التدرج (RTRL)، وليس فقط البنية، هي العامل الحاسم لتخصيص الائتمان طويل الأفق.

POPGym (مهام الذاكرة المنفصلة)

تم التقييم على خمس مهام (Autoencode, Concentration, CountRecall, HigherLower, RepeatFirst):

• تمت مقارنة متغيرين للتدفق (QRC($\lambda$)-RTU و stream AC($\lambda$)-RTU) مع نموذج مرجعي PPO-RTU دفعي.
• كان المتغيران للتدفق متكاملين: نجح stream AC($\lambda$)-RTU في ثلاث مهام فشل فيها QRC($\lambda$)-RTU، والعكس صحيح.
• النتيجة: معاً، حلت طرق التدفق جميع المهام الخمس، مطابقة أداء PPO الدفعي دون تخزين المسارات الماضية.

Masked MuJoCo (التحكم المستمر)

تم التقييم في مهام الحركة (Ant, HalfCheetah, Hopper, Walker2d) مع سرعات أو مواضع محجوبة:

• كانت طريقة التدفق (stream AC($\lambda$)-RTU) تنافسية مع PPO-RTU الدفعي في عدة مهام (على سبيل المثال، طابقت الأداء في HalfCheetah-P، وتفوقت في Walker2d-V).
• بينما تراجعت عن PPO الدفعي في بعض المهام (مثل Walker2d-P)، إلا أنها استعادت جزءاً كبيراً من أداء PPO الدفعي، مما يثبت جدوى التحكم المستمر تحت الملاحظة الجزئية بدون ذاكرة مؤقتة لإعادة التشغيل.

KMemoryChain (تكميم التقادم)

نسخة معدلة من MemoryChain مصممة لاختبار أثر RTRL باستمرار:

• تم قياس التقادم كالمسافة $\ell_2$ بين مصفوفة الحساسية عبر الإنترنت والنموذج المرجعي المعاد حسابه بالمعلمات الحالية.
• زاد التقادم مع أفق الذاكرة $K$، بما يتوافق مع الحدود النظرية.
• قلل تصحيح تايلور التقادم بشكل كبير، خاصة عند الآفاق الطويلة ($K=16$)، وتوافق مع تعلم أسرع ومنحنيات تدريب أكثر استقراراً في نظام التقادم العالي.

الأهمية والادعاءات

يصرح المؤلفون بتواضع بشأن ادعاءاتهم:

• لا يوجد ادعاء بالأفضلية (SOTA): هم لا يدعون تحقيق أفضل أداء مطلق على أي معيار مقارنة بالطرق الدفعية غير المقيدة.
• المساهمة الأساسية: تكمن الأهمية في سد الفجوة بين التعلم المعزز المتدفق والملاحظة الجزئية. لقد أثبتوا أنه من الممكن إجراء التعلم العميق في POMDPs مع القيود الصارمة للتدفق (لا ذاكرة مؤقتة لإعادة التشغيل، تحديثات أحادية العينة) من خلال الجمع بين RTUs وRTRL الدقيق.
• القابلية للتطبيق: يتم وضع الطريقة في سياق السيناريوهات التي تكون فيها قيود الموارد حقيقية، مثل التعلم على الأجهزة، والتحكم في الوقت الحقيقي، والتعلم مدى الحياة، حيث يكون تخزين المسارات الماضية غير عملي.

تخلص الورقة إلى أنه بينما تظل الفجوة قائمة تجاه الأداء الدفعي في بعض مهام التحكم المستمر، فإن الطريقة المقترحة تنجح في توسيع نطاق التعلم المتدفق ليشمل البيئات المعقدة ذات الملاحظة الجزئية، مما يؤكد جدوى RTRL الدقيق ذو التعقيد الخطي.