🤖 machine learning

Peng's Q( $\lambda$ ) for Conservative Value Estimation in Offline Reinforcement Learning

تقدم هذه الورقة البحثية خوارزمية "Conservative Peng's Q( $\lambda$ )" (CPQL)، وهي خوارزمية تعلم تعزيزي غير متصل (offline) متعدد الخطوات وخالية من النموذج، تستفيد من مؤثر "Conservative Peng's Q( $\lambda$ )" المحافظ لتحقيق تنظيم سلوكي ضمني وأداء يقارب المثالية، متفوقة بشكل كبير على النماذج المرجعية أحادية الخطوة الحالية في اختبارات D4RL، مع تعزيز أطر التعلم من غير المتصل إلى المتصل أيضًا.

المؤلفون الأصليون: Byeongchan Kim, Min-hwan Oh

نُشر 2026-05-15

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Byeongchan Kim, Min-hwan Oh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيف يمشي، لكن لا يُسمح لك بأن يتدرب في العالم الحقيقي. بدلاً من ذلك، لديك فقط مكتبة فيديو ضخمة لشخص آخر يتجول ويمشي. هذا هو تحدي التعلم المعزز غير المتصل (Offline Reinforcement Learning - RL). على الروبوت أن يتعلم من هذه الفيديوهات القديمة دون ارتكاب أخطاء جديدة.

المشكلة هي أن الروبوت قد يصبح واثقاً بنفسه أكثر من اللازم. قد ينظر إلى الفيديوهات، ويرى مساراً لم يسلكه الشخص الأصلي أبداً، فيخمن قائلاً: "مهلاً، يبدو هذا طريقاً مختصراً!". ولكن لأن هذا التخمين مبني على بيانات لم يرهَا من قبل، فقد يكون فكرة سيئة للغاية تجعل الروبوت يسقط. تسمى هذه المشكلة "خارج التوزيع" (Out-of-Distribution - OOD).

ولمنع الروبوت من الثقة المفرطة، استخدمت الأساليب السابقة "تكتيك التخويف". حيث أخبروا الروبوت: "إذا حاولت القيام بشيء لم تره في الفيديوهات، افترض أنه سيء جداً وأعطه درجة منخفضة للغاية". وهذا ما يسمى بـ "تعلم Q المحافظ" (Conservative Q-Learning - CQL).

المشكلة في تكتيك التخويف:
بينما يمنع هذا الأسلوب الروبوت من القيام بتخمينات جامحة، إلا أنه يمنعه أيضاً من تجربة أي شيء جديد. يصبح الروبوت خائفاً جداً من ارتكاب خطأ لدرجة أنه يرفض التطور بما يتجاوز مستوى الشخص الموجود في الفيديوهات. إنه يصبح مفرط التشاؤم. الأمر يشبه طالباً يخشى جداً من الإجابة بشكل خاطئ، لدرجة أنه يتوقف عن محاولة حل المسائل الصعبة ويكتفي بالتمسك بأسهل المسائل التي يعرفها.

ظهور CPQL: "المسافر الذكي"

يقترح مؤلفو هذه الورقة طريقة جديدة تسمى Conservative Peng's Q(λ) (CPQL). لفهم كيفية عملها، دعونا نستخدم تشبيهاً.

التشبيه: المرشد السياحي مقابل قارئ الخريطة

الأساليب القديمة (الخطوة الواحدة): تخيل سائحاً يحاول التنقل في مدينة عبر النظر إلى خريطة عند كل زاوية شارع. يرى شارعاً، يقرر إلى أين يذهب، ثم ينظر إلى الزاوية التالية. إذا ارتكب خطأً، فعليه العودة من حيث بدأ. هذا بطيء ومعرض للأخطاء لأنه لا يرى الصورة الكبيرة.
الطريقة الجديدة (CPQL): الآن، تخيل مرشداً سياحياً قد مشى في الطريق بأكمله من قبل. بدلاً من مجرد النظر إلى الزاوية التالية، ينظر المرشد إلى المسار بأكمله أمامه. يقول: "إذا اتخذنا هذا المنعطف، فسنصل إلى حديقة خلال 5 دقائق، حتى لو بدا الشارع الحالي مربكاً".

تستخدم CPQL نهج "المرشد السياحي" هذا. فبدلاً من النظر إلى خطوة واحدة فقط (مثل الأساليب القديمة)، فإنها تنظر إلى عدة خطوات معاً (نهج "متعدد الخطوات"). إنها تستخدم المسار الكامل من مكتبة الفيديو لفهم تدفق البيئة.

كيف تعالج CPQL مشكلة "تكتيك التخويف"؟

ترى الصورة الكاملة: من خلال النظر إلى تسلسل من الحركات (مسار) بدلاً من مجرد حركة واحدة، يفهم الروبوت السياق بشكل أفضل. فهو يدرك أن الحركة التي تبدو غريبة قد تكون في الواقع جزءاً من مسار ناجح.
هي حذرة بطبيعتها: الرياضيات الكامنة وراء CPQL (المسماة عامل Peng's Q(λ)) تمتلك خاصية خاصة. فهي تميل طبيعياً نحو سلوك الشخص الموجود في الفيديوهات ("سياسة السلوك"). وهذا يعني أن الروبوت لا يحتاج إلى "تكتيك تخويف" ثقيل ليبقى آمناً؛ فهو يظل قريباً مما يعرف أنه يعمل بشكل طبيعي، لكنه ليس مشلولاً من الخوف.
تتجنب فخ "الإفراط في التشاؤم": ولأن لديها رؤية أفضل للطريق (رؤية متعددة الخطوات)، فهي لا تحتاج إلى معاقبة نفسها بقسوة لتجربة أشياء جديدة. يمكنها استكشاف مسارات أفضل قليلاً دون الوقوع في فخ الاعتقاد بأن كل شيء جديد هو أمر خطير.

النتائج: ماذا وجدوا؟

اختبر المؤلفون ذلك على معيار شهير يسمى D4RL، والذي يتضمن مهاماً مثل:

MuJoCo: روبوتات محاكية تتعلم كيف تمشي، أو تقفز، أو تركض.
Adroit: يد روبوت تتعلم كيفية التحكم في الأشياء مثل القلم أو الباب.
AntMaze: نملة روبوت تتعلم كيفية التنقل في متاهات معقدة.

النتائج:

التفوق على الحرس القديم: تفوقت CPQL باستمرار في تسجيل درجات أعلى من جميع أساليب "الخطوة الواحدة" السابقة. لقد تعلمت المشي والجري بشكل أفضل من الروبوتات التي تم تدريبها باستخدام "تكتيك التخويف" القديم.
أقل حساسية: كانت الأساليب القديمة تتطلب ضبطاً دقيقاً جداً لإعدادات "الخوف" الخاصة بها. إذا وضعت الخوف عالياً جداً، فلن يفعل الروبوت شيئاً؛ وإذا كان منخفضاً جداً، فسوف يصطدم. أما CPQL فكانت أكثر متانة؛ فقد عملت بشكل جيد حتى لو لم تضبط الإعدادات بشكل مثالي.
ميزة "البداية الدافئة": أظهرت الورقة أيضاً أنه إذا استخدمت CPQL لتدريب الروبوت "أوفلاين" (غير متصل)، ثم سمحت له بالممارسة في العالم الحقيقي (التعلم المعزز المتصل/Online RL)، فإنه لا يصطدم في البداية. عادةً، عندما ينتقل الروبوت من "تعلم الفيديو" إلى "الحياة الواقعية"، فإنه ينسى كل شيء ويؤدي بشكل سيء لفترة من الوقت. روبوتات CP-مدربة مسبقاً تجاوزت مرحلة "فقدان الذاكرة" هذه وبدأت في التحسن فوراً.

باختالاف

فكر في CPQL كطالب يتعلم من كتاب مدرسي (البيانات غير المتصلة) ولكنه يستخدم دليلاً دراسياً ذكياً يربط الفصول ببعضها البعض (التعلم متعدد الخطوات). بدلاً من أن يكون مرعوباً من كل سؤال جديد (الإفراط في التشاؤم)، يفهم هذا الطالب السياق جيداً للإجابة بثقة. هم لا يحفظون الإجابات فحسب؛ بل يتعلمون تدفق الموضوع، مما يسمح لهم بالأداء بشكل أفضل من الطلاب الذين درسوا صفحة واحدة في كل مرة.

تزعم الورقة أن هذه هي المرة الأولى التي يتم فيها الجمع بنجاح بين هذا النهج "متعدد الخطوات" وبين تدابير السلامة "المحافظة" لحل مشكلة التعلم غير المتصل، مما يؤدي إلى روبوتات آمنة وماهرة للغاية في آن واحد.

ملخص تقني: تقدير قيمة Peng's Q(λ) التحفظي في التعلم المعزز غير المتصل (Offline Reinforcement Learning)

1. بيان المشكلة

يهدف التعلم المعزز غير المتصل (Offline RL) إلى تعلم السياسات من مجموعات بيانات ثابتة تم جمعها بواسطة سياسات سلوكية غير معروفة دون تفاعل إضافي مع البيئة. ويتمثل التحدي الرئيسي في هذا السياق في التحول التوزيعي (distributional shift)، حيث تتباعد توزيعات الحالة والعمل (state-action) للسياسة المتعلمة عن سياسة السلوك. يؤدي هذا إلى أخطاء الاستقراء (extrapolation errors) عندما تستعلم تحديثات بلمان (Bellman updates) عن أزواج (حالة-عمل) خارج التوزيع (OOD)، مما يؤدي غالباً إلى أداء ضعيف للسياسة.

تعالج الطرق الحالية للتعلم المعزز غير المتصل القائمة على النماذج (model-free)، مثل التعلم القيمي التحفظي (CQL)، هذه المشكلة عن طريق معاقبة الأفعال خارج التوزيع لتحفيز التحفظ. ومع ذلك، تعاني هذه المناهج غالباً من الإفراط في التشاؤم (over-pessimism)، حيث تصبح تقديرات القيمة منخفضة بشكل مفرط، مما يعيق استكشاف السياسة. علاوة على على ذلك، تعتمد العديد من الطرق المتطورة على تقدير سياسة السلوك المجهولة أو إدخال شبكات مساعدة (مثل الشبكات الكمية أو قيم الحالة)، مما يزيد من التعقيد ويمكن أن يؤدي إلى عدم تطابق بين السياسة المقدرة والبيانات. بالإضافة إلى ذلك، تستخدم معظم طرق التعلم غير المتصل الحالية التي تعتمد على النماذج (model-free) فقط تعلم الفرق الزمني (TD) أحادي الخطوة، مما يفشل في الاستفادة من المعلومات الكاملة الموجودة في المسارات متعددة الخطوات غير المتصلة.

2. المنهجية: Peng's Q(λ) التحفظي (CPQL)

يقترح المؤلفون خوارزمية Peng's Q(λ) التحفظي (CPQL)، وهي خوارزمية تعلم معزز متعدد الخطوات غير متصلة تعتمد على النماذج. تقوم CPQL بتكييف عامل Peng's Q(λ) (PQL) لتقدير القيمة التحفظي، مستبدلةً عامل بلمان القياسي.

الآليات الجوهرية

عامل Peng's Q(λ): على عكس العوامل متعددة الخطوات الأخرى التي تقطع المسارات، يستفيد عامل PQL من المسارات الكاملة بالكامل. يقوم بتحديث دالة Q باستخدام عملية تكرارية تدمج (interpolate) بين سياسة السلوك ( $\pi_\beta$ ) والسياسة المستهدفة ( $\pi$ ).
التنظيم السلوكي الضمني: في الإعدادات غير المتصلة ذات سياسة السلوك الثابتة، يتقارب النقطة الثابتة لعامل PQL نحو دالة قيمة سياسة مختلطة، $\lambda \pi_\beta + (1-\lambda)\pi$ . ولأن هذه النقطة الثابتة تقع أقرب إلى دالة قيمة سياسة السلوك مقارنة بدالة قيمة السياسة المثلى، فإنها تحفز طبيعياً تنظيماً سلوكياً ضمنياً. هذا ينقل النقطة الثابتة لتكون أقرب إلى سياسة السلوك، مما يخفف من تأثير التحول التوزيعي دون الحاجة إلى تقدير صريح لسياسة السلوك.
التكامل التحفظي: تدمج CPQL عامل PQL في دالة خسارة CQL. تهدف الدالة إلى تقليل الخطأ التربيعي بين دالة Q وهدف PQL، مع إضافة حد عقوبة تحفظي يعاقب القيمة المتوقدة لـ Q تحت السياسة المتعلمة بالنسبة لسياسة السلوك التجريبية.
$\min_Q \left\{ \frac{1}{2}\mathbb{E}_{D}[(Q(s,a) - T^{\hat{\pi}_\beta, \pi}_{\lambda} Q(s,a))^2] + \alpha (\mathbb{E}_{a \sim \pi}[Q(s,a)] - \mathbb{E}_{(s,a) \sim D}[Q(s,a)]) \right\}$
تنفيذ الخوارزمية: تستخدم الخوارزمية مساراً جزئياً بطول $n$ لحساب قيم Q المستهدفة بشكل تكراري باستخدام معامل الأثر (trace parameter) $\lambda$ . كما تستخدم بنية ناقد مزدوج (مستوحاة من SAC) وتحدث الممثل (actor) لتعظيم الحد الأدنى لقيمة Q للنقاد، مع تنظيم عبر حد الإنتروبيا.

3. المساهمات الرئيسية

يدعي الورق البحثي المساهمات التالية:

أول خوارزمية متعددة الخطوات غير متصلة: تعد CPQL أول خوارزمية تعلم Q متعددة الخطوات غير متصلة تعتمد على النماذج (model-free). وهي أول عمل يثبت نظرياً وتجريبياً فعالية تقدير القيمة متعدد الخطوات التحفظي من خلال الاستفادة الكاملة من المسارات غير المتصلة دون تقدير نماذج إضافية.
الضمانات النظرية:
- الحد الأدنى: توفر دالة Q المتعلمة حداً أدنى لدالة قيمة الحالة الحقيقية للسياسة المختلطة بالنسبة لمعاملات تحفظ كافية ( $\alpha$ ).
- ضمان الأداء: تضمن السياسة المختلطة التي تتعلمها CPQL تحقيق أداء أكبر من أو يساوي أداء سياسة السلوك.
- فجوة دون المثالية: تقلل CPQL من فجوة دون المثالية مقارنة بـ CQL (حيث $\lambda=0$ ). يظهر التحليل النظري أن المعامل $\lambda$ يوازن بين المقايضة بين سياسة السلوك والسياسة المستهدفة، مما يخفف بفعالية من الإفراط في التشاؤم.
المتانة تجاه المعلمات الفائقة (Hyperparameters): على عكس CQL، الذي يتسم بحساسية عالية لاختيار معامل التحفظ $\alpha$ ، تحافظ CPQL على أداء عالٍ عبر نطاق واسع من قيم $\alpha$ .
الفائدة من "غير المتصل إلى المتصل" (Offline-to-Online): تسهل CPQL إطار العمل من "غير المتصل إلى المتصل". إذ يسمح التدريب المسبق باستخدام CPQL لوكيل PQL عبر الإنترنت بتجنب الانخفاض المعتاد في الأداء الذي يُلاحظ عند بدء الضبط الدقيق (fine-tuning)، مما يتيح تحسينات قوية في الأداء.

4. النتائج التجريبية

قيم المؤلفون CPQL باستخدام معيار D4RL، والذي يغطي مهام الحركة في MuJoCo، والتلاعب في Adroit، والملاحة في AntMaze.

الأداء غير المتصل: تفوقت CPQL باستمرار وبشكل كبير على خطوط الأساس أحادية الخطوة (بما في ذلك TD3+BC، وCQL، وIQL، وMCQ، وMISA، وCSVE، وEPQ) في 22 مهمة من أصل 29. حققت أداءً يقارب المثالية في العديد من البيئات، خاصة في مجموعات البيانات المتوسطة والخبيرة.
تحليل الحساسية: أظهرت التجارب أن CPQL متينة تجاه معامل التحفظ $\alpha$ ، بينما يتذبذب أداء CQL بشكل كبير مع التغيرات الصغيرة في $\alpha$ .
المقارنة متعددة الخطوات: عند مقارنتها بمعالجات أخرى متعددة الخطوات (Uncorrected N-step, Retrace, Tree-backup) مدمجة مع التقدير التحفظي، حققت CPQL أداءً أكثر استقراراً وتنافسية. عانت المعالجات الأخرى إما من تدهور الأداء بسبب عدم دقة تقدير سياسة السلوك (Retrace) أو من تحديثات غير مستقرة في الفضاءات المستمرة (Tree-backup).
من "غير المتصل إلى المتصل": في إعدادات "غير المتصل إلى المتصل"، أدى تهيئة PQL عبر الإنترنت باستخدام دالات Q المدربة مسبقاً بواسطة CPQL إلى تكيف أسرع وتجنب الانخفاض الأولي في الأداء الملحوظ في طرق أخرى مثل CQL-to-SAC أو Cal-QL.
الكفاءة الحسابية: لم تتسبب CPQL إلا في زيادة طفيفة في وقت التشغيل مقارنة بـ single-step CQL (حوالي 4.4% زيادة) وكانت أكثر كفاءة من الطرق التي تتطلب مشفرات تلقائية (autoencoders) أو تكيفاً إضافياً للعقوبات (MCQ, EPQ).

5. الأهمية والادعاءات

يضع البحث CPQL كعلامة فارقة في التعلم المعزز غير المتصل من خلال معالجة مشكلة تقدير القيمة المفرط في التشاؤم المتأصلة في الأساليب التحفظية. من خلال الاستفادة من عامل PQL، تحقق CPQL توازناً حيث يتم تنظيم النقطة الثابتة لدالة القيمة طبيعياً نحو سياسة السلوك، مما يقلل من الحاجة إلى تحفظ عدواني أو شبكات مساعدة معقدة.

يدعي المؤلفون أن CPQL توفر ضمانات أداء تقارب المثالية لم تستطع المناهج التحفظية السابقة تحقيقها، وتحديداً من خلال تقليل فجوة دون المثالية بالنسبة لسياسة السلوك. علاوة على ذلك، فإن قدرة الطريقة على العمل كخطوة تدريب مسبق قوية للضبط الدقيق عبر الإنترنت تسلط الضوء على فائدتها في سد الفجوة بين التعلم المعزز "غير المتصل" و"المتصل"، مما يقدم حلاً لمشكلة "البداية الباردة" (cold start) للوكلاء عبر الإنترنت.

يخلص البحث إلى أنه بينما تتحمل CPCL تكلفة حسابية طفيفة بسبب عمليات النسخ الاحتياطي متعددة الخطوات، إلا أن هذه التكلفة ضئيلة مقارنة بالمكاسب الكبيرة في الأداء وإلغاء الحاجة إلى تقدير سياسة السلوك أو البنى الشبكية المعقدة.