🤖 AI

Offline Policy Optimization with Posterior Sampling

تقدم هذه الورقة البحثية "تحسين السياسة القائم على أخذ العينات اللاحقة" (PSPO)، وهو أسلوب تعلم تعزيزي غير متصل يعتمد على النموذج، يستفيد من الاستدلال البايزي والتحسين المقيد لتحقيق التوازن بين التعميم والمتانة عبر الاستخدام الفعال لديناميكيات خارج التوزيع مع منع استغلال النموذج.

المؤلفون الأصليون: Hongqiang Lin, Dongxu Zhang, Yiding Sun, Mingzhe Li, Ning Yang, Haijun Zhang

نُشر 2026-05-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hongqiang Lin, Dongxu Zhang, Yiding Sun, Mingzhe Li, Ning Yang, Haijun Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت المشي من خلال عرض فيديو لإنسان يمشي. هذا هو عالم التعلم المعزز غير المتصل (Offline Reinforcement Learning): حيث يتعلم الروبوت فقط من مكتبة ثابتة من البيانات الماضية، دون أن تتاح له الفرصة لتجربة الأشياء في العالم الحقيقي بنفسه.

المشكلة الكبرى في هذا النهج هي فخ "خارج التوزيع" (Out-of-Distribution - OOD).

المشكلة: فخ "الهلوسة"

عندما يحاول الروبوت معرفة ما يجب فعله بعد ذلك، قد يتخيل موقفاً لم يحدث أبداً في الفيديو (مثل الخطو على بقعة جليد لم تكن موجودة في اللقطات).

المخاطرة: إذا كان نموذج الروبوت الداخلي للعالم خاطئاً قليلاً، فقد "يهلوس" بأن الخطوة على ذلك الجليد فكرة رائعة، مما يؤدي إلى اصطدامه.
الحل القديم (التشاؤم/التحفظ): لإيقاف ذلك، تعمل معظم الأساليب الحالية مثل "الوالد المرتاب". فهي تقول: "إذا لم تكن متأكداً بنسبة 100% أنك رأيت هذا من قبل، فافترض أنه أمر سيء". إنها تعاقب الروبوت على محاولة تجربة أي شيء جديد.
- العيب: هذا يجعل الروبوت آمناً، لكنه يجعله أيضاً جباناً. فهو يرفض تعلم كيفية المشي بشكل أفضل لأنه خائف جداً من الخطو على "جليد مجهول". إنه يضحي بـ القدرة على التعميم (تعلم حركات جديدة) في سبيل الأمان.

الحل: PSPO (تحسين السياسة القائم على أخذ عينات من التوزيع اللاحق)

يقترح المؤلفون طريقة جديدة تسمى PSPO. بدلاً من أن يكون والداً مرتاباً، يعمل PSPO مثل محقق حكيم يحتفظ بـ "ملف من الاحتمالات".

1. ملف "الفرضيات المتعددة" (الاستدلال البايزي)

بدلاً من بناء نموذج واحد لكيفية عمل العالم (والذي قد يكون خاطئاً)، يبني PSPO مجموعة من النماذج.

التشبيه: تخيل أنك تحاول التنبؤ بالطقس. بد instead من الثقة في خبير أرصاد جوية واحد، تسأل 10 خبراء مختلفين. البعض يعتقد أنها ستمطر، والبعض الآخر يعتقد أن الجو سيكون مشمساً.
السحر: لا يقوم PSPO بمجرد متوسط إجاباتهم. بل ينظر إلى البيانات التي لديك (الفيديو) ويقول: "بناءً على ما رأيناه، هؤلاء الخبراء الثلاثة هم الأكثر احتمالاً لأن يكونوا على حق، لكن الآخرين لا يزال لديهم فرصة صغيرة ليكونوا على حق أيضاً". هذا يخلق توزيعاً لاحقاً (Posterior Distribution) — وهو عبارة عن خريطة توضح مدى ثقتنا في كل نسخة ممكنة من الواقع.

2. اختبار "الأفعوانية" (أخذ عينات من التوزيع اللاحق)

عندما يحتاج الروبوت إلى اتخاذ قرار، لا يسأل PSPO عن متوسط جميع النماذج. بدلاً من ذلك، فإنه يختار نموذجاً واحداً عشوائياً من "ملف الاحتمالات" الخاص به لمحاكاة المستقبل.

التشبيه: تخيل أنك تخطط لرحلة في أفعوانية (Rollercoaster). بدلاً من تصميم مسار "متوسط"، تختار عشوائياً تصميماً محدداً للمسار من مخططاتك وتختبر الرحلة على ذلك المسار المحدد.
لماذا ينجح هذا:
- إذا كان تصميم المسار سيئاً (هلوسة)، فسيصطدم الروبوت في المحاكاة ويتعلم: "حسناً، كانت تلك الفكرة مخاطرة".
- إذا كان تصميم المسار جيداً ومتسقاً مع البيانات، فسيتعلم الروبوت: "مهلاً، هذا المسار الجديد يعمل!".
- يسمح هذا للروبوت بـ استكشاف مسارات جديدة وآمنة (التعميم) دون أن يصاب بالشلل من الخوف، لأنه يلتزم بسيناريو واحد محدد من سيناريوهات "ماذا لو" في كل مرة.

3. "حاجز الحماية" (التحسين المقيد)

للتأكد من أن الروبوت لن يخرج عن السيطرة، يضيف PSPO "حاجز حماية". فهو يقول: "يمكنك استكشاف أفكار جديدة، لكن لا تبتعد كثيراً عن سلوك الإنسان في الفيديو".

يضمن هذا أنه حتى لو جرب الروبوت مساراً جديداً، فإنه سيبقى ضمن نطاق الفيزياء المنطقية، مما يمنعه من استغلال الأخطاء في خياله الخاص.

النتيجة: شجاع ولكن ذكي

يزعم البحث أن PSPO يحقق توازناً مثالياً (Goldilocks balance):

الأساليب القديمة (التشاؤم): خائفة جداً من الحركة. جيدة في الأمان، سيئة في تعلم أشياء جديدة.
PSPO: مستعد لتجربة أشياء جديدة (التعميم) ولكنه يتحقق منها مقابل "ملف من الاحتمالات" لضمان أنها ليست هلوسات خطيرة (المتانة).

في التجارب:
اختبر المؤلفون هذه الطريقة على مهام مشي قياسية للروبوتات (مثل HalfCheetah و Hopper) ومحاكاة تداول مالي (تسييل الأصول).

الادعاء: تفوق PSPO على أفضل الأساليب الموجودة. لقد تعلم المشي بشكل أسرع وأكثر كفاءة من الأساليب "المرتابة"، وتعامل مع مهمة التداول المالي بشكل أفضل من الأساليب التي كانت شديدة التحفظ.
الإثبات: أظهروا رياضياً أن هذه الطانة تضمن التحسن بمرور الوقت ولا تكتفي فقط بالوقوع في حلقة مفرغة من التخمينات السيئة.

الملخص

فكر في PSPO كطالب يدرس للاختبار باستخدام مكتبة من الامتحانات القديمة.

الطريقة القديمة: "أنا أعرف فقط الإجابات للأسئلة التي رأيتها من قبل. إذا بدا السؤال مختلفاً، سأتركه فارغاً لأكون في أمان".
طريقة PSPO: "لدي نموذج ذهني لكيفية تفكير المعلم. سأتخيل عدة نسخ مختلفة لما قد يسأل عنه المعلم. إذا نجت إجابتي في معظم هذه النسخ، فسأكتبها. أما إذا كانت تنجح فقط في نسخة غريبة وغير مرجحة، فسأتخطاها".

هذا يسمح للطالب بالإجابة على الأسئلة الجديدة والصعبة بشكل صحيح دون ارتكاب أخطاء في الأسئلة السهلة.

ملخص تقني: تحسين السياسة خارج الإنترنت باستخدام أخذ عينات من اللاحليلية (PSPO)

1. بيان المشكلة

يهدف التعلم المعزز خارج الإنترنت (Offline RL) إلى تعلم سياسات مثالية من مجموعات بيانات تاريخية ثابتة دون تفاعل إضافي مع البيئة. ويتمثل التحدي الجوهري في هذا المجال في انزياح التوزيع (distribution shift)، حيث تبتعد السياسة المتعلمة عن نطاق سياسة السلوك، مما يعرض الوكيل لمناطق خارج التوزيع (OOD). وفي التعلم المعزز خارج الإنترنت القائم على النموذج، يتجلى ذلك في مقايضة حرجة:

التعميم (Generalization): إن تخليق انتقالات متسقة ديناميكيًا وخارج النطاق (OOD) يمكن أن يسهل تعظيم القيمة والتعميم بما يتجاة دعم مجموعة البيانات.
المتانة (Robustness): هذه المناطق نفسها (خارج النطوط) تزيد من خطر استغلال النموذج (model exploitation)، حيث تستغل السياسة أخطاء التقريب في نموذج الديناميكيات لاختيار إجراءات خاطئة، مما يؤدي إلى انهيار الأداء.

عادةً ما تعالج النهج الحالية استغلال النموذج من خلال التنظيم التشاؤمي المفرط (excessive pessimistic regularization). تقوم هذه الطرق بمعاقبة تقديرات القيمة خارج النطاق بناءً على عدم اليقين الإبستيمي (على سبيل المثال، الانحراف المعياري للتنبؤ) لتقييد السياسة ضمن نطاق مجموعة البيانات. وبينما يضمن ذلك المتانة، فإنه غالبًا ما يضحي بقدرات التعميم عبر معاقبة الانتقالات الصالحة خارج النطاق التي تلتقط الديناميكيات الفيزيائية الأساسية. والسؤال المركزي الذي يتم تناوله هو: هل يمكن لخوارزمية تعلم معزز خارج الإنترنت قائمة على النموذج أن توازن بين التعميم والمتانة ضد استغلال النموذج دون الاعتماد على مثل هذا التشاؤم؟

2. المنهجية: تحسين السياسة القائم على أخذ عينات من اللاحليلية (PSPO)

يقترح PSPO نموذجًا خاليًا من التشاؤم قائمًا على إطار عمل التعلم المعزز البايزي. بدلاً من معاملة نموذج الديناميكيات كنقطة تقدير واحدة، يصيغ PSPO نمذجة الديناميكيات كعملية استدلال بايزي، حيث يعامل ديناميكيات الانتقال $T$ كمتغير عشوائي مع توزيع لاحق $P(T|E)$ مشروط بأدلة الانتقال الملحوظة $E$ .

2.1 الصيغة البايزية وبناء اللاحليلية

جوهر PSPO هو اشتقاق توزيع لاحق $P(T|E)$ يقيس بدقة مدى دقة النموذج.

مقياس الاتساق التجريبي: يعرّف البحث مقياسًا $F(T)$ يمثل الخطأ التربيعي بين قيمة Q ونسخة بيل مان (Bellman backup) تحت نموذج ديناميكيات محدد $T$ .
مبدأ المعلومات الدنيا: لتحديث اللاحليلية، يحل PSPO مسألة تحسين تقلل من تباعد كولباك - ليبلر (KL divergence) عن التوزيع القبلي مع تلبية القيد المفروض بواسطة الدليل الجديد (تقليل $F(T)$ المتوقع). وينتج عن ذلك لاحقلة على شكل:
$P(T|E) \propto P(T) \cdot \exp(-\beta \cdot F(T))$
تسمح هذه الصيغة للخوارزمية بالتكيف لتركيز الكتلة الاحتمالية على النماذج عالية الدقة مع الحفاظ على احتمالية غير مهملة للنماذج الأخرى، مما يضمن الاستكشاف دون تدخل يدوي.

2.2 الإطار الخوارزمي

يدمج PSPO أخذ عينات من اللاحليلية مع تحسين السياسة المقيد:

أخذ عينات من اللاحليلية من أجل عمليات التدحرج (Rollouts): بدلاً من متوسط التنبؤات (الذي يؤدي إلى انهيار عدم اليقين)، يقوم PSPO بأخذ عينات من نماذج الديناميكيات من اللاحليلية $P(T|E)$ لتخليق الانتقالات. هذا يحافظ على العشوائية المتأصلة في عدم اليقين الإبستيمي، مما ينفذ فعليًا نسخة من أخذ عينات ثومبسون (Thompson Sampling). وهذا يسمح للسياسة باستكشاف المناطق خارج النطاق المتسقة ديناميكيًا.
تحسين السياسة المقيد: لضمان الاستقرار ومنع الاستغلال، يتم تفكيك تحسين السياسة إلى سلسلة من المسائل الفرعية المقيدة. يتم تنظيم الهدف بواسطة حد تباعد KL بالنسبة لسياسة مرجعية (عادةً سياسة السلوك)، مما يحد من حجم تحديثات السياسة.
التنظيم التكراري: تقوم الخوارزمية بالتبديل بين:
- خطوة E: تحديث الاعتقاد اللاحق $P(T|E)$ بناءً على تقديرات قيمة Q الحالية.
- خطوة M: تحسين السياسة تحت اللاحليلية الثابتة باستخدام هدف مقيد يضمن التحسن الرتيب.

2.3 الضمانات النظرية

التقارب: تمت صياغة تقدير قيمة Q تحت أخذ عينات من اللاحليلية كمسألة تقريب عشوائي. يثبت المؤلفون أن مؤثر بيل مان القائم على أخذ عينات من اللاحليلية هو عملية انكماش $\gamma$ -contraction وأن تباين الهدف العشوائي محدود. وبالتالي، فإن عملية التقدير تتقارب نحو القيمة المثلى $Q^*$ تحت جداول معدل تعلم قياسية (عبر نظرية روبينز-مونرو).
التحسن الرتيب: يتم تفكيك تحسين السياسة إلى مسائل فرعية مقيدة. يثبت البحث أن حل هذه المسائل الفرعية يضمن تحسنًا رتيبًا لدالة الهدف الأصلية $J(\pi)$ حتى التقارب، بشرط أن يكون قيد KL صغيرًا بما يكفي.

3. المساهمات الرئيسية

نموذج خالٍ من التشاؤم: يتميز PSPO عن النهج السابقة للتعلم المعزز خارج الإنترنت القائمة على النماذج بتجنب العقاب الصريح القائم على عدم اليقين (التشاؤم). وبدلاً من ذلك، فإنه يوازن بين التعميم والمتانة من خلال أخذ عينات من اللاحليلية والتحسين المقيد.
نمذجة الديناميكيات البايزية: يعامل نماذج الديناميكيات كمتغيرات عشوائية ويشتق لاحليلية مشروطة بالأدلة التجريبية، مما يقيس بدقة دقة النموذج لتوجيه الاستكشاف.
الأسس النظرية: يضع العمل أساسًا لتقارب تقدير قيمة Q تحت أخذ عينات من اللاحليلية ويثبت التحسن الرتيب لعملية تحسين السياسة.
الأداء المتميز (State-of-the-Art): تُظهر التجار𝓷 الواسعة أن PSPO يحقق أداءً متفوقًا مقارنة بالنماذج المرجعية القوية (SoTA).

4. النتائج التجريبية

قيم المؤلفون PSPO على معايقات قياسية، بما في ذلك مجموعة D4RL (تغطي HalfCheetah وHopper وWalker2d مع جودة بيانات مختلفة مثل Random وMedium وExpert وReplay) ومهمة تصفية الأصول المثالية (optimal liquidation) الصعبة.

معايقات D4RL: حقق PSPO أعلى الدرجات المعيارية في 14 من أصل 18 مجموعة بيانات. ومن الجدير بالذكر أنه أظهر مكاسب كبيرة في مجموعات البيانات ذات المسارات عالية الجودة المحدودة (مثل "Medium" و"Medium-Expert" و"Full-Replay"). وأكد التحليل الإحصائي (اختبار t المزدوج) أن هذه التحسينات ذات دلالة إحصائية ( $p \approx 0.029$ ) مقارنة بأقوى نموذج مرجعي (PMDB).
التصفية المثالية: في بيئة شديدة العشوائية مع سياسة سلوك منحازة، حقق PSPO باستمرار استقرارًا فائقًا وعوائد تراكمية أعلى مقارنة بكل من الطرق غير القائمة على النماذج (مثل IQL وORAAC) والطرق القائمة على النماذج (مثل MOPO وCOMBO)، والتي واجهت صعوبة في التقارب.
دراسات الاستئصال (Ablation Studies): أدى إزالة آلية أخذ عينات من اللاحليلية (استبدالها بمتوسط موحد) أو تنظيم السياسة المرجعية إلى تدهور كبير في الأداء وزيادة عدم استقرار التدريب (ارتفاع الانحراف المعياري)، مما يؤكد ضرورة كلا المكونين.
تحليل التشاؤم: أظهرت منحنيات التعلم أن العوائد المتوقعة للنموذج في PSPO تجاوزت باستمرار الأداء الفعلي دون إظهار سلوك "التشاؤم المفرط" الذي تظهره الطرق الأخرى، مما يؤكد فعالية التصميم الخالي من التشاؤم.

5. الأهمية والادعاءات

يزعم البحث أن PSPO يعالج بنجటు التوازن المتأصل بين التعميم والمتانة في التعلم المعزز خارج الإنترنت. ومن خلال صياغة نمذجة الديناميكيات كعملية استدلال بايزي، يُمكّن PSPO السياسة من الاستفادة من الانتقالات خارج النطاق المتسقة ديناميكيًا للتعميم، مع ضمان المتانة ضد استغلال النموذج من خلال التحسين المقيد، وكل ذلك دون اللجوء إلى التشاؤم المفرط الذي يحد من تعميم الطرق الحالية.

يضع المؤلفون PSPO كإطار عمل نظري متين وخالٍ من التشاؤم، يجسّر الفجوة بين نظرية التعلم المعزز البايزي وقابلية التوسع في التعلم العميق. ويشيرون إلى أن هذا النهج يوفر أساسًا أكثر متانة لتحسين السياسة في البيئات غير المستقرة أو المحدودة البيانات. وقد تم تحديد العمل المستقبلي في إمكانية استخدام النمذجة التوليدية لتعلم أولويات معلوماتية مدفوعة بالبيانات، مما يقلل بشكل أكبر من الاعتماد على التوصيفات اليدوية.