🤖 machine learning

Policy Gradient Methods for Non-Markovian Reinforcement Learning

تقدم هذه الورقة إطار عمل يرتكز على المكافأة للتعلم المعزز غير الماركوفي يعمل على تحسين ديناميكيات حالة الوكيل وسياسات التحكم بشكل مشترك، مما يؤسس لنظرية تدرج سياسة جديدة وخوارزمية ASMPG مع ضمانات تقارب نظرية وأداء تجريبي متفوق على النماذج التنبؤية المرجعية.

المؤلفون الأصليون: Avik Kar, Siddharth Chandak, Rahul Singh, Soumitra Sinhahajari, Eric Moulines, Shalabh Bhatnagar, Nicholas Bambos

نُشر 2026-05-12

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Avik Kar, Siddharth Chandak, Rahul Singh, Soumitra Sinhahajari, Eric Moulines, Shalabh Bhatnagar, Nicholas Bambos

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة، ولكن هناك عقبة: الروبوت معصوب العينين. لا يمكنه رؤية الجدران أو المخرج. كل ما يعرفه هو الأصوات التي يسمعها (مثل صرير لوح خشبي) والمشاعر التي يحس بها (مثل الاصطدام بجدار).

في عالم "التعلم التعزيزي" (Reinforcement Learning)، يُسمى هذا مشكلة غير ماركوفية (Non-Markovian). فوضع الروبوت الحالي لا يعتمد فقط على "الآن"؛ بل يعتمد كلياً على كل ما حدث من قبل. إذا اصطدم الروبوت بجدار، فهو لا يعرف أي جدار هو إلا إذا تذكر من أين بدأ وما هي المنعطفات التي اتخذها.

تتعثر معظم طرق الذكاء الاصطناعي القياسية هنا لأنها تحاول تخمين المستقبل بناءً على "الآن" فقط، أو تحاول بناء خريطة مثالية للماضي، مما يجعل الأمر ثقيلاً ومعقداً للغاية للحمل.

تقدم هذه الورقة طريقة جديدة لتعليم هؤلاء الروبوتات المعصوبة العينين، تسمى ASMPG (تدرج سياسة حالة الوكيل - Agent State-Markov Policy Gradient). وإليك كيف تعمل، باستخدام تشبيهات بسيطة:

1. المشكلة: "فاقد الذاكرة" مقابل "المفرط في التفكير"

فاقد الذاكرة (MDP القياسي): تخيل روبوتاً ينسى كل شيء بمجرد اتخاذ خطوة. هو يعرف فقط: "أنا هنا، أنا جائع". إذا كانت البيئة معقدة (مثل محادثة أو متاهة)، فإن هذا الروبوت سيفشل لأنه لا يعرف السياق.
المفرط في التفكير (القائم على التاريخ): تخيل روبوتاً يحاول تذكر كل كلمة في محادثة أو كل خطوة في متاهة. ورغم أن هذا يحتوي على كل المعلومات، إلا أن قائمة الذكريات تنمو بشكل لانهائي، مما يجعل معالجتها مستحيلة.

2. الحل: "المذكرات الذكية" (حالة الوكيل)

يقترح المؤلفون حلاً وسطاً. بدلاً من نسيان كل شيء أو تذكر كل شيء، يحتفظ الروبوت بـ "مذكرات ذكية" (تسمى "حالة الوكيل").

كيف تعمل: في كل مرة يتخذ فيها الروبوت إجراءً أو يرى شيئاً جديداً، يقوم بتحديث مذكراته. هو لا يكتب التاريخ كاملاً؛ بل يكتب ملخصاً فقط.
- مثال: في برنامج الدردشة الآلية (Chatbot)، بدلاً من تذكر المحادثة الكاملة المكونة من 100 صفحة، تقول المذكرات فقط: "المستخدم يسأل عن حالة طلبه، ويبدو عليه نفاد الصبر".
التحول الجوهري: في الطرق السابقة، كان العلماء يحاولون كتابة ملخص المذكرات عبر سؤال: "هل يمكنك التنبؤ بما سيقوله المستخدم لاحقاً؟" (هدف تنبؤي).
الابتكار: تقول هذه الورقة: "توقفوا عن تخمين المستقبل. فقط اكتب الملخص الذي يساعدك على الحصول على المكافأة (العميل السعيد)". إنهم يعلمون الروبوت كيفية كتابة المذكرات واتخاذ القرار في آن واحد، وتحديداً لتعظيم النتيجة (النقاط).

3. الطريقة: نهج "المحرك المزدوج"

تقدم الورقة خوارزمية جديدة تسمى ASMPG. فكر فيها كطائرة بمحركين يتم تحسينهما معاً:

المحرك (أ) (الكاتب): يقوم بتحديث المذكرات (حالة الوكيل) بناءً على المدخلات الجديدة.
المحرك (ب) (الطيار): يقرأ المذكرات ويقرر الإجراء الذي يجب اتخاذه.

في الطرق القديمة، كان "الكاتب" ثابتاً أو يتم تدريبه بشكل منفصل ليكون "متنبئاً جيداً". في ASMPG، يتم تدريب الكاتب والطيار معاً. إذا احتاج الطيار إلى تفصيل معين في المذكرات لاتخاذ قرار جيد، يتعلم الكاتب تضمين ذلك التفصيل. وإذا لم يكن الطيار بحاجة إلى تفصيل ما، يتعلم الكاتب تجاهله. إنهما يعملان كفريق واحد للفوز باللعبة.

ల. الإثبات: لماذا ينجح هذا النهج؟

قام المؤلفون بإجراء العمليات الحسابية لإثبات أن نهج "التدريب المشترك" هذا صحيح.

لقد اشتقوا صيغة جديدة (نظرية تدرج السياسة) توضح بالضبط كيفية تعديل الكاتب والطيار للحصول على نتائج أفضل.
وأثبتوا أنه إذا استمررت في إجراء تعديلات صغيرة بناءً على هذه الصيغة، فإن الروبوت سيصل في النهاية إلى استراتيجية جيدة جداً (ضمان رياضي للتقارب).

5. النتائج: الفوز باللعبة

اختبروا نهج "المذكرات الذكية" الجديد هذا على خمس مهام صعبة حيث لا يمكن للروبوت رؤية الصورة كاملة:

متاهة الجبن (CheeseMaze): روبوت يبحث عن الجبن في متاهة حيث تبدو الأماكن المختلفة متطابقة.
الملاحة في الممرات: المشي في ممر حيث لا يمكنك رؤية سوى الجدران الملاصقة لك.
الرعاية الصحية: اتخاذ قرارات بشأن العلاجات الطبية حيث يعتمد رد فعل المريض على تاريخه الخفي من العلاجات السابقة (السمية والمقاومة).
إصلاح الآلات: إصلاح آلة حيث يمكنك فقط معرفة ما إذا كانت "مريضة" أو "سليمة"، لكن السبب الحقيقي هو تآكل خفي ناتج عن الماضي.
كارت بول (CartPole): موازنة عمود على عربة عندما يمكنك فقط رؤية السرعة، وليس الموقع.

النتيجة: في جميع الحالات الخمس، تعلم روبوت ASMPG (الذي يمتلك المذكرات الذكية المدربة بشكل مشترك) بشكل أسرع وحصل على درجات أعلى من الروبوتات التي حاولت التعلم عن طريق التنبؤ بالمستقبل أو استخدام أنظمة ذاكرة ثابتة.

ملخص

تتعلق هذه الورقة بتعليم وكلاء الذكاء الاصطناعي كيفية التعامل مع المواقف التي لا يكون فيها "الحاضر" كافياً لاتخاذ قرار. بدلاً من محاولة تذكر كل شيء أو تخمين المستقبل، يعلم المؤلفون الذكاء الاصطناعي كيفية الحفاظ على ملخص ديناميكي ومتطور لماضيه. والأهم من ذلك، هم يعلمون الذكاء الاصطناعي بناء هذا الملخص خصيصاً للفوز باللعبة، بدلاً من مجرد أن يكون مؤرخاً جيداً. والنتيجة هي متعلم أكثر ذكاءً وكفاءة للمشكلات المعقدة في العالم الحقيقي.

ملخص تقني: طرق تدرج السياسة للتعلم المعزز غير الماركوفي

بيان المشكلة

يعتمد التعلم المعزز (RL) تقليديًا على إطار عمل عملية ماركوف لاتخاذ القرار (MDP)، بافتراض أن الديناميكيات والمكافآت تعتمد فقط على الحالة والعمل الحالية. ومع ذلك، فإن العديد من بيئات العالم الحقيقي — مثل الأنظمة ذات الإدراك الجزئي، وعملاء الحوار، وأنظمة التوصية، والأسواق المالية — هي بطبيعتها عمليات قرار غير ماركوفية (NMDPs). في هذه الإعدادات، تعتمد الملاحظات والمكافآت على تاريخ التفاعل بأكمله.

إن اشتراط السياسات مباشرة على التاريخ الكامل أمر غير قابل للتنفيذ حوسبيًا مع نمو مساحة التاريخ بشكل أسي. وبينما تحاول النهج الحالية ضغط التاريخ، إلا أنها غالبًا ما تواجه قيودًا:

ديناميكيات ثابتة: تفترض بعض الطرق أن ديناميكيات الحالة الداخلية للوكيل ثابتة ويتم فقط تحسين سياسة التحكم (مثل Dong et al., 2022).
أهداف تنبؤية: تتعلم طرق أخرى تمثيلات الحالة من خلال تحسين أهداف تنبؤية مساعدة (مثل التنبؤ بالملاحظات المستقبلية)، والتي قد تتطلب تمثيلات عالية الأبعاد ولا تتماشى مباشرة مع الهدف النهائي المتمثل في تعظيم المكافأة التراكمية (مثل Subramanian et al., 2022).

يعالج هذا البحث تحدي التعلم المشترك لتمثيل حالة مدمج وسياسة تحكم في العمليات غير الماركوفية (NMDPs) دون الاعتماد على ديناميكيات ثابتة أو أهداف تنبؤية وسيطة.

المنهجية

سياسات حالة الوكيل الماركوفية (ASM)

يقدم المؤلفون فئة من سياسات حالة الوكيل الماركوفية (ASM). في هذا الإطار، يحتفظ الوكيل بحالة داخلية $S_t$ يتم تحديثها بشكل متكرر بناءً على الحالة السابقة، والعمل السابق، والملاحظة الحالية:
$S_t \sim \nu_t(\cdot \mid S_{t-1}, A_{t-1}, O_t)$
ثم تقوم سياسة التحكم $\phi$ برسم خريطة من حالة الوكيل الحالية إلى العمل:
$A_t \sim \phi_t(\cdot \mid S_t)$
ويشكل الزوج $(\nu, \phi)$ سياسة الـ ASM. ومن الأهمية بمكان أن يقترح المؤلفون تحسين معاملات كل من ديناميكيات الحالة $\nu$ وسياسة التحكم $\phi$ بشكل مشترك لتعظيم المكافأة التراكمية المتوقعة، بدلاً من تثبيت $\nu$ أو تعلمها عبر التنبؤ.

المساهمات النظرية

يؤسس البحث نظرية تدرج السياسة لسياسات ASM، حيث يوسع النتائج الكلاسيكية لتشمل العمليات غير الماركوفية (NMDPs) ذات الحلقات الزمنية المحدودة (episodic) واللانهائية المخصومة (infinite-horizon discounted).

تعبير التدرج: بالنسبة لسياسة $\pi_\theta$ ذات المعلمات، يتم اشتقاق تدرج العائد المتوقع $J(\theta)$ كالتالي:
$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t} R_{t:\infty} \nabla_\theta \log \pi_\theta(S_t, A_t \mid S_{t-1}, A_{t-1}, O_t) \right]$
حيث تمثل $R_{t:\infty}$ العائد المستقبلي (المكافأة المتبقية).
التحليل إلى عوامل: نظرًا لهيكل سياسات ASM، فإن حد احتمالية اللوغاريتم يتحلل إلى ديناميكيات الحالة وسياسة التحكم:
$\nabla_\theta \log \pi_\theta = \nabla_\theta \log \nu_\theta + \nabla_\theta \log \phi_\theta$
وهذا يسمح بالتحديث المنفصل والمتزامن لتمثيل الحالة والسياسة.
ضمانات التقارب: تحت افتراضات النعومة والمحدودية القياسية، يثبت المؤلفون:
- التقارب في زمن محدود: يتقارب متوسط مربع معيار التدرج بمعدل $\tilde{O}(H^{3.5}/\sqrt{K})$ للمهام ذات الحلقات الزمنية المحدودة (حيث $H$ هو الأفق و $K$ هو عدد التكرارات).
- التقارب شبه المؤكد: مع تناقص أحجام الخطوات، يتقارب معيار التدرج إلى الصفر شبه المؤكد.
- تم وضع ضمانات مماثلة للإعداد ذي الأفق اللانهائي المخصوم، حيث يتحدد الأفق الفعال بواسطة عامل الخصم $\gamma$ .

الخوارزمية: ASMPG

بناءً على نظرية التدرج، يقترح المؤلفون خوارزمية تدرج سياسة حالة الوكيل الماركوفية (ASMPG). وهي خوارزمية من نوع REINFORCE تعمل عبر الإنترنت (online):

تأخذ عينات من المسارات باستخدام سياسة ASM الحالية.
تحسب تقدير التدرج باستخدام الهيكل المتكرر لحالة الوكيل.
تُحدث معاملات شبكة ديناميكيات الحالة وشبكة السياسة باستخدام صعود التدرج العشوائي.

النتائج التجريبية

قيم المؤلفون خوارزمية ASMPG في خمس بيئات غير ماركوفية:

CheeseMaze: مهمة ملاحة ذات إدراك جزئي بملاحظات متشابهة (aliased).
HallwayNavigation: مهمة متاهة حتمية حيث تكون تكوينات الجدران المحلية غامضة.
HealthcareTreatment: مهمة تخطيط علاج تحتوي على متغيرات سمية ومقاومة خفية.
MachineRepair: مهمة صيانة تحتوي على مستويات تآكل خفية تؤثر على تدهور الآلة.
VelocityOnlyCartPole: مهمة تحكم حيث يتم ملاحظة السرعة فقط (وليس الموقع).

المقارنة: تمت مقارنة ASMPG بكل من AIS-KL و AIS-MMD (Subramanian et al., 2022)، اللذين يتعلمان تمثيلات الحالة عبر أهداف تنبؤية (حالات المعلومات التقريبية).

النتائج:

في جميع البيئات الخمس، حققت ASMPG متوسط مكافآت أعلى لكل خطوة أو لكل حلقة مقارنة بالنماذج التنبؤية الأساسية.
كانت فجوة الأداء ملحوظة بشكل خاص في المهام التي تتطلب ذاكرة طويلة المدى، مثل CheeseMaze و MachineRepair و VelocityOnlyCartPole.
تشير النتائج إلى أن التحسين المباشر لديناميكيات الحالة من أجل هدف المكافأة أكثر فعالية من التحسين من أجل الكفاية التنبؤية.

الأهمية والادعاءات

يزعم البحث أن مساهمته الرئيسية هي صياغة تركز على المكافأة للتعلم المعزز غير الماركوفي. من خلال معاملة ديناميكيات حالة الوكيل كمكون قابل للتعلم يتم تحسينه بشكل مشترك مع سياسة التحكم، يتجاوز هذا المنهج الحاجة إلى أهداف تنبؤية مساعدة أو تمثيلات حالة ثابتة.

تشمل الادعاءات الرئيسية ما يلي:

الصلاحية النظرية: يوفر اشتقاق نظرية تدرج السياسة للعمليات غير الماركوفية العامة أساسًا صارمًا للتحسين المشترك، مما يوسع نتائج ماركوف الكلاسيكية.
الفعالية العملية: تظهر النتائج التجريبية أن التحسين المشترك المرتكز على المكافأة يتفوق على الطرق التي تعتمد على التمثيلات التنبؤية، حتى عندما تكون أحجام التمثيلات متقاربة.
شروط الأمثلية: يشير البحث إلى أنه إذا وجدت "ديناميكية حالة وكيل مثالية" (وهي التي تعد إحصائية كافية للمكافآت والملاحظات المستقبلية)، فإن قصر البحث على سياسات ASM لا يؤدي إلى أي خسارة في المثالية.

يقر المؤلفون بأن المنهج المقترح يعتمد على مقدرات من نوع REINFORCE، والتي قد تعاني من تباين عالٍ. وقد حددوا تطوير متغيرات "الفاعل-الناقد" (actor-critic) لسياسات ASM كاتجاه طبيعي للعمل المستقبلي لتقليل التباين مع الحفاظ على الهدف المرتكز على المكافأة.