Generalized Linear Markov Decision Process
تقدم هذه الورقة البحثية إطار عمل GRASP-MDP، وهو إطار عمل جديد للتعلم التعزيزي غير المتصل بالإنترنت في الدراسات الطولية يعالج تحديات المكافآت الثنائية/المحدودة والملاحظات الجزئية للمكافآت من خلال فصل نمذجة المكافأة عن نمذجة الانتقال للاستفادة من جميع بيانات الانتقال المتاحة دون الحاجة إلى التضمين، مما يوفر ضمانات العينة المحدودة وأداءً تجريبيًا محسّنًا.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية التنقل في متاهة. في العالم المثالي، سيحصل الروبوت على بطاقة تقييم مثالية بعد كل حركة يقوم بها: "لقد انعطفت يساراً، ووجدت عملة معدنية، +10 نقاط!" ولكن في العالم الحقيقي — كما هو الحال في المستشفيات أو تطبيقات التواصل الاجتماعي — تكون الأمور أكثر فوضوية. قد يرى الروبوت بالضبط ما حدث بعد ذلك (لقد انعطف يساراً وصدم بجدار)، لكن بطاقة التقييم الخاصة بتلك الحركة المحددة مفقودة، أو متأخرة، أو متاحة فقط لبعض الدورات المحظوظة. هذا هو تحدي "التعلم المعزز غير المتصل" (offline reinforcement learning)، حيث نحاول تعليم الذكاء الاصطناعي باستخدام بيانات قديمة مسجلة بدلاً من تركه يتعلم عن طريق التجربة والخطأ في الوقت الفعلي.
لجعل هذا التعلم ممكناً، غالباً ما يستخدم العلماء اختصاراً رياضياً يسمى "عملية ماركوف لاتخاذ القرار الخطية" (Linear Markov Decision Process). فكر في هذا الأمر كافتراض أن المتاهة مبنية بخطوط مستقيمة بسيطة: إذا كنت تعرف نقطة البداية والاتجاه، يمكنك بسهولة التنبؤ بالمكان التالي والنقاط التي ستحصل عليها. يعمل هذا بشكل رائع إذا كانت "المكافآت" (النقاط) أرقاماً بسيطة. ولكن ماذا لو كانت المكافأة شيئاً معقداً، مثل درجة صحة المريض التي يمكن أن تتراوح فقط من 0 إلى 10، أو نتيجة ثنائية "نعم/لا"؟ هذه المكافآات لا تتبع خطوطاً مستقيرة بسيطة؛ بل تنحني وتلتوي. وعلاوة على ذلك، إذا تخلصنا من جميع البيانات التي كانت فيها بطاقة التقييم مفقودة، فإننا سنفقد معلومات قيمة حول كيفية رسم خريطة المتاهة فعلياً. يتناول هذا البحث مشكلة تعليم الروبوتات عندما تكون القواعد منحنية وبطاقات التقييم غير مكتملة.
الأسلوب الذي قدمه الباحثون وراء هذه الدراسة، بقيادة سينيان تشانغ وزملائه، يقدم طريقة جديدة تسمى GRASP-MDP. يمكنك اعتبار هذا الأسلوب بمثابة استراتيجية تحقيق ذكية مكونة من جزأين لحل المتاهة. فبدلاً من محاولة تخمين بطاقات التقييم المفقودة (مما قد يؤدي إلى تخمينات سيئة)، يقوم GRASP-MDP بفصل اللغز إلى دليلين متميزين: كيف يتحرك العالم و ما هي المكافأة.
أولاً، ينظر الأسلوب إلى جزء "الحركة". حتى لو لم نكن نعرف النقاط لتلك الدورة المحددة، فقد نرى الروبوت ينتقل من مكان إلى آخر. يستخدم GRASP-MDP جميع سجلات الحركة هذه — سواء ارتبطت بها نقاط أم لا — لبناء خريطة مثالية للمتاهة. إنه يعامل قواعد الحركة كقواعد بسيطة وخطية، مما يجعل الرياضيات سهلة وموثوقة.
ثانياً، يتصدى الأسلوب لجزء "المكافأة". بما أن المكافآت مثل درجات الصحة أو النتائج الثنائية تكون منحنية ومعقدة، يستخدم الأسلوب أداة خاصة تسمى "النموذج الخطي المعمم" (Generalized Linear Model) لضبط المنحنى. ومن الأهمية بمكان أنه يستخدم فقط البيانات التي تم تسجيل النتيجة فيها بالفعل لتحديد هذا المنحنى. فهو لا يحاول ابتكار نتيجة للبيانات المفقودة؛ بل يقر ببساطة: "نحن لا نعرف النتيجة هنا، لكننا نعرف تماماً كيف تعمل المتاهة".
من خلال إبقاء هذين الدليلين منفصلين، يتجنب GRASP-MDP فخ التخمين الخاطئ للنتائج. فهو يقول: "نحن نعلم أن المسار واضح لأننا رأينا الحركة، حتى لو فاتتنا النقاط". وتثبت الورقة البحثية رياضياً أن هذا النهج يعمل بشكل أفضل من الطرق القديمة التي إما تتجاهل البيانات المفقودة أو تحاول ملء الفراغات بافتراضات.
لاختبار فكرتهم، أجرى الفريق عمليات محاكاة حاسوبية مع مكافآت بسيطة ومعقدة على حد سواء. ووجدوا أن GRASP-MDP يتعلم استراتيجيات أفضل باستمرار من الطرق السابقة، خاصة عندما كانت بيانات المكافأة غير مكتملة. كما طبقوه على مجموعة بيانات طبية حقيقية تشمل 4,295 مريضاً يعانون من التصلب المتعدد (MS). في هذا السيناريو، كانت "المتاهة" هي رحلة المريض عبر العلاج، و"المكافأة" كانت درجة الإعاقة لديهم (EDSS)، والتي يتم فحصها فقط في زيارات معينة. نجحت الطريقة في استخدام الكم الهائل من تاريخ العلاج (بيانات الحركة) حتى عندما كانت درجات الإعاقة مفقودة، لتقديم خطط علاجية أفضل. وأظهرت النتائج أنه من خلال الاحتفاظ ببيانات "النتيجة المفقودة" لتعلم قواعد الحركة، يمكن للذكأ الاصطناعي اتخاذ قرارات أذكى مما لو كان قد رمى تلك البيانات بعيداً.
باختصار، GRASP-MDP هو طريقة أذكى للتعلم من بيانات العالم الحقيقي الفوضوية. إنه يحترم حقيقة أننا غالباً ما نعرف ما حدث (الانتقال) حتى عندما لا نعرف مدى جودته (المكافأة)، ويستخدم تلك المعرفة لبناء أنظمة اتخاذ قرار أفضل وأكثر موثوقية دون اختلاق أرقام وهمية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.