Q-based Variational Inverse Reinforcement Learning
تقدم هذه الورقة تعلّم التعزيز العكسي التبايني القائم على قيم Q (Q-based Variational Inverse Reinforcement Learning)، وهو منهج بايزي مبتكر يتعلم توزيعاً لاحقاً للمكافآت عبر تحسين توزيع تبايني لقيم Q، مما يحقق تقديراً قابلاً للتوسع لعدم اليقين وتدريباً ناجحاً من ملاحظات البكسلات الخام عبر بيئات متنوعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لبناء ذكاء اصطناي حقيقي في نفع وسلامة، يجب أن تتعلم الأنظمة التصرف بطرق تتماشى مع القيم البشرية. ومع ذلك، فإن مطالبة شخص بكتابة قائمة دقيقة من القواعد لكل موقف محتمل هو أمر مستحيل في كثير من الأحيان؛ فالتفضيلات البشرية معقدة للغاية ودقيقة بحيث لا يمكن حصرها في دليل بسيط. بدلاً من ذلك، يتطلع الباحثون إلى السلوك البشري نفسه كمصدر للحقيقة. فمن خلال مراقبة خبير يؤدي مهمة ما، يمكن للذكاء الاصطناعي أن يحاول العمل بشكل عكسي، ليستنتج الأهداف والمكافآت الخفية التي دفعت خيارات ذلك الخبير. هذه العملية، المعروفة باسم التعلم العكسي للتعزيز (inverse reinforcement learning)، تسمح للآلات ليس فقط بتعلم ما يجب فعله، بل لماذا ينبغي لها فعله. ومع ذلك، يظل هناك تحدٍ كبير: عندما يحاول الذكاء الاصطناعي تخمين هذه الأهداف الخفية، فإنه غالباً ما ينتج إجابة واحدة جامدة. وهذا أمر خطير لأن السلوك نفسه يمكن تفسيره بمجموعات مختلفة من الأهداف، ويحتاج الذكاء الاصطناعي إلى فهم عدم اليقين الخاص به لاتخاذ قرارات آمنة في العالم الحقيقي.
قدم فريق من الباحثين طريقة جديدة تسمى التعلم العكسي للتعزيز المتغير القائم على Q، أو QVIRL، والتي تعالج حالة عدم اليقين هذه من خلال تعليم الآلات التفكير في الاحتمالات بدلاً من الإجابات الثابتة. وبدلاً من تخمين دالة مكافأة واحدة، يتعلم هذا النهج مجموعة كاملة من المكافآت المحتملة التي يمكن أن تفسر سلوك الخبير. وقد أثبت الباحثون أن طريقتهم يمكنها التعامل مع بيئات معقدة وعالية الأبعاد حيث فشلت التقنيات السابقة، بما في ذلك المهام التي تتضمن بيانات بصرية خام من ألعاب الفيديو. ومن خلال التركيز على القيمة المستقبلية المتوقعة للأفعال بدلاً من مجرد المكافأة الفورية، يمكن للنظام حساب توزيع الاحتمالات بكفاءة. وهذا يسمح للذكاء الاصطناعي ليس فقط بتعلم سياسة تؤدي أداءً جيداً، ولكن أيضاً بتحديد متى يكون غير متأكد، وهي قدرة حاسمة للتطبيقات الحرجة للسلامة مثل القيادة الذاتية أو التعلم النشط، حيث يمكن للنظام طلب المزيد من البيانات في المواضع التي يشعر فيها بأكبر قدر من الارتباك.
يكمن الابتكار الجوهري لـ QVIRL في كيفية تعامله مع رياضيات التعلم. فغالباً ما تعاني الطرق التقليدية لأنها يجب أن تحل مراراً وتكراراً مشكلة تخطيط معقدة لمعرفة ما سيفعله الخبير بعد ذلك، وهي عملية تصبح مستحيلة حوسبياً مع نمو البيئة. ويتجنب QVIRL هذا الاختناق من خلال العمل مباشرة مع القيمة المستقبلية المتوقعة للأفعال، والمعروفة باسم قيم Q. تخيل محاولة فهم خريطة من خلال النظر إلى الوجهة التي تهدف إليها بدلاً من تتبع كل خطوة من الرحلة؛ هذا التحول في المنظور يسمح للخوارزمية بالتوسع. وقد درب الباحثون نظامهم على مجموعة متنوعة من المهام، من المتاهات البسيطة القائمة على الشبكات إلى الفيزياء المستمرة لهبوط مركبة فضائية والملاحة في طريق سريع. وفي هذه الاختبارات، نجح النظام في استعادة توزيع للمكافآت يطابق عن كثب الأهداف الأساسية الحقيقية، حتى عندما كانت البيانات محدودة.
ما يجعل هذا النهج قوياً بشكل خاص هو قدرته على قياس عدم اليقين. ففي العديد من المحاولات السابقة لتعليم الآلات من الأمثلة البشرية، كان النظام ينتج "أفضل تخمين" واحد للمكافأة، متظاهراً فعلياً بأنه يعرف الإجابة بيقين مطلق. وعلى النقييد، يحافظ QVIRL على سحابة من الاحتمالات. وعندما اختبر الباحثون ذلك في بيئة محاكاة حيث كان على الذكاء الاصطناعي الاختيار بين مسار آمن ومسار مختصر محفوف بالمخاطر عبر منطقة مجهولة، تغير سلوك النظام بناءً على ثقته. فإذا كان الذكاء الاصطناعي غير متأكد من المكافأة في المنطقة الخطرة، فإنه يختار المسار الآمن، متصرفاً بحذر. وإذا كان واثقاً، فإنه يسلك المسار المختصر. وتعد هذه القدرة على تجنب المخاطر عند عدم اليقين خطوة كبيرة للأمام، لأنها تمنع الذكاء الاصطناعي من ارتكاب أخطاء خطيرة لمجرد افتقاره إلى البيانات.
كما أظهر الباحثون أن هذه الطريقة تعمل مع المدخلات البصرية الخام، مثل صور البكسل من ألعاب الفيديو الكلاسيكية. وبينما تنهار الطرق الأخرى التي تحاول تقدير عدم اليقين عند مواجهة مثل هذه البيانات عالية الأبعاد، ظل QVIRL قوياً. فقد تعلم لعب ألعاب مثل Pong و Space Invaders بأداء يضاهي أفضل التقنيات الموجودة، مع توفير مقياس لمدى تأكده من قراراته. ويشير هذا التوسع إلى أن الطريقة يمكن تطبيقها في النهاية في سيناريوهات العالم الحقيقي حيث توفر المستشعرات تدفقات معقدة من البيانات البصرية، مثل السيارات ذاتية القيادة أو المساعدين الروبوتيين.
في النهاية، يوضح العمل أنه من الممكن بناء أنظمة ذكاء اصطناعي قابلة للتوسع وواعية بحدودها في آن واحد. ومن خلال الابتعاد عن تقديرات النقطة الواحدة وتبني توزيع كامل للمكافآسات المحتملة، يوفر QVIRL مساراً نحو ذكاء اصطناعي أكثر موثوقية وأماناً. فالنظام لا يتعلم فقط محاكاة السلوك البشري، بل يتعلم فهم عدم اليقين الكامن وراء ذلك السلوك، مما يسمح له باتخاذ خيارات أكثر أماناً عندما يكون الطريق أمام غير واضح. ويمثل هذا التوازن بين التعلم من الخبراء ومعرفة متى يطلب المساعدة تقدماً ملموساً في السعي لخلق ذكاء اصطناعي نافع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.