Maximum Likelihood Reinforcement Learning
تقدم هذه الورقة تعلّم تعزيز الاحتمال الأقصى (MaxRL)، وهو إطار عمل جديد يجسّر الفجوة بين تعلّم التعزيز القائم على المكافأة المتوقعة والاحتمال الأقصى من خلال تقديم هدف مفهرس حوسبياً يتفوق على الطرق الحالية وفق معيار باريتو ويحسن كفاءة التوسع في وقت الاختبار بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناعي، هناك طريقتان مهيمنتان لتعليم الكمبيوتر كيف يفكر. الأولى تشبه معلماً صارماً يقدم الإجابة الصحيحة لكل سؤال، مما يسمح للطالب بمقارنة عمله مع نموذج الإجابة وتعديل فهمه بناءاً على ذلك. هذه الطريقة، المعروفة باسم التعلم الخاضع للإشراف (supervised learning)، هي التي مكنت من بناء أكثر أدوات التعرف على الصور وأدوات اللغة إثارة للإعجاب التي نستخدمها اليوم. أما النهج الثاني فهو أشبه بطفل يتعلم المشي: لا يوجد نموذج إجابة، بل البيئة نفسها فقط. المتعلم يحاول خطوة، فيسقط، ثم يحاول مرة أخرى، وفي النهاية يتعلم التوازن من خلال الشعور بعواقب أفعاله. هذا هو التعلم المعزز (reinforcement learning)، وهو منهج مصمم للحالات التي لا يكون فيها الطريق إلى الحل خطاً مستقيماً من البيانات، بل سلسلة من الخيارات التي تؤدي إلى نتيجة نهائية. لسنوات طويلة، عندما واجهت أنظمة الذكاء الاصطناعي مشكلات لم يكن فيها سوى رد فعل بسيط وهو "نعم" أو "لا" في النهاية — مثل حل مسألة رياضية أو التنقل في متاهة — اعتمد الباحثون على هذا النهج الثاني. لقد عاملوا المشكلة كأنها لعبة تهدف إلى تعظيم المكافآت، بافتراض أنه إذا تمكن الذكاء الاصطناعي من الحصول على قدر كافٍ من إشارات "نعم"، فإنه سيتعلم النجاح.
تتحدى دراسة جديدة هذا الافتراض الذي ساد لفترة طويلة، مشيرة إلى أن الطريقة القياسية لتعليم هذه الأنظمة هي في الواقع تقريب تقريبي لـمبدأ أكثر قوة، ولكنه كان غير متاح سابقاً. اكتشف الباحثون، الذين يعملون عبر عدة جامعات، أنه عندما يولد نموذج الذكاء الاصطناعي إجابة صحيحة، فإنه يخلق ضمناً احتمالية للنجاح. في عالم مثالي، ستكون أفضل طريقة لتدريب النموذج هي تعظيم هذا الاحتمال مباشرة، وهو مفهوم يُعرف باسم "الاحتمالية القصوى" (maximum likelihood). ومع ذلك، ولأن عملية توليد الإجابة غالباً ما تتضمن خطوات غير متوقعة لا يمكن قياسها بسهلاً بواسطة الرياضيات الداخلية للكمبيوتر، فقد اضطر العلماء إلى استخدام نهج "اللعبة" الخاص بالتعلم المعزز. يثبت العمل الجديد أن هذا النهج القياسي ليس سوى تخمين من الدرجة الأولى للهدف الحقيقي. فهو يفتقد المعلومات الدقيقة والحرجة المختبئة في اللحظات النادرة التي يعاني فيها النموذج ولكنه ينجح في النهاية. ومن خلال تطوير إطار تدريب جديد يسمى "التعلم المعزز بالاحتمالية القصوى" (Maximum Likelihood Reinforcement Learning، أو MaxRL)، وجد الفريق طريقة لسد هذه الفجوة، مما يسمح للنظام بالتعلم من نجاحاته بدقة كانت مستحيلة في السابق.
يكمن جوهر الاكتشاف في كيفية وزن الكمبيوتر لأخطائه وانتصاراته. في الطريقة التقليدية، في كل مرة ينتج فيها النموذج إجابة صحيحة، يتلقى مكافأة، ويقوم النظام بتعديل إعداداته الداخلية لجعل تلك النتيجة أكثر احتمالاً. ومع ذلك، فإن هذه الطريقة تعامل الإجابة الصحيحة بنفس الطريقة بغض النظر عن مدى صعوبة المشكلة. إذا حل النموذج لغزاً بسيطاً وآخر معقداً بنفس السهولة، فإن النظام التقليدي يعطيهما نفس القدر من الائتمان. تظهر الأبحاث الجديدة أن هذا الأمر غير فعال. الهدف الحقيقي هو تعظيم احتمالية أن يكون المرء صحيحاً، وهو ما يتطلب رياضياً أن يولي النظام اهتماماً أكبر بكثير للمشكلات الصعبة حيث يكون النجاح نادراً. تفشل الطريقة القياسية في القيام بذلك لأنها تنظر فقط إلى متوسط معدل النجاح. يغير إطار العمل الجديد (MaxRL) الحساب من خلال النظر في تاريخ المحاولات بأكمله. إنه يتساءل: "إذا حاولنا حل هذه المشكلة مرات عديدة، كم مرة سننجح؟" ومن خلال تحليل وتيرة النجاح عبر محاولات عديدة، يمكن للنظام استنتاج الصعوبة الحقيقية للمشكلة وتعديل تعلمه وفقاً لذلك.
لاختبار هذه الفكرة، بنى الباحثون نظاماً يمكنه محاكاة هذه العملية التعليمية الأكثر تطوراً. لقد أنشأوا عائلة من الأهداف التي يمكن ضبطها مثل قرص التحكم. عند أحد طرفي القرص، يتصرف النظام تماماً مثل طرق التعلم المعزز القياسية المستخدمة اليوم. وعند الطرف الآخر، يتصرف مثل مدرب الاحتمالية القصوى المثالي، وهو أمر مثالي نظرياً ولكن من المستحيل تشغيله عادةً. في المنتصف، يسمح القرص للنظام باستخدام المزيد من القوة الحوسبية للحصول على تقريب أفضل وأكثر دقة لذلك المثالي. وجد الفريق أنه مع زيادة القدرة الحوسبية المخصصة لتوليد محاولات متعددة لكل مشكلة، تحسن أداء النظام بشكل كبير. لم يكن الأمر مجرد أن النظام أصبح أكثر استقراراً؛ بل إن طبيعة ما كان يتعلمه تغيرت. بدأ التركيز بكثافة على المشكلات الصعبة التي تجاهلتها الطرق القديمة، مما أدى إلى فهم أعمق للمهمة.
كانت نتائج هذا النهج مذهلة عبر مجموعة متنوعة من الاختبارات. في بيئة محكومة حيث استطاع الباحثون مقارنة الطريقة الجديدة مباشرة بالمثالي النظري، اقترب النظام الجديد من أداء المدرب المثالي مع إضافة المزيد من القوة الحوسبية. في المقابل، اصطدمت الطرق القياسية بحائط مسدود، وفشلت في تحقيق تقدم ملموس حتى عند منحها كميات هائلة من البيانات. وعندما انتقل الفريق إلى سيناريوهات أكثر تعقيداً من العالم الحقيقي مثل التنقل في المتاهات وحل المسائل الرياضية، أصبحت الميزة أكثر وضوحاً. في المهام المتعلقة بالاستدلال الرياضي، حققت الطريقة الجديدة مكاسب في الأداء تصل إلى عشرين ضعف كفاءة الطرق المتطورة الحالية. وهذا يعني أنه للوصول إلى نفس مستوى المهارة، تطلب النظام الجديد محاولات أقل ووقت حوسبة أقل بكثير. ولعل الأهم من ذلك، أن الطريقة الجديدة لم تعانِ من مشكلة "الفرط في التخصيص" (overfitting) التي غالباً ما تصيب هذه الأنظمة، حيث يتعلم النموذج حفظ بيانات التدريب جيداً لدرجة تجعله يفشل في التعميم على مشكلات جديدة وغير مرئية. وبينما شهدت الطرق الأخرى تراجعاً في قدرتها على توليد حلول صحيحة ومتنوعة بمرور الوقت، حافظ الإطار الجديد على تنوع صحي من الإجابات الصحيحة، مما يشير إلى أنه تعلم المنطق الأساسي بدلاً من مجرد حفظ الأنماط.
تمتد تداعيات هذا العمل إلى ما هو أبعد من مجرد جعل الذكاء الاصطناعي أكثر ذكاءً؛ إنه يغير طريقة تفكيرنا في حدود تعلم الآلة. لفترة طويلة، كان يُعزى الصعوبة في تدريب هذه الأنظمة على مهام الاستدلال المعقدة إلى الخوارزميات نفسها أو نقص البيانات. تشير هذه الدراسة إلى أن العائق كان في الواقع "دالة الهدف" (objective function) — الهدف الرياضي الذي يحاول النظام تحقيقه. ومن خلال نقل الهدف من مجرد تعظيم متوسط المكافأة إلى تعظيم احتمالية الصحة، فتح الباحثون مستوى جديداً من الكفاءة. لم يعد النظام مجرد تخمين للإجابة الصحيحة؛ بل أصبح يتعلم فهم احتمالية النجاح بطريقة تحاكي كيف يتعلم البشر من الانتصارات النادرة والصعبة. ويشير الباحثون إلى أن هذا النهج يعمل بشكل أفضل عندما تكون هناك طريقة واضحة للتحقق مما إذا كانت الإجابة صحيحة، كما هو الحال في الرياضيات أو البرمجة، ولكن يمكن تطبيق المبادئ أيضاً على مجالات أخرى حيث تكون النتيجة ثنائية (نعم/لا). ومع استمرار الذكاء الاصطناعي في مواجهة مشكلات أكثر تعقيداً وتجريداً، ستكون القدرة على التعلم بكفاءة من التغذية الراجعة الشحيحة أمراً بالغ الأهمية. يوفر هذا الإطار الجديد مساراً للمضي قدماً، موضحاً أنه من خلال صقل الطريقة التي نحدد بها النجاح، يمكننا تعليم الآلات ليس فقط التعلم بشكل أسرع، بل بشكل أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.