Near-Optimal Sample Complexity Bounds for Constrained Average-Reward MDPs

في عالم الذكاء الاصطناعي، تتعلم الآلات اتخاذ القرارات من خلال التفاعل مع بيئة ما، تماماً كما يتعلم طفل التنقل في غرفة. فهي تتلقى مكافآت على الأفعال الجيدة وعقوبات على الأفعال السيئة، لتبني تدريجياً استراتيجية تهدف إلى تعظيم نجاحها على المدى الطويل. هذه العملية، المعروفة باسم التعلم المعزز، قد مهدت الطريق لإنجازات كبرى في كل شيء، بدءاً من لعب الألعاب المعقدة وصولاً إلى التحكم في الأذرع الروبوتية. ومع ذلك، فإن التطبيقات في العالم الحقيقي تتطلب ما هو أكثر من مجرد تسجيل درجات عالية؛ فهي تتطلب السلامة والعدالة. فعلى طائرة بدون طيار للتوصيل ألا تصل إلى وجهتها بسرعة فحسب، بل يجب أيضاً أن تلتزم بميزانية محددة من البطارية. ويجب على الذكاء الاصطناعي الطبي أن يوصي بعلاجات فعالة دون تجاوز قدرة المريض على تحمل المخاطر. تُصنف هذه السيناريوهات كمشكلات اتخاذ قرار مقيدة، حيث يجب على العميل (الوكيل) إيجاد أفضل مسار ممكن مع الالتزام الصارم بالقواعد المتعلقة بالموارد أو المخاطر أو الوقت.

على مدى عقود، كافح الباحثون لتعليم الآلات كيفية تعلم هذه الاستراتيجيات الآمنة بكفاءة، خاصة عندما تكون البيئة معقدة وتطبق القواعد على المدى الطويل وليس فقط على الخطوات القليلة التالية. يكمن التحدي في الموازنة بين الدافع للحصول على مكافآت عالية والحاجة إلى البقاء ضمن حدود صارمة، وكل ذلك بينما لا تملك الآلة خريطة مسبقة للعالم ويجب عليها التعلم عن طريق التجربة والخطأ. ويتصدى بحث جديد أجراه باحثون من جامعة فودان وجامعة كاليفورنيا في لوس أنجلوس لهذا التحدي مباشرة عبر تحديد الحدود الدقيقة لمقدار المعلومات التي تحتاجها الآلة لتعلم استراتيجية آمنة ومثالية. لقد حددوا الكمية الدقيقة من البيانات المطلوبة لحل هذه المشكلات، وأثبتوا أن الصعوبة تعتمد على خاصيتين محددتين للبيئة: المدة التي يستغرقها النظام للاستقرار في نمط مستقر، ومدى حساسية المكافآت طويلة الأمد للتغيرات الصغيرة في الاستراتيجية.

ركز الباحثون على إعداد يمتلك فيه وكيل التعلم نموذجاً محاكياً، وهي أداة تسمح له بالتساؤل: "إذا اتخذت هذا الإجراء في هذا الموقف، فماذا سيحدث بعد ذلك؟" ويتلقى إجابة فورية دون الحاجة إلى انتظار وقوع حدث في العالم الحقيقي. هذا الإعداد، المعروف باسم النموذج التوليدي، يزيل الحاجة إلى الاستكشاف المحفوف بالمخاطر في العالم الحقيقي ويسمح للباحثين بالتركيز بحت على الكفاءة الرياضية لعملية التعلم. وقد استقصوا نوعاً معيناً من المشكلات حيث يكون الهدف هو تعظيم متوسط المكافأة عبر مستقبل لانهائي، بدلاً من مجرد فترة قصيرة وثابتة. وهذا أمر بالغ الأهمية لتطبيقات مثل إدارة شبكة طاقة أو أسطول من المركبات، حيث يكون الهدف هو الأداء المستقر وطويل الأمد بدلاً من الفوز السريع لمرة واحدة.

طوّر الفريق خوارزمية جديدة تعمل كدليل لوكيل التعلم. تعمل هذه الخوارضة من خلال الضبط المستمر للتوازن بين الرغبة في المكافأة والحاجة إلى الالتزام بالقيود. وهي تفعل ذلك عبر حل سلسلة من النسخ المبسطة والمخفضة من المشكلة، حيث تكون المكافآت المستقبلية أقل قيمة بقليل من المكافآت الفورية، ثم ترجمة تلك الحلول مرة أخرى إلى المتوسط طويل الأمد. ويتمثل الابتكار الرئيسي في عملهم في طريقة للتحكم في الضوضاء الإحصائية التي تنشأ حتماً عند التعلم من عدد محدود من العينات. وقد أثبتوا أنه من خلال الاختيار الدقيق للاستراتيجيات التي يتم اختبارها وكيفية دمجها، يمكن للخوارزمية تجنب عثرات الإفراط في التخصيص (overfitting) للتقلبات العشوائية في البيانات.

إن أهم ما توصل إليه البحث هو حساب دقيق لتعقيد العينة، وهو عدد نقاط البيانات المطلوبة لضمان حل قريب من المثالية. وجد الباحثون أن كمية البيانات المطلوبة ترتبط مباشرة بحجم مساحات الحالة والفعل، مضروبة في عامل يمثل "مدى" سلوك النظام والوقت الذي يستغرقه للوصول إلى حالة مستقرة. وقد ميزوا بين سيناريوهين: أحدهما يُسمح فيه للوكيل بانتهاك القواعد قلياً، والآخر حيث يجب عليه الالتزام بها بدقة. في السيناريو المرن، ينمو متطلب البيانات مع مربع الدقة المطلوبة. ومع ذلك، في السيناريو الصارم، حيث يجب على الوكيل عدم كسر القواعد أبداً، تزدلاد متطلبات البيانات بشكل كبير، اعتماداً على مقياس محدد لمدى وجود "مساحة للمناورة" في المنطقة الممكنة.

ولإثبات أن خوارزميتهم فعالة قدر الإمكان، صمم الباحثون سلسلة من البيئات الافتراضية الصعبة المصممة لخداع أي خوارزمية تعلم. أظهرت هذه الحالات الصعبة أنه لا يمكن لأي طريقة أن تتعلم بشكل أسرع من خوارزمتهم دون الفشل في بعض المشكلات. وقد أثمو أن البيانات الإضافية المطلوبة للسلامة الصارمة ليست مجرد عيب في طريقتهم، بل هي قانون أساسي للتعلم تحت القيود. وتضع النتائج حداً واضحاً: إذا كان الوكيل بحاجة إلى أن يكون آمناً تماماً، فيجب أن يدفع ثمناً أعلى من حيث جمع البيانات، وهذه التكلفة لا يمكن تجنبها.

يقدم هذا العمل الصورة الكاملة الأولى للحدود الإحصائية لتعلم الاستراتيجيات الآمنة طويلة الأمد. وهو يؤكد أنه بينما من الممكن تعلم هذه السلوكيات المعقدة بكفاءة، فإن تكلفة السلامة الصارمة حقيقية وقابلة للقياس. توفر هذه النتائج خارطة طريق للمطورين الذين يبنون أنظمة ذكاء اصطناعي للبيئات عالية المخاطر، حيث تخبرهم بالضبط مقدار البيانات التي يحتاجون لجمعها لضمان أن وكلائهم فعالون وآمنون. ومن خلال تحديد هذه الحدود، ينقل هذا البحث المجال من مرحم التخمين حول الجدوى إلى معرفة المتطلبات الدقيقة للنجاح، مما يضمن إمكانية نشر الأنظمة الذكية المستقبلية بثقة في العالم الحقيقي.