A Smooth Polynomial Lyapunov Certificate for Convergence of Q-Learning and Its Smooth Variants

في المشهد الواسع للذكاء الاصطناعي، يوجد فرع محدد يُعرف باسم التعلم المعزز، حيث تتعلم برامج الكمبيوتر كيفية اتخاذ القرارات من خلال التفاعل مع بيئة ما، تمامًا مثل طفل يتعلم التنقل في مدينة جديدة عن طريق التجربة والخطأ. هذه البرامج، التي تُسمى غالبًا "الوكلاء"، تحاول القيام بأفعال مختلفة لترى أي منها يجلب المكافآت وأيها يؤدي إلى طرق مسدودة. ومع مرور الوقت، تبني هذه الوكلاء خريطة ذهنية للقيمة، وتحدد المسار الأفضل لاتخاذه في أي موقف معين. وتعد "Q-learning" واحدة من أكثر الأدوات جوهرية لبناء هذه الخريطة؛ فهي نهج قوي لا يعتمد على نموذج مسبق، مما يسم يسمح للوكيل باكتشاف الاستراتيجية المثلى دون الحاجة إلى مخطط كامل للعالم الذي يقطنه. لعقود من الزمن، فُتن العلماء بكيفية استقرار هذه الخوارزميات في النهاية وتوقفها عن التغيير، وهي عملية تُعرف باسم "التقارب". وفهم متى وكيف يحدث هذا بالضبط أمر بالغ الأهمية لأنه يضمن أن عملية التعلم مستقرة وموثوقة، بدلاً من الانزلاق نحو الفوضى.

لفترة طويلة، اعتمدت البراهن الرياضية التي ضمنت هذا الاستقرار على أداة محددة، خشنة نوعًا ما: طريقة لقياس المسافة تعامل الخطأ الأكبر كأنه الوحيد المهم. ورغم فعاليتها، إلا أنها كانت أداة "مسننة" ويصعب التعامل معها عند محاولة تحليل التدفق السلس والمستمر للتعلم. إنها تشبه محاولة قياس ميل تلة باستخدام مسطرة لا تستقر إلا عند الزوايا الحادة؛ فهي تنجز المهمة، لكنها تحجب المنحنيات اللطيفة للتضاريس. وقد جعل هذا القصور من الصعب دراسة النسخ الأحدث والأكثر سلاسة من خوارزمية التعلم، والتي صُممت لتكون أكثر مرونة وأقل عرضة للمبالغة في تقدير المكافآت. هذه المتغيرات الحديثة تستبدل قاعدة "اختيار الأفضل مطلقًا" القاسية بطريقة أكثر رقة وتدرجًا في حساب الاحتمالات، لكن الأدوات الرياضية القدسة والمسننة عجزت عن إثبات أن هذه الطرق الجديدة ستستقر بشكل صحيح أيضًا.

لقد طور فريق من الباحثين في المعهد الكوري المتقدم للعلوم والتكنولوجيا الآن طريقة أكثر سلاسة لإثبات عمل خوارمايات التعلم هذه. فبدلاً من استخدام الأداة القديمة المسننة والزاوية، قدموا "شهادة" قائمة على كثيرات حدود مرنة—وهي سطح رياضي سلس يمكنه الانزلاق فوق عملية التعلم دون أن يعلق. ومن خلال تغيير منظورهم من قياس صلب وحاد إلى كثير حدود سلس وموزون، تمكنوا من إظهار أن كل من طرق التعلم الكلاسيكية وأقرانها الحديثين الأكثر سلاسة يتقاربون جميعًا نحو حل مستقر. يوفر عملهم إطارًا موحدًا يتعامل مع الطبيعة غير المتزامنة والفوضوية للتعلم في العالم الحقيقي، حيث تحدث التحديثات بسرعات مختلفة وبدون ترتيب معين، مما يثبت أن النظام سيجد توازنه حتمًا.

ركز الباحثون على عائلة محددة من الخوارزميات تتضمن طريقة Q-learning القياسية وثلاثة متغيرات سلسة شائعة. تستخدم الطريقة القياسية عامل "الحد الأقصى" (max)، الذي يختار ببساطة أعلى قيمة من قائمة الاحتمالات. أما المتغيرات السلسة، فتستخدم حيلًا رياضية مختلفة لتلطيف هذا القرار. يستخدم أحدها تقنية تسمى "log-sum-exp"، ويستخدم آخر نهج "mellowmax"، بينما يستخدم الثالث "Boltzmann softmax". صُممت هذه العوامل السلسة لتشجيع الوكيل على الاستكشاف بشكل أكبر وتجنب فخاخ الثقة المفرطة، لكنها تفرض تحديًا رياضيًا جديدًا: فهي ليست دائمًا "انكماشية" تمامًا، بمعنى أنها لا تقلل الخطأ دائمًا بطريقة مباشرة. والبراهين القديمة، التي اعتمدت على افتراض أن الخطأ يتقلص دائمًا بمقدار ثابت، لم تستطع التعامل بسهما مع هذه العوامل الأكثر نعومة وتعقيدًا.

ولحل هذه المعضلة، بنى المؤلفون نوعًا جديدًا من الشهادات الرياضية القائمة على دالة كثير حدود سلسة. تخيل مشهدًا يمثل فيه الارتفاع مقدار الخطأ في معرفة الوكيل. كانت الطريقة القديمة تنظر إلى أعلى قمة في هذا المشهد وتحاول إثبات أنها تنخفض، لكن الحواف الحادة لتلك القمة جعلت الرياضيات صعبة. أما الطريقة الجديدة، فتجعل ذلك المشهد سلسًا بالكامل، وتنشئ سطحًا لطيفًا يشبه الوعاء ينزلق الخطأ للأسخذ منه. لقد أثبتوا أنه بالنسبة للطريقة القياسية والمتغيرين السلسين القائمين على log-sum-exp وmellowmax، فإن هذا السطح السلس يضمن أن الخطأ سيتناقص بشكل أسي حتى يصل الوكيل إلى الحل المثالي. وهذا يعني أنه بغض النظر عن نقطة البداية، فمن المؤكد رياضيًا الوصول إلى الاستراتيجية المثلى.

يختلف الوضع قليلاً بالنسبة للمتغير الرابع، الذي يستخدم عامل "Boltzmann softmax". فهذه الطريقة المحددة ليست دائمًا انكماشية، لذا فهي لا تضمن الوصول المثالي إلى الحل الوحيد بنفس الطريقة. ومع ذلك، أظهر الباحثون أنه حتى في هذه الحالة، تعمل شهادة كثير الحدود السلسة. لقد أثبتوا أن عملية التعلم لن تضل طريقها نحو اللانهاية؛ بل ستستقر في منطقة صغيرة محددة جيدًا حول الحل الأمثل. ويعتمد حجم هذه المنطقة على معامل "درجة الحرارة" (temperature) في الخوارزمية. ومع خفض درجة الحرارة هذه، تتقلص المنطقة، ويقترب الحل أكثر فأكثر من المثالية. يوفر هذا فهمًا دقيقًا للمقايضة: قد لا تصيب الخوارزمية الهدف بدقة في كل مرة، لكنها ستظل ضمن مسافة يمكن التنبؤ بها من الهدف، ويمكن جعل هذه المسافة صغيرة للغاية عبر ضبط الإعدادات.

كما تناول البحث الواقع العملي لكيفية تشغيل هذه الخوارزميات في العالم الحقيقي. في محاكاة حاسوبية، قد تحدث التحديثات دفعة واحدة، ولكن في نظام حقيقي، غالبًا ما تحدث واحدًا تلو الآخر، وبسرعات مختلفة، اعتمادًا على نقاط البيانات التي يتم أخذ عينات منها. يتعامل إطار العمل الجديد للباحثين بشكل طبيعي مع هذه الطبيعة غير المتزامنة. فقد أظهروا أن برهان كثير الحدود السلس يعمل حتى عندما يتم ترجيح التحديثات بشكل مختلف، مما يمثل حقيقة أن بعض أجزاء المشكلة يتم تعلمها بشكل أسرر من غيرها. يعد هذا تحسنًا كبيرًا عن النظريات السابقة، التي كانت تتطلب غالبًا الافتراض غير الواقعي بأن كل جزء من النظام يتحدث في الوقت نفسه تمامًا. ومن خلال استيعاب هذه الاضطرابات الواقعية، توفر النظرية الجديدة أساسًا أكثر قوة لفهم كيف يحدث التعلم بالفعل في البيئات المعقدة والديناميكية.

وللتحقق من نتائجهم النظرية، أجرى الفريق عمليات محاكاة حاسوبية باستخدام نموذج بسيط لمشكلة اتخاذ قرار تتضمن أربعة حالات ممكنة وإجراءين ممكنين. راقبوا الخطأ في معرفة الوكيل بمرور الوقت. وبالنسبة للطريقة القياسية والمتغيرين السلسين اللذين ثبت أنهما انكماشيان، انخفض الخطأ بسرعة واتساق، متبعًا الاضمحلال الأسي الذي تنبأت به معادلاتهم الجديدة. أظهرت الرسوم البيانية خطًا مستقيمًا نظيفًا على مقياس لوغاريتمي، مما أكد أن النظام كان بالفعل ينزلق داخل "الوعاء الرياضي السلس" الخاص بهم. وبالنسبة لمتغير "Boltzmann"، أظهرت المحاكاة انخفاض الخطأ بسرعة في البداية ثم استقر في نطاق ضيق ومستقر حول الحل الأمثل، تمامًا كما تنبأت النظرية. وطابق حجم هذا النطاق الصيغة الرياضية المستمدة من معامل درجة الحرارة، مما أثبت أن النظرية تصف بدقة سلوك الخوارزمية حتى عندما لا تصل إلى نقطة مثالية واحدة.

لا يدعي هذا العمل حل كل مشكلة في التعلم المعزز، ولا يقدم خوارزمية جديدة ليستخدمها الوكلاء في الميدان. بدلاً من ذلك، فإنه يوفر طريقة أكثر وضوحًا وتوحيدًا لفهم سبب عمل الخوارزميات الموجودة. ومن خلال استبدال الأدوات الرياضية القديمة الصعبة والمسننة بنهج كثير حدود سلس ومرن، خلق الباحثون قصة واحدة متماسكة تشرح استقرار النسخ الكلاسيكية والحديثة من Q-learning. هذا الوضوح ضروري لمستقبل تطوير الذكاء الاصطناعي، لأنه يسمح للعلماء بالثقة في أن الأنظمة المعقدة التي يبنونها ستتصرف بشكل يمكن التنبؤ به وتتقارب نحو الإجابات الصحيحة، حتى عندما تعمل هذه الأنظمة في واقع العالم الحقيقي غير المتزامن والفوضوي. والنتيجة هي أساس نظري صلب يجسد الجسر بين الرياضيات المثالية للماضي والخوارزميات المرنة والسلسة للحاضر.