Gated Q-learning: Add Off-Policy Bias to Taste

تخيل أنك تعلم روبوتًا كيفية التنقل في متاهة للعثور على كنز مخفي. يتعلم الروبوت من خلال تجربة الأشياء: يتحرك، يصطدم بالجدران، يجد طرقًا مسدودة، وأحيانًا يعثر على الذهب بالصدفة. تسمى هذه العملية التعلم المعزز (Reinforcement Learning). هدف الروبوت هو معرفة أي التحركات تؤدي إلى الحصول على أكبر قدر من الكنوز بمرور الوقت. جزء رئيسي من ذلك هو تخصيص الائتمان (Credit Assignment): وهو تحديد أي خطوات معينة في رحلة طويلة كانت مسؤولة بالفعل عن المكافأة النهائية. هل حصل الروبوت على الذهب بسبب آخر انعطافة قام بها، أم بسبب حركة ذكية قام بها قبل عشر دقائق؟

للتعلّم بشكل أسرع، غالبًا ما تستخدم الروبوتات حيلة تسمى تعلم Q (Q-learning). فبدلاً من الانتظار حتى نهاية اللعبة للتعلم، يقوم الروبوت بتحديث معرفته بعد كل خطوة بمفردها، مستخدمًا ما يعرفه عن المستقبل لتخمين قيمة الحاضر. ومع ذلك، هناك عقبة؛ فالروبوت يتعلم أثناء الاستكشاف (تجربة تحركات عشوائية)، لكنه يريد التصرف كخبير مثالي، جشع، لا يرتكب الأخطاء أبدًا. وهذا يخلق صراعًا: إذا تعلم الروبوت من حركة عشوائية "سخيفة" قام بها فقط ليرى ما سيحدث، فقد يعلم نفسه بالخطأ عادات سيئة. لعقود من الزمن، ظل العلماء عالقين في موقف صعب: إما التوقف عن التعلم عندما يقوم الروبوت بحركة "سخيفة" (وهو أمر آمن ولكنه بطيء للغاية)، أو الاستمرار في التعلم من كل شيء (وهو أمر سريع ولكنه محفوف بالمخاطر لأن الروبوت قد يتعلم من أخطائه).

يقدم هذا البحث حلاً ذكيًا جديدًا يسمى تعلم Q المبوّب (Gated Q-learning). يقترح المؤلف، بريت ديلي، طريقة للحصول على أفضل ما في العالمين. فبدلاً من وجود مفتاح "تشغيل/إيقاف" صارم، يقدم "بوابة" أو مفتاح تعتيم. عندما يقوم الروبوت بحركة سخيفة، استكشافية، لا تُغلق البوابة تمامًا؛ بل تُغلق جزئيًا، مما يسمح بمرور قدر ضئيل فقط من التعلم. هذا يسمح للروبوت بالاستمرار في التعلم من سلاسل الأحداث الطويلة دون أن يرتبك بسبب تجاربه العشوائية. ومن خلال المحاكاة الحاسوبية، يظهر البحث أن هذا النهج "المتزن تمامًا" يساعد الروبوت على التعلم بشكل أسرع بكثير من الطرق المتطرفة القديمة، حيث يجد نقطة التوازن التي تمكنه من التعلم بسرعة دون ارتكاب الكثير من الأخطاء.

المشكلة: معضلة "الكل أو لا شيء"

تخيل أنك مدرب تدرب لاعب كرة قدم. اللاعب يتعلم اللعب، لكنه يجرب أيضًا ركلات غريبة وجديدة ليرى ما سيحدث.

• الطريقة (أ) (المدرب الصارم): في كل مرة يحاول فيها اللاعب ركلة تجريبية غريبة، يصرخ المدرب: "توقف! انسَ ذلك!" ويعيد ضبط التدريب. هذا آمن لأن اللاعب لا يتعلم أبدًا من الحركة السيئة، لكنهم يتعلمون ببطء شديد لأنهم يقضون معظم وقتهم في التوقف وإعادة الضبط. هذا يشبه Watkins' Q(λ).
• الطة (ب) (المدرب المتساهل): يترك المدرب اللاعب يستمر، حتى بعد ركلة تجريبية سيئة. يقول: "حسنًا، كانت تلك ركلة سيئة، ولكن لنرَ ماذا سيحدث بعد ذلك!" هذا سريع لأن اللاعب يستمر في الحركة، لكنهم قد يتعلمون بالخطأ أن "الركلات السيئة هي في الواقع جيدة" إذا حالفهم الحظ لاحقًا. هذا يشبه Peng's Q(λ).

لمدة 30 عامًا، كان على المدربين (أو باحثي الذكاء الاصطناعي) الاختيار بين أن يكونوا صارمين للغاية وبطيئين، أو متساهلين للغاية ومخاطرين. المحاولات الحديثة لإصلاح ذلك تتضمن عادةً رياضيات معقدة تسمى "أخذ عينات الأهمية" (importance sampling)، لكن هذه الرياضيات تنهار عندما يحاول الروبوت أن يكون خبيرًا جشعًا ومثاليًا. الأمر يشبه محاولة استخدام ميزان معقد لوزن ريشة؛ الأداة ببساطة لا تعمل لهذه المهمة المحددة.

الحل: "البوابة"

يقدم البحث تعلم Q المبوّب (Gated Q-learning)، والذي يعمل كبوابة ذكية وقابلة للتعديل بين المدرب واللاعب.

بدلاً من "التوقف" القاطع أو "الانطلاق" الكامل، تعمل هذه البوابة كمفتاح تعتيم. عندما يقوم اللاعب بحركة ذكية ومعيارية، تكون البوابة مفتوحة على مصراعيها (تعلم كامل). ولكن عندما يقوم اللاعب بحركة غريبة وتجريبية، لا تُغلق البوابة تمامًا، بل تُغلق جزئيًا.

فكر في الأمر مثل أنبوب مياه:

• المدرب الصارم يغلق الأنبوب تمامًا إذا بدا الماء عكرًا قليلاً.
• المدرب المتساهل يسمح للماء العكر بغمر النظام.
• تعلم Q المبوّب يضع مرشحًا (فلتر) في الأنبوب. إذا كان الماء عكرًا (بسبب حركة تجريبية)، فإن المرشح يسمح بمرور بعض منه ولكنه ينقيه قليلًا. إنه يقول: "حسنًا، سنتعلم قليلًا من هذا، ولكن ليس بقدر ما لو كانت حركة مثالية".

يتم التحكم في هذه "البوابة" بواسطة رقم يسميه الباحث χ (chi).

• إذا كانت χ = 0، تغلق البوابة بإحكام أمام الحركات السيئة (مثل المدرب الصارم).
• إذا كانت χ = 1، تظل البوابة مفتوحة على مصراعيها (مثل المدرب المتساهل).
• إذا كانت χ = 0.5، تكون البوابة نصف مفتوحة، مما يسمح بمرور قدر متوسط من التعلم.

ما الذي وجدوه

اختبر المؤلف هذه الفكرة في محاكاة حاسوبية لـ "سير عشوائي" بسيط (خط مستقيم به 19 نقطة، حيث يتعين على الروبوت العثور على الطرف الصحيح). أجروا آلاف التجارب، وغيروا الإعدادات لكيفية سرعة تعلم الروبوت، ومدى الرجوع في الزمن، ومقدار انفتاح البوابة.

إليك ما أظهرته عمليات المحاكاة:

1. وجود النقطة المثالية: تعلم الروبوت بشكل أسرع عندما تم ضبط البوابة على مستوى "متوسط" (حوالي χ = 0.45). لم تكن مفتوحة بالكامل، ولم تكن مغلقة تمامًا.
2. تعلم أسرع: باستخدام هذه البوابة المتوسطة، تعلم الروبوت بشكل أسرع بكثير من كل من المدربين الصارم والمتساهل. لقد استطاع النظر بعيدًا في الماضي لمعرفة ما تسبب في المكافأة، دون الارتباك بسبب تجاربه العشوائية.
3. المتانة: كانت النتائج متسامحة بشكل مدهش. حتى لو لم يتم ضبط البوابة على الرقم المثالي، طالما كانت في مكان ما في المنتصف (بين 0.2 و 0.6)، فإن الروبوت لا يزال يتعلم بشكل جيد جدًا.

النظرية وراء السحر

الورقة البحثية لا تكتفي بإظهار أن هذا يعمل فحسب، بل تثبت لماذا يعمل ذلك باستخدام الرياضيات. لقد أظهروا أن هذا الأسلوب "المبوّب" هو تطبيق تقليص (contraction mapping). بعبارات بسيطة، هذا يعني أنه في كل مرة يحدث فيها الروبوت معرفته، فإنه يقترب رياضيًا من الحقيقة، ولن يعلق أبدًا في حلقة مفرغة أو يخرج عن السيطرة.

كما أثبتوا أن الروبوت يستقر في النهاية على "نقطة ثابتة" محددة. هذه النقطة الثابتة ليست الخبير المثالي (لأن الروبوت لا يزال يتعلم قليلًا من أخطائه)، لكنها خبير جيد جدًا تعلم بشكل أسرع من أولئك الذين رفضوا التعلم من الأخطاء تمامًا. تؤكد الرياضيات أنه من خلال ضبط البوابة، يمكنك التحكم بدقة في مقدار "الانحياز" (التعلم من الأخطاء) الذي أنت مستعد لقبوله للحصول على تعلم أسرع.

لماذا هذا مهم

يشير هذا البحث إلى أنه ليس علينا الاختيار بين الأمان والسرعة في تدريب الذكاء الاصطناعي. من خلال إضافة "بوابة" تعمل كمرشح جزئي لضجيج الاستكشاف، يمكننا بناء وكلاء يتعلمون بكفاءة من سلاسل الأحداث الطويلة. وبينما تم اختبار هذا في محاكاة بسيطة، يعتقد المؤلف أنه يمكن دمج هذا الأسلوب بسهولة في أنظمة الذكاء الاصطناعي الأكثر تعقيدًا (مثل تلك المستخدمة في ألعاب الفيديو أو الروبوتات) لجعلها تتعلم بشكل أسرع دون الحاجة إلى الرياضيات المعقدة لـ "أخذ عينات الأهمية". إنه تعديل بسيط وأنيق يحل مشكلة استمرت 30 عامًا لباحثي الذكاء الاصطناعي.