تخيل عالماً حيث تعلم روبوتاً كيف يتنقل في متاهة، أو شخصية في لعبة فيديو كيف تتقن قتال زعيم، أو ذكاءً اصطناعياً كيف يكتب قصة مثالية. هذا هو مجال التعلم التعزيزي (Reinforcement Learning - RL)، وهو فرع من فروع الذكاء الاصطناعي حيث يتعلم "الوكيل" عن طريق التجربة والخطأ، محاولاً تعظيم "درجته" أو مكافأته. فكر في الأمر كتدريب كلب على الحركات: يحصل على مكافأة مقابل حركة جيدة، وكلمة "لا" لطيفة مقابل حركة سيئة. بمرور الوقت، يستنتج الكلب أفضل تسلسل من الأفعال للحصول على أكبر قدر من المكافآت.

في هذا العالم، هناك طريقتان رئيسيتان لإعداد اللعبة. أحياناً، تستمر اللعبة إلى الأبد، ويكون الهدف هو الحصول على أفضل متوسط درجة عبر وقت لا نهائي. ولكن غالباً ما يكون للعبة خط نهاية صارم — عدد محدد من الخطوات، مثل زنزانة مكونة من 100 مستوى أو سباق سريع لمدة 30 ثانية. يُسمى هذا الأفق المحدود (finite-horizon). التحدي هنا هو أن "الحركة الأفضل" تتغير بناءً على الوقت المتبقي. إذا كان لديك 100 خطوة متبقية، فقد تتخذ طريقاً مختصراً محفوفاً بالمخاطر؛ أما إذا تبقى لديك 5 خطوات فقط، فستلعب بحذر. هذا يجعل الرياضيات أكثر تعقيداً بكثير لأن قواعد اللعبة تتغير مع مرور الوقت. لقد عرف العلماء منذ زمن طويل كيفية تعليم الوكلاء في ألعاب "الأبد"، لكن تحديد السرعة الدقيقة التي يتعلمون بها في ألعاب "العد التنازلي" هذه كان قطعة مفقودة من اللغز.

يأتي هذا البحث ليسد هذه الفجوة من خلال تحليل طريقة تعلم قوية ومحددة تسمى تدرج السياسة الطبيعي (Natural Policy Gradient - NPG). يمكنك التفكير في NPG كمدرب ذكي وحذر للغاية. فبخلاف المدرب العادي الذي يكتفي بالقول: "افعل المزيد مما نجح، وأقل مما لم ينجح"، فإن NPG يفهم "شكل" مساحة التعلم. إنه يدرك أن بعض الاتجاهات في عملية التعلم تكون أكثر انحداراً أو انحناءً من غيرها، لذا فهو يعدل خطواته لتجنب التمايل أو تجاوز الهدف. هذه الطريقة هي "الخلطة السرية" وراء بعض أنصاف النجاحات الشهيرة للذكاء الاصطناعي في الألعاب والروبوتات اليوم.

لقد طرح مؤلفو هذا البحث سؤالاً بسيطاً ولكنه صعب: ما مدى سرعة تعلم هذا المدرب الذكي عندما يكون للعبة نهاية حتمية؟ لم يكتفوا بالتخمين؛ بل قاموا بالجهد الرياضي الشاق لإثبات كيفية تقلص الخطأ بدقة. ووجدوا أنه إذا اتخذ المدرب خطوات ثابتة وغير متغيرة، فإن سرعة التعلم تكون جيدة ولكنها تتباطأ بمرور الوقت، متبعة نمطاً معيناً مرتبطاً بطول اللعبة. ومع ذلك، إذا سُمح للمدرب باتخاذ خطوات أكبر فأكبر كلما اقترب من خط النهاية، فإن سرعة التعلم تنفجر لتصبح "عدواً سريعاً" هندسياً. لقد أثبتوا هذه السرعات رياضياً في سيناريوهات العالم المثالي البسيطة، وأظهروا من خلال عمليات المحاكاة أن اختبارات العالم الحقيقي تطابق توقعاتهم.

قصة مدرب العد التنازلي

دعونا نتعمق في تفاصيل هذا البحث، الذي يركدز على عمليات ماركوف لاتخاذ القرار ذات الأفق المحدود (Finite-Horizon Markov Decision Processes). باللغة البسيطة، هذا مجرد اسم معقد للعبة ذات عدد محدد من الأدوار، ومجموعة من الحالات الممكنة (مثل المواقع على لوحة)، ومجموعة من الأفعال (مثل التحرك يساراً أو يميناً). "الأفق" هو ببساطة إجمالي عدد الأدوار قبل انتهاء اللعبة.

درس الباحثون خوارزمية تسمى تدرج السياسة الطبيعي (NPG). تخيل أنك تحاول العثين على أعلى قمة في سلسلة جبال ضبابية. النهج القياسي قد يكون اتخاذ خطوة في الاتجاه الذي يبدو أكثر انحداراً. لكن NPG يشبه امتلاك خريطة تعرف أن التضاريس وعرة؛ فهو يتخذ خطوة تأخذ في الاعتبار انحناء الأرض، مما يضمن عدم الانزلاق أو اتخاذ خطوة كبيرة جداً بالنسبة للتضاريس. هذه الطريقة هي الأساس لأدوات شهيرة مثل TRPO و PPO، التي ساعدت الذكاء الاصطناعي على هزيمة البشر في ألعاب معقدة.

المشكلة الكبيرة التي يعالجها البحث هي أن معظم الإثباتات الرياضية السابقة لـ NPG كانت تعمل فقط للألعاب التي تستمر للأبد. ولكن في العالم الحقيقي، العديد من المهام لها موعد نهائي. عندما تنتهي اللعبة بعد $H$ من الخطوات، فإن "الحركة الأفضل" ليست هي نفسها في الخطوة 1 كما هي في الخطوة $H-1$. هذا يخلق تأثير الدومينو: تغيير استراتيجيتك للخطوة 1 يغير مكان وصولك في الخطوة 2، مما يغير الحركة الأفضل للخطوة 2، وهكذا. إنها شبكة متشابكة من التبعيات التي تجعل الرياضيات صعبة للغاية.

سرعتان للتعلم

يقدم البحث أول ضمانات "الزمن المحدود" لهذه الخوارزمية في سيناريوهات العد التنازلي هذه. وهذا يعني أنهم لم يقولوا فقط: "سوف تصل في النهاية". بل قالوا: "إليك بالضبط مدى قربك من الهدف بعد $t$ من الخطوات". وقد اكتشفوا طريقتين متميزتين يمكن للخوارزمية أن تسلكهما، اعتماداً على كيفية اختيار "حجم الخطوة" (حجم خطوة التعلم).

1. السائر الثابت (حجم خطوة ثابت)
أولاً، نظر المؤلفون فيما يحدث إذا اتخذ المدرب نفس حجم الخطوة في كل مرة، بغض النظر عن مدى قربه من النهاية. وقد أثبتوا أنه في هذا السيناريو، تتقارب الخوارزمية دون خطياً (sublinearly).

ماذا يعني ذلك؟ تخيل أنك تمشي نحو جدار. في البداية، تأخذ خطوات واسعة. ومع اقترابك، تتباطأ. الخطأ (المسافة بين درجتك الحالية والدرجة المثالية) يتقلص، لكنه يصبح أبطأ فأبطأ. يثبت البحث أنه بعد $t$ من التكرارات، يكون الخطأ متناسباً تقريباً مع $O(H^2/t)$.

هنا، $H$ هو طول اللعبة (الأفق)، و $t$ هو عدد الخطوات التي اتخذتها الخوارزمية. جزء $H^2$ حاسم: وهو يعني أنه إذا كانت لعبتك أطول بمرتين، فإن التعلم يصبح أصعب (أو أبطأ) بأربع مرات باستخدام هذا النهج الثابت. أظهر المؤلفون أنه للعبة بطول $H$، تحتاج تقريباً إلى $2(H-h+1)^2/\epsilon$ من الخطوات لتكون ضمن هامش خطأ ضئيل $\epsilon$ من الدرجة المثالية عند نقطة محددة $h$ في اللعبة. كما وسعوا هذا الإثبات ليشمل "نماذج ماركوف الخطية" (Linear MDPs)، وهي إطار أكثر تعقيداً حيث توصف قواعد اللعبة بمعادلة رياضية بدلاً من جدول بحث ضخم، موضحين أن نفس السرعة البطيئة والثابتة تنطبق هناك أيضاً، بشرط وجود "أوراكل" (مساعد سحري) مثالي لحساب القيم بدقة.

2. العداء السريع (حجم خطوة متزايد)
بعد ذلك، سأل المؤلفون: "ماذا لو سمحنا للمدرب باتخاذ خطوات أكبر مع اقترابه من النهاية؟" هنا يصبح الأمر مثيراً. لقد أثبتوا أنه إذا زدنا حجم الخطوة بطريقة معينة، فإن الخوارزمية تتحول من المشي البطيء إلى التقارب الهندسي (الخطي).

التقارب الهندسي يشبه الصاروخ. بدلاً من التباطؤ، يتم قطع الخطأ إلى النصف (أو بنسبة مئوية ثابتة) مع كل خطوة. يثبت البحث أنه مع الجدول الزمني الصحيح، يتقلص الخطأ بمعدل $O((1 - 1/\vartheta_\rho)^t)$.

المصطلح $\vartheta_\rho$ هو "معامل عدم التطابق" الذي يعتمد على كيفية إعداد اللعبة وتوزيع المواضع الابتدائية. في أفضل السيناريوهات، حيث تكون اللعبة متوازنة تماماً، يساوي هذا المعامل طول الأفق $H$. وهذا يعني أن الخطأ يتقلص بمعامل $(1 - 1/H)$ في كل خطوة.

لجعل هذا أمراً عملياً، اقترح المؤلفون "جدولاً قوياً يعتمد على الأفق فقط". وهي قاعدة لكيفية زيادة حجم الخطوة تعتمد فقط على طول اللعبة ($H$)، وليس على التفاصيل الفوضوية للعبة المحددة. القاعدة هي:
$$\eta_t = \eta_0 \left( \frac{H}{H-1} \right)^t$$
تخبر هذه الصيغة المدرب بالضبط مقدار نمو حجم خطوته في كل دورة. يثبت البحث أن استخدام هذه القاعدة يضمن السرعة الهندسية السريعة، حتى دون معرفة التفاصيل المحددة لـ "عدم تطابق" اللعبة.

إثبات المحاكاة

الإثباتات الرياضية رائعة، ولكن هل تصمد في الممارسة العملية؟ أجرى المؤلفون عمليات محاكاة حاسوبية للتحقق من نظرياتهم.

في التجربة الأولى، أنشأوا لعبة عشوائية مكونة من 15 موقعاً، و4 أفعال، وأفق طوله 7 خطوات. تركوا الخوارزمية تعمل بحجم خطوة ثابت. طابقت النتائج نظريتهم تماماً: انخفض الخطأ بثبات، متبعاً منحنى $O(1/t)$. وعندما نظروا إلى نقاط مختلفة في اللعبة (الآفاق)، كان الخطأ أصغر في الخطوات المتأخرة، تماماً كما توقعت الرياضيات، بسبب وجود "مستقبل" أقل لإفساد المسار.

في التجربة الثانية، أقاموا لعبة حيث عرفوا أن "معامل عدم التطابق" يساوي تماماً طول الأفق ($H=7$). استخدموا جدول حجم الخطوة المتزايد. كانت النتائج دراماتيكية. لم ينخفض الخطأ فحسب، بل هبط بشكل هندسي. أظهر الرسم البياني تقلص الخطأ بعامل قدره تقريباً $(1 - 1/7)$ في كل خطوة، مما أكد سلوك "العداء السريع". كما اختبروا ذلك على نقاط بداية مختلفة في اللعبة، وصمدت الرياضيات في كل مرة.

لماذا يهم هذا؟

هذا البحث هو خطوة تأسيسية. هو لا يدعي أنه حل كل مشكلة في الذكاء الاصطنا_ي، ولا يدعي أنه يعمل مع بيانات العالم الحقيقي الفوضوية حيث لا تعرف القواعد تماماً (هذه مهمة للأبحاث المستقبلية). بدلاً من ذلك، هو يوفر الأساس النظري. إنه يثبت أنه في نسخة "العالم المثالي" لألعاب العد التنازلي هذه، نحن نعرف بالضبط مدى سرعة تعلم تدرج السياسة الطبيعي.

إنه يخبرنا أننا إذا أردنا نتائج سريعة في الألعاب القصيرة، فلا ينبغي لنا فقط اتخاذ خطوات ثابتة؛ بل نحتاج أن نكون شجعان ونزيد حجم خطوتنا أثناء التقدم. كما يسلط الضل على وجود مقايضة: كلما طالت اللعبة، زادت صعوبة التعلم بسرعة مع وتيرة ثابتة، ولكن استراتيجية "العداء السريع" يمكنها التغلب على هذه الصعوبة إذا تم ضبطها بشكل صحيح.

من خلال وضع هذه المعدلات، أعطى المؤلفون الباحثين المستقبليين خط أساس. الآن، عندما يبني شخص ما ذكاءً اصطناعياً جديداً يتعلم من بيانات غير كاملة (حيث يتعين عليه تخمين القواعد)، يمكنه مقارنة طريقته الجديدة بهذه السرعات "المثالية" المثبتة ليرى مقدار ما يخسره بسبب الضجيج وعدم اليقين. إنه خريطة للمنطقة، توضح لنا بالضبط مدى سرعة ركض أذكى المدربين عندما يكون الطريق واضحاً.