تخيل عالماً لا يقتصر فيه التعلم على مجرد الجلوس في فصل دراسي والاستماع إلى معلم، بل يدور حول لعبة ضخمة لا مركزية يحاول فيها ملايين اللاعبين حل الألغاز في نفس الوقت. هذا هو مجال التعلم التعزيزي (Reinforcement Learning - RL)، وهو نوع من الذكاء الاصطناعي حيث تتعلم فيه الوكلاء الحاسوبية عن طريق التجربة والخطأ، محاولةً الحصول على أعلى درجة ممكنة من خلال التفاعل مع بيئتها. فكر في الأمر كشخصية في لعبة فيديو تتعلم كيف تقفز فوق الحفر ليس لأن شخصاً ما أخبرها بذلك، بل لأنها جربت ذلك، وسقطت، وأدركت: "آه، لا تفعل ذلك مجدداً".

الآن، تخيل أن هؤلاء اللاعبين لا يمكنهم مشاركة شاشات ألعابهم أو ملفات حفظ تقدمهم مع بعضهم البعض بسبب قواعد خصوصية صارمة؛ إذ يتعين عليهم التعلم على أجهزتهم الخاصة. هذا هو التعلم الاتحادي (Federated Learning)، وهو أسلوب يسمح للعديد من الحواسيب بتدريب نموذج مشترك دون تبادل بياناتهم الخاصة أبداً. وعندما نضيف "التخصيص" إلى المزيج، نحصل على التعلم التعزيزي الاتحادي المخصص (Personalized Federated Reinforcement Learning - PFRL). هذا يشبه وجود مجموعة دراسية حيث يتعلم الجميع من الحكمة العامة للمجموعة، ولكن كل طالب يقوم أيضاً بتكييف الدروس لتناسب احتياجاته وظروفه الخاصة. التحدي الكبير في هذا المجال هو الاستكشاف (Exploration): كيف تعلم وكيلاً تجربة أشياء جديدة ومخاطرة عندما تكون المكافآت (مثل النقاط أو الجوائز) نادرة، أو متأخرة، أو يصعب العثور عليها؟ إذا كان الوكيل حذراً للغاية، فلن يكتشف أبداً الحركات الأفضل.

المسافرون الفضوليون: طريقة جديدة للاستكشاف معاً

تعرف على إطار عمل EDPFRL-IM، وهو نظام ذكي جديد اقترحه محمد رافد إسلام وفريقه. فكر في هذا النظام كمجموعة من المستكشفين الفضوليين المنتشرين عبر أرخبيل شاسع وضبابي. كل مستكشف (أو "عميل") عالق في جزيرته الخاصة، يحاول العثور على الكنز المخفي في المشهد. الجزر مختلفة؛ فبعضها به جاذبية ثقيلة، وبعضها أرض زلقة، والكنز مدفون في أماكن مختلفة لكل شخص. العائق هو أنهم لا يستطيعون إظهار خرائطهم أو تجاربهم الخام لبعضهم البعض بسبب قواعد الخصوصية؛ يمكنهم فقط إرسال بطاقات بريدية صغيرة مشفرة.

في الماضي، حاول هؤلاء المستكشفون التعلم بمجرد اتباع بعض القرائن التي يجدونها (المكافآت) أو من خلال التجول العشوائي. ولكن عندما كان الكنز صعب العثور عليه (مكافآت نادرة) أو يستغرق وقتاً طويلاً للظهور (مكافآت متأخرة)، غالباً ما كانوا يعلقون أو يستسلمون. كانوا مثل المتنزهين في غابة كثيفة لا يتحركون إلا عندما يرون لوحة إرشادية؛ وإذا لم تكن هناك لوحات، فإنهم يظلون واقفين في أماكنهم.

الفكرة الكبيرة: الفضول كبوصلة
أدرك المؤلفون أنه لكي يجد المستكشفون الكنز، يحتاجون إلى دافع داخلي (Intrinsic Motivation)، وتحديداً باستخدام أداة تسمى توزيع الشبكة العشوائية (Random Network Distillation - RND). تخيل منح كل مستكشف "كاشفاً للجدة" (Novelty Detector). هذا الكاشف هو زوج من النظارات السحرية: إحدى العدسات ذات نمط عشوائي ثابت، والعدسة الأخرى قابلة للتدريب وتحاول تخمين النمط. عندما يرى المستكشف شيئاً جديداً وغريباً، لا تتطابق العدستان، مما يخلق "خطأ في التنبؤ". يعمل هذا الخطأ كشرارة من الإثارة—مكافأة إضافية لمجرد رؤية شيء جديد.

لذا، حتى لو كان الكنز الحقيقي (المكافأة الخارجية) بعيداً، يحصل المستكشفون على "مكافأة فضول" صغيرة لمجرد زيارة أجزاء جديدة وغير مستكشفة من جزيرتهم. هذا يبقيهم في حالة حركة واستقصاء، حتى عندما يكون الطريق مظلماً.

نظام البطاقات البريدية السرية
هنا يبرز سحر الورقة البحثية حقاً. إذا اتبع كل مستكشف فضوله الخاص فحسب، فقد ينتهي بهم الأمر جميعاً بالتجول في نفس البقعة المملة من الغابة، أو الأسوأ من ذلك، قد يفوتهم أفضل الأماكن لأنهم معزولون للغاية. ابتكر المؤلفون طريقة للتنسيق فيما بينهم دون كسر الخصوصية.

بين الحين والآخر، يرسل كل مستكشف "ملخصاً" صغيراً ومضغوطاً إلى خادم مركزي. هذا الملخص ليس خريطة أو صورة؛ بل هو مجرد قائمة بـ "الأشياء الجديدة الرائعة التي رأيتها" (مثل هاش لـ حالة فريدة أو عدد الزيارات). يجمع الخادم هذه الملخصات الصغيرة من 10 مستكشفين (في محاكاتهم) وينشئ أولوية جدة عالمية (Global Novelty Prior). فكر في هذا كـ "خريطة نقاط ساخنة" مشتركة وعملاقة تسلط الضوء على المناطق التي لم تُستكشف جيداً بعد من قبل المجموعة ككل.

ثم يرسل الخادم هذه الخريطة مرة أخرى إلى المستكشفين. الآن، عندما يقرر المستكشف أين سيذهب تالياً، فهو لا يتبع فضوله الخاص فحسب؛ بل يتحقق أيضاً من الخريطة العالمية. إذا قالت الخريطة: "مهلاً، المنحدرات الشمالية فارغة جداً الآن"، فمن المرجح أن يتجه المستكشف إلى هناك. هذا هو الاستكشاف المنسق: الجميع يحافظ على خصوصيته، لكنهم يضمنون جماعياً عدم ترك أي ركن مثير للاهتمام دون زيارة.

ما وجدوه
اختبر الفريق هذه الفكرة في بيئتين كلاسيكيتين تشبهان ألعاب الفيديو: MountainCar-v0 (حيث يجب على سيارة صعود تلة ولكنها لا تملك القوة الكافية للصعود مباشرة) و CartPole-sparse (حيث يتعين عليك موازنة عمود، لكنك تحصل على نقاط فقط إذا حافظت على توازنه لفترة طويلة). هذه ألعاب صعبة حيث تكون المكافآت نادرة ويصعب الحصول عليها.

في عمليات المحاكاة الخاصة بهم، أعدوا 10 عملاء (مستكشفين) بنسخ مختلفة قليلاً من هذه الألعاب—بعضهم لديه جاذبية أثقل، وبعضهم لديه مستويات احتكاك مختلفة. قاموا بتشغيل التدريب لمدة 100 جولة اتصال، مع قيام كل عميل بـ 10 تحديثات محلية لكل جولة.

كانت النتائج واعدة. تفوق نظام EDPFRL-IM باستمرار على الطرق الأخرى، بما في ذلك التعلم الاتحادي القياسي (حيث يتشارك الجميع معرفتهم فقط) وحتى الطرق التي استخدمت الفضول ولكن دون تنسيق (FedRL+RND).

• في لعبة MountainCar، وصل النظام الجديد إلى متوسط عائد قدره 0.76، بينما حققت الطريقة التالية الأفضل (FedRL+RND) 0.48 فقط.
• في لعبة CartPole، سجل EDPFRL-IM نتيجة 0.74، متفوقاً على 0.52 التي حققها المنافس الثاني.

تشير الورقة البحثية إلى أن هذا النظام مفيد بشكل خاص لمساعدة "عملاء البداية الباردة" (Cold-start clients)—وهم المستكشفون الجدد الذين ينضمون إلى المجموعة متأخراً. ولأنهم يمكنهم فوراً الاستفيد من "أولوية الجدة العالمية" التي أنشأها الآخرون، فإنهم يتكيفون بسرعة أكبر مما لو اضطروا للبدء من الصفر.

ما لا تدعيه الورقة
من المهم ملاحظة ما لا تدعيه هذه الورقة. يجادل المؤلفون صراحة ضد فكرة أن طرق الاستكشاف القياسية (مثل مجرد اختيار حركات عشوائية أو استخدام قواعد الإنتروبيا البسيطة) كافية لهذه البيئات الصعبة ذات المكافآت النادرة. كما يظهرون أن مجرد إضافة الفضول (RND) دون خطوة التنسيق ليس هو الحل الكامل؛ فـ "أولوية الجدة العالمية" هي المكون السري الذي يصنع الفارق.

علاوة على ذلك، تعتمد هذه النتائج على محاكاة في بيئات محكومة. لا تدعي الورقة أن هذا قد تم اختباره على روبوتات حقيقية أو في بيئات طبية حية بعد، رغم أن المؤلفين ذكروا مراقبة الصحة والروبوتات كتطبيقات مستقبلية محتملة. الأرقام المقدمة (مثل وزن 0.1 للمكافأة الداخلية و 0.5 لانحياز الجدة) هي محددة لإعدادهم التجريبي.

الخلاصة
ببساة، تظهر هذه الورقة أنه إذا كنت تريد لمجموعة من وكلاء الذكاء الاصطناعي أن يتعلموا بفعالية دون مشاركة بياناتهم الخاصة، فلا تتركهم يتجولون بمفردهم فحسب. بدلاً من ذلك، امنحهم حساً بالفضول لإبقائهم في حالة حركة، واسمح لهم بمشاركة تلميحات صغيرة مجهولة الهوية حول الأماكن "غير المعروفة". ومن خلال الجمع بين الفضول الفردي والحس المشترك بالاتجاه، يمكن للمجموعة استكشاف العالم بكفاءة أكبر، والتعلم بشكل أسرع، وإيجاد حلول أفضل مما لو كانوا يعملون في عزلة. إنه يشبه مجموعة من الأصدقاء يحلون لغزاً: إذا شاركوا جميعاً "تلميحاتهم" دون الكشف عن أسرارهم، فيمكنهم حل القضية بشكل أسرع مما يمكن لأي فرد منهم بمفرده.