تخيل أنك قائد أسطول من طائرات الدرون الخاصة بالتوصيل، أو ربما مدير لفريق من شخصيات ألعاب الفيديو، ولديك قائمة بالمهام لتوزيعها. في عالم علوم الحاسوب، يُعرف هذا باسم مشكلة "المقامر متعدد الأذرع" (Multi-Armed Bandit). وهو اسم منمق لمعضلة بسيطة: لديك عدة خيارات (الأذرع في آلة القمار)، لكنك لا تعرف أي منها يمنح أفضل مكافأة. عليك تجربتها لتتعلم، ولكن في كل مرة تجرب فيها، تضيع فرصة لكسب مكافأة. الآن، تخيل أنك لست مجرد شخص واحد يتخذ هذه القرارات، بل أنت فريق كامل من الوكلاء، وتريد التأكد من أن الجميع يحصل على فرصة عادلة للحصول على المكافآت الجيدة، وليس فقط القلة المحظوظة التي تصادف الحصول على أفضل المهام. هذا هو الجزء "متعدد الوكلاء" (Multi-Agent). السؤال الكبير الذي يسأله الباحثون هو: كيف توازن بين الحاجة إلى التعلم (الاستكشاف - exploration) والحاجة إلى الكسب (الاستغلال - exploitation)، مع ضمان عدم ترك أي شخص في فريقك خلف الركب دون أي شيء؟

هذه الورقة البحثية، بعنوان "خوارزميات عادلة مع الاستقصاء للمقامر متعدد الأذرع متعدد الوكلاء" (Fair Algorithms with Probing for Multi-Agent Multi-Armed Bandits)، تتناول هذه المشكلة تحديداً. يقترح المؤلفون، وهم فريق من جامعة تولين وجامعة إلينوي، طريقة مبتكرة لاتخاذ هذه القرارات. لقد قدموا آلية "الاستقصاء" (probing)، وهي تشبه إرسال كشاف قبل أن تلتزم بفريقك بأكمله بمهمة ما. فبدلاً من تعيين سائق لكتلة سكنية بشكل أعمى والأمل في الحصول على رحلة، أو توجيه طائرة درون لمنطقة توصيل والأمل في العثند على طرد، يمكنك أولاً إلقاء نظرة خاطفة على بعض المناطق لترى ما يحدث هناك بالفعل. ومن خلال جمع هذه المعلومات الإضافية، يمكن للنظام إجراء عمليات تعيين أكثر ذكاءً وعدلاً. وقد أثبت الباحثون رياضياً أن طريقتهم تعمل بشكل جيد عندما تكون القواعد معروفة (في الحالة غير المتصلة/offline) وأنها تتعلم بسرعة دون أن تتعثر عندما تكون القواعد مخفية (في الحالة المتصلة/online).

المشكلة: الفريق الجائع والصناديق الغامضة

تخيل تطبيقاً لخدمات النقل التشاركي. لديك مجموعة من السائقين (الوكلاء) ومجموعة من أحياء المدينة (الأذرع). يحتاج التطبيق لتقرير أي سائق يذهب إلى أي حي. إذا حاول التطبيق فقط تحقيق أكبر قدر من المال للشركة ككل، فقد يرسل جميع السائقين إلى الحي الوحيد الذي يبدو الأكثر ازدحاماً. والنتيجة؟ سيصبح السائقون في ذلك المكان أغنياء، لكن السائقين في الأحياء الهادئة لن يحصلوا على شيء. إنهم "يتضورون جوعاً" من العمل. هذا هو الفخ الكلاسيكي لتعظيم "المجموع" (sum) للمكافآت؛ فهو يخلق عدم مساواة.

لإصلاح ذلك، يقترح المؤلفون أنه لا ينبغي لنا فقط جمع أرباح الجميع. بدلاً من ذلك، يجب أن ننظر إلى "رفاهية ناش الاجتماعية" (Nash Social Welfare). فكر في هذا كدرجة للفريق حيث إذا حصل أي شخص في الفريق على درجة صفر، تصبح درجة الفريق بأكره صفراً. هذا يجبر النظام على أن يكون حذراً لكي لا يترك أحداً خلفه. إنه يشجع على توزيع متوازن حيث يحصل الجميع على حصة لائقة، بدلاً من حصول القلة على كل شيء وحصول الآخرين على لا شيء.

التحول: الكشاف (الاستقصاء)

ولكن هنا تكمن العقبة: التطبيق لا يعرف في الواقع أي حي هو المزدحم. لديه فقط تخمينات. في العالم الحقيقي، تتغير حركة المرور، وتتغير الأحوال الجوية، ويتغير الطلب. إذا أخطأ التطبيق في التخمين، فقد يرسل سائقاً إلى مدينة أشباح، مما يهدر وقته ووقوده.

هنا تأتي الفكرة الكبيرة للورقة البحثية: الاستقصاء (Probing).

تخيل أنك جنرال يرسل جنوداً إلى المعركة. قبل أن ترسل الجيش بأكمله، ترسل فريق استطلاع صغيراً للتحقق من التضاريس. في عالم الورقة البحثية، يحق لـ "صانع القرار" (التطبيق) "استقصاء" بعض الأحياء قبل تعيين السائقين. الاستقصاء يعني التحقق من البيانات الحية - ربداً رؤية عدد السيارات المنتظرة حالياً أو عدد الأشخاص الذين يبحثون عن رحلات في ذلك المربع السكني المحدد. هذا يكلف القليل من الوقت أو الطاقة (التكاليف الإضافية/overhead)، ولكنه يعطي النظام صورة أوضح بكثير للواقع.

أدرك المؤلفون أنه إذا استقصوا الأحياء الصحيحة، فيمكنهم إجراء عمليات تعيين أكثر عدلاً. يمكنك أن ترى أن الحي (أ) ميت في الواقع، لذا لا ترسل سائقاً إلى هناك، وبدلاً من ذلك ترسلهم إلى الحي (ب)، وهو حي صاخب. هذا يمنع "جوع" السائقين الذين كان من الممكن إرسالهم إلى المكان الخاطئ بناءً على تخمين سيء.

كيف حلوا المشكلة: الكشاف الجشع

تقسم الورقة البحثية المشكلة إلى سيناريوهين:

1. الحالة غير المتصلة (الخريطة معروفة): تخيل أن لديك خريطة مثالية للمدينة وتعرف بالضبط عدد الرحلات التي تحدث في كل حي في المتوسط. حتى مع هذه المعرفة المثالية، فإن تحديد أفضل مجموعة من الأحياء للاستقصاء وأفضل طريقة لتعيين السائقين أمر صعب للغاية (رياضياً "NP-hard"). إنه يشبه محاولة حل لغز ضخم حيث تغير كل قطعة قيمة القطع الأخرى.

   • الحل: صمم المؤلفون خوارزمية "جشعة" (Greedy). فكر في هذا ككشاف يختار الحي التالي للتحقق منه بناءً على أي منها يعد بأكبر دفعة فورية لدرجة عدالة الفريق. لقد أثبتوا أن هذا النهج البسيط، خطوة بخطوة، يجعلهم قريبين جداً من الحل المثالي (ضمن عامل ثابت)، مما يضمن أنه حتى بدون التحقق من كل حي بمفرده، سيحصلون على نتيجة رائعة.

2. الحالة المتصلة (الخريطة غير معروفة): هذا هو سيناريو العالم الحقيقي. التطبيق لا يعرف الطلب؛ عليه أن يتعلمه أثناء القيادة.

   • الحل: أنشأوا خوارزمية تسمى OFMUP (الاستقصاء العادل متعدد الوكلاء عبر الإنترنت باستخدام UCB). هذه الخوارمة تشبه المتعلم الذكي. تبدأ بإرسال كشافات لتعلم الأساسيات. ثم، مع جمع البيانات، تستخدم استراتيجية "حد الثقة" (confidence bound). إذا لم تكن متأكدة من حي ما، فهي تستقصيه أكثر لتكون متأكدة. وإذا كانت متأكدة تماماً، تتوقف عن إضاعة الوقت وتعين السائقين.
   • النتيجة: لقد أثبتوا رياضياً أن هذه الطريقة تتعلم بسرعة. "الندم" (regret) (أي مقدار المال أو السعادة الضائعة بسبب عدم اتخاذ الخيار المثالي) ينمو ببطء شديد. في الواقع، تؤدي طريقة الاستقصاء الخاصة بهم بشكل أفضل بكثير من الطرق التي لا تستخدم الاستقصاء على الإطلاق.

ماذا أظهرت التجارب

لاختبار أفكارهم، أجرى المؤلفون عمليات محاكاة واستخدموا حتى بيانات حقيقية من مجموعة بيانات سيارات الأجرة الصفراء في مدينة نيويورك لعام 2016. لقد عاملوا سيارات الأجرة كوكلاء وكتل المدينة كأذرع.

• الإعداد: اختبروا أحجاماً مختلفة من الفرق (من 12 إلى 20 سائقاً) وأعداداً مختلفة من الأحياء (من 8 إلى 10). كما اختبروا أنواعاً مختلفة من "المكافآت" (بعضها بسيط وبعضها معقد).
• المقارنة: قارنوا طريقتهم بما يلي:
  • عدم الاستقصاء: التخمين فقط دون التحقق.
  • الاستقصاء العشوائي: التحقق من أحياء عشوائية وتعيين السائقين عشوائياً.
  • الاستقصاء الجشع مع التعيين العشوائي: التحقق بذكاء ولكن مع تعيين السائقين عشوائياً.
• النتيجة: سحقت طريقتهم، OFMUP، المنافسين. في بعض الاختبارات، قللت من "الندم" (الفرصة الضائعة) بنسبة 85% مقارنة بالاستقصاء العشوائي وبنسبة 60% مقارنة بالاستقصاء الجشع مع التعيين العشوائي. والأكثر إثارة للإعجاب هو أنه كلما أصبحت المشكلة أكبر وأكثر تعقيداً، أصبحت طريقتهم أفضل في المواكبة، بينما عانت الطرق الأخرى.

الخلاصة

هذه الورقة لا تقول فقط "الاستقصاء جيد". بل تقدم إطاراً رياضياً صارماً لكيفية الاستقصاء وكيفية تعيين المهام لضمان العدالة. إنها تجادل ضد فكرة أنه ينبغي لنا فقط تعظيم مجموع المكافآت، موضحة أن هذا غالباً ما يؤدي إلى "جوع" غير عادل لبعض الوكلاء. بدلاً من ذلك، من خلال استخدام مقياس "رفاهية ناش الاجتماعية" وإضافة طبقة من جمع المعلومات النشط (الاستقصاء)، يمكننا بناء أنظمة ليست فعالة فحسب، بل عادلة أيضاً.

يظهر المؤلفون أنه في عالم مليء بعدم اليقين، فإن تخصيص لحظة لإلقاء نظرة (الاستقصاء) قبل القفز (التعيين) هو المفتاح لإبقاء الفريق بأكمله سعيداً وناجحاً. تشير أعمالهم إلى أنه مع الخوارزمية الصحيحة، يمكننا الحصول على كل شيء: أداء عالٍ للنظام وحصة عادلة لكل وكيل على حدة.