Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits

تخيل أنك قبطان سفينة فضائية تبحر في مجرة تتغير فيها قواعد الفيزياء كل بضع ساعات. أحياناً تجذب الجاذبية للأعلى، وأحياناً للأسفل، وأحياناً تتلاشى تماماً. لكي تنجو، تحتاج إلى حاسوب ملاحة يتعلم من قفزاتك الماضية لكنه لا يقع في فخ العادات القديمة. هذا هو عالم "المندليات السياقية" (Contextual Bandits)، وهو فرع من فروع الذكاء الاصطناعي يساعد الحواسيب على اتخاذ قرارات ذكية عندما تكون "الخيارات الأفضل" في حالة تغير مستمر. فكر في الأمر كإنسان آلي يحاول تخمين نكهة الآيس كريم التي يريدها أحد الزبائن؛ إذا كانت ذائقة الزبون تتغير كل يوم، فلا يمكن للروبوت أن يتذكر فقط ما كان يحبه الأسبوع الماضي، بل يجب عليه أن يزن التاريخ الحديث بوزن أكبر وينسى الماضي البعيد.

للقيام بذلك، يعتمد الروبوت عادةً على استراتيجيتين رئيسيتين. الأولى هي النهج "التكراري" (Frequentist)، وهو يشبه المحاسب الصارم؛ حيث يقوم بمعالجة الأرقام لإيجج "أفضل تخمين" للوضع الحالي. أما النهج الثاني فهو النهج "البيزي" (Bayesian)، وهو يشبه المستكشف الفضولي؛ فبدلاً من مجرد تخمين واحد، يحتفظ بخريطة كاملة من الاحتمالات، مدركاً أنه قد يكون مخطئاً ويعرف تماماً مدى عدم يقينه. المشكلة هي أنه في مجرة متغيرة، يكون المحاسب الصارم سريعاً ولكنه أعمى عن مدى عدم يقينه، بينما يكون المستكشف ذكياً ولكنه غالباً ما يكون بطيئاً جداً في معالجة خريطته. يتدخل هذا البحث لسد هذه الفجوة، محاولاً منح المستكشف سرعة المحاسب دون فقدان فضوله.

---

المشكلة: الروبوت الذي "ينسى"

في العالم الحقيقي، نادراً ما تبقى الأشياء كما هي. فنظام التوصية بالأفلام، أو التجارب الطبية لعقار جديد، أو السيارات ذاتية القيادة، كلها تواجه حالة "عدم الاستقرار" (non-stationarity) — وهي طريقة منمقة للقول بأن قواعد اللعبة تتغير. إذا حاول الروبوت التعلم من بيانات تعود لعشر سنوات مضت، فقد يرتكب خطأً لأن العالم قد تغير.

للتعامل مع هذا، جرب العلماء ثلاث حيل رئيسية:

1. إعادة التشغيل: بين الحين والآخر، يمسح الروبوت ذاكرته ويبدأ من جديد. هذا إجراء آمن ولكنه مهدر؛ فهو يرمي الدروس الجيدة لمجرد مرور الوقت.
2. النوافذ المنزلقة: يكتفي الروبوت بالنظر إلى البيانات في الأيام القليلة الماضية فقط. هذا أفضل، لكنه يشبه النظر إلى العالم عبر نفق ضيق؛ قد تفوتك اتجاهات هامة وبطيئة.
3. التعلم الموزون: يتذكر الروبوت كل شيء ولكنه يعطي "الذكريات الأقدم" وزناً أقل، مثل صدى يتلاشى تدريجياً. هذا هو النهج الأكثر سلاسة، لكن كان من الصعب جعله يعمل بشكل مثالي مع أسلوب التعلم الخاص بـ "المستكشف".

الطريقة القديمة: المستكشف "المزيف"

لفترة طويلة، كانت الطريقة الأكثر شيوعاً لهذه العوالم المتغيرة هي تقنية تُسمى "المربعات الصغرى المنتظمة الموزونة" (WRLS). إنها تمثل "المحاسب الصارم"؛ فهي تحسب تخميناً واحداً هو الأفضل للوضع الحالي وتمضي قدماً. وهي طريقة سريعة وفعالة.

لكن هنا تكمن المشكلة: تقنية WRLS لا تعرف بطبيعتها مدى عدم يقينها. ولجعل الروبوت يستكشف (يجرب أشياء جديدة ليتعلم أكثر)، اضطر الباحثون إلى "اختراق" النظام؛ حيث أخذوا تخمين المحاسب الواحد وأضافوا إليه "ضوضاء مزيفة" اصطناعياً ليتظاهر بأنه مستكشف. كان الأمر يشبه أخذ خريطة دقيقة وهزها بعنف فقط لترى ماذا سيحدث. لقد نجح الأمر بشكل مقبول، لكنه لم يكن انعكاساً حقيقياً لكيفية تعلم الروبوت.

الطريقة الجديدة: المستكشف "الحقيقي" (WSB)

قرر مؤلفو هذا البحث، نيكلاس فيرجي وفريقه، التوقف عن التظاهر. فقد قدموا طريقة جديدة تسمى "الاستدلال البيزي المتسلسل الموزون" (WSB).

بدلاً من إجبار تخمين واحد على التصرف كمستكشف، قاموا ببناء نظام هو مستكشف منذ البداية.

• كيف يعمل: تخيل أن الروبوت لديه "اعتقاد" حول العالم. في كل مرة يحصل فيها على بيانات جديدة، يقوم بتحديث هذا الاعتقاد. في عالم متغير، تتلاشى الاعتقادات القديمة (يتم وزنها بشكل أقل)، لكن الروبوت لا يتوقف أبداً عن امتلاك "خريطة" كاملة من الاحتمالات.
• الخدعة السحرية: وجد المؤلفون أن الخريطة البيزية "الحقيقية" هذه سريعة الحساب تماماً مثل طريقة "المحاسب المزيف" القديمة. لقد تمكنوا من الحفاظ على سرعة المحاسب مع الاحتفاظ بعدم اليقين الطبيعي للمستكشف.
• العقوبة الديناميكية: أحد أكبر العوائق في هذه المشكلات هو التعامل مع تخمين الروبوت الأولي (الذي يسمى "الفرضية المسبقة" أو الـ prior). إذا بدأ الروبوت بتخمين سيء، فقد يكون بطيئاً في تصحيح نفسه. الطرق القديمة كانت تعامل هذا الخطأ الأولي كعقوبة ثابتة وغير قابلة للتغيير. أما طريقة WSB الجديدة، فتتعامل معه كـ "عقوبة ديناميكية". فمع جمع الروبوت لمزيد من البيانات وتدقيق خريطته، تتقلص عقوبة الخطأ الأولي تلقائياً. إنه يشبه مسامحة نفسك على تخمين خاطئ بمجرد أن تتعلم بما يكفي لتعرف أنك كنت مخطئاً.

ما الذي وجدوه؟

لم يكتفِ الفريق بابتكار فكرة جديدة فحسب، بل أثبتوا نجاحها رياضياً واختبروها في عمليات محاكاة.

1. رياضيات أفضل: أظهروا أن طريقتهم الجديدة، WSB، توفر نفس مستوى الأمان (الضمانات الرياضية) التي توفرها أفضل الطرق الموجودة حالياً. في الواقع، قاموا بتحسين الرياضيات الخاصة بـ "الاستكشاف العشوائي" (حيث يجرب الروبوت أشياء عشوائية للتعلم) بهامش كبير، مما قلل من معدل الخطأ المرتبط بتعقيد المشكلة.
2. ثلاث خوارزميات جديدة: بنوا ثلاث أدوات محددة بناءً على هذه الفكرة:
   • WSB-LinUCB: مستكشف حتمي يختار الخيار الأفضل بناءً على ثقته.
   • WSB-RandLinUCB: مستكشف عشوائي يضيف لمسة من الحظ إلى خياراته.
   • WSB-LinTS: مستكشف "توسبسون سامبلينج" (Thompson Sampling) يختار سيناريو عشوائياً من خريطة اعتقاداته ويتصرف بناءً عليه.
3. النتائج: عندما أجروا عمليات محاكاة لـ 4,000 جولة من اتخاذ القرار (مثل لعبة طويلة)، تفوقت الطرق الجديدة باستمرار على الطرق القديمة.
   • في السيناريو الذي يتغير فيه العالم بشكل مفاجئ (قفزات مفاجئة)، قللت الطرق العشوائية الجديدة من "الندم" (درجة الأخطاء) بشكل كبير. على سبيل المثال، في اختبار بـ 32 بُعداً (مشكلة معقدة)، ارتكبت الطريقة القديمة حوالي 503 خطأ، بينما ارتكبت طريقة WSB-RandLinUCB الجديدة 474 خطأ فقط.
   • في السيناريو الذي يتغير فيه العالم ببطء (انجراف)، كان التحسن أكثر دراماتيكية؛ حيث ارتكبت الطريقة القديمة 435 خطأ، بينما ارتكبت الطريقة الجديدة 405 خطأ فقط.
   • والأهم من ذلك، كانت الطريقة الجديدة أقل تحفظاً. ولأنها لم تعتمد على عقوبة "أسوأ حالة" ثابتة لتخمينها الأولي، فقد كانت مستعدة لاتخاذ مخاطر أذكى في وقت مبكر، مما أدى لتعلم أسرع.

فحص "الاستئصال" (Ablation Check)

اختبر المؤلفون أيضاً ما يحدث إذا بدأ الروبوت بتخمين سيء جداً ("فرضية مسبقة غير دقيقة"). ووجدوا أنه إذا كان التخمين الأولي بعيداً قليلاً عن الصواب، فإن النظام يتعامل معه جيداً. ولكن إذا كان التخمين خاطئاً تماماً (مثل الاعتقاد بأن الجاذبية أقوى بـ 100 مرة مما هي عليه)، فإن الروبوت يعاني في البداية. وهذا يؤكد أنه رغم كون الطريقة الجديدة قوية، إلا أنها لا تزال بحاجة إلى نقطة انطلاق معقولة لتعمل سحرها.

لماذا يهم هذا؟

هذا البحث لا يقدم مجرد تعديل بسيط، بل يقدم طريقة أكثر نقاءً وصدقاً لتعليم الروبوتات كيفية التعلم في عالم متغير. من خلال التخلي عن "الضوضاء المزيفة" واستخدام نهج بيزي حقيقي سريع بقدر الطرق القديمة، أثبتوا أنه ليس عليك الاختيار بين أن تكون سريعاً أو ذكياً؛ بل يمكنك أن تكون كليهما.

كما قدم المؤلفون برهاناً مبسطاً لأداة رياضية معقدة يستخدمها العديد من الباحثين، مما جعل المجال بأكم كله أسهل في الفهم. وبينما لا تزال الطريقة الحالية تتطلب معرفة مقدار التغيير الذي قد يحدث في العالم (ميزانية التغيير)، فإن الإطار مرن بما يكفي بحيث يمكن للإصدارات المستقبلية تعلم هذه الميزانية تلقائياً. في الوقت الحالي، تعد هذه خطوة صلبة نحو ذكاء اصطناعي يتكيف مع واقعنا المتغير والفوضوي دون الحاجة للضغط على زر إعادة الضبط.