ملخص تقني: التعلم في فضاءات الأفعال الكبيرة بنهج السياسة المباشرة (On-Policy) والسياسة غير المباشرة (Off-Policy)

بيان المشكلة

تتناول هذه الأطروحة التحدي الجوهري المتمثل في التعلم في الأنظمة التفاعلية، وتحديداً "البانديتات السياقية" (Contextual Bandits)، حيث يكون فضاء الأفعال $K$ ضخماً للغاية (يتراوح من الآلاف إلى الملايين). في مثل هذه الإعدادات، تواجه الخوارزميات القياسية لكل من التعلم بنهج السياسة المباشرة (على الخط - On-policy) والتعلم بنهج السياسة غير المباشرة (خارج الخط - Off-policy) اختناقات شديدة في القابلية للتوسع:

• السياسة المباشرة (On-Policy): تعتمد استراتيجيات الاستكشاف القياسية مثل "أخذ عينات تومسون" (Thompson Sampling - TS) أو "الحد الأعلى للثقة" (Upper Confidence Bound - UCB) عادةً على نماذج منفصلة حيث يمتلك كل فعل بارامتراً مستقلاً. في فضاءات الأفعال الكبيرة، يكون تعلم كل بارامتر بشكل مستقل غير فعال إحصائياً، مما يؤدي إلى ندم تراكمي (Cumulative Regret) مرتفع. ومن ناحية أخرى، فإن النماذج المشتركة التي تشارك البارامترات عبر جميع الأفعال غالباً ما تكون غير قابلة للحوسبة من الناحية العملية بسبب تعقيد $O(K^2)$ أو $O(K^3)$ لصيانة وتحديث مصفوفة التباين والتباين المشترك (Covariance Matrix) الكاملة.
• السيطة غير المباشرة (Off-Policy): يواجه التعلم من البيانات المسجلة الثابتة التي جمعها سياسة تسجيل $\pi_0$ ثلاثة مشكلات رئيسية:
  1. عدم الكفاءة الإحصائية: تعاني الطرق المباشرة (Direct Methods - DM) من انحياز عالٍ عندما نادراً ما تُلاحظ بعض الأفعال.
  2. التباين (Variance): تُظهر مقدرات "نسبة الاحتمالية العكسية" (Inverse Propensity Scoring - IPS) تبايناً متفجراً عندما يكون احتمال التسجيل $\pi_0(a|x)$ صغيراً.
  3. استعصاء التحسين (Optimization Intractability): تجادل الأطروحة بأنه في فضاءات الأفعال الكبيرة، تصبح تضاريس التحسين لأهداف IPS القياسية غير محدبة للغاية (Non-concave) مع وجود هضاب مسطحة وعدد هائل من القيم المحلية القصوى، مما يؤدي إلى فشل المحسنات القائمة على التدرج بغض النظر عن الجودة الإحصائية للمقدر.

المنهجية والمساهمات

تنقسم الأطروحة إلى جزأين، يقترح كل منهما طرقاً مبتكرة لكل نموذج تعلم.

الجزء الأول: التعلم بنهج السياسة المباشرة (توسيع نطاق أخذ عينات تومسون)

تتمثل الرؤية الجوهرية في الحفاظ على مرونة نماذج المكافأة المنفصلة مع إدخال بواير (Priors) بايزية مهيكلة تتيح مشاركة المعلومات عبر الأفعال.

1. أخذ عينات تومسون ذو التأثيرات المختلطة (meTS) - الفصل الثالث

• المنهجية: يقدم المؤلفون نموذجاً بايزياً هرمياً حيث ترتبط بارامترات الأفعال $\theta_a$ عبر $L$ من بارامترات التأثير الكامن المشتركة $\Psi = (\psi_\ell)_{\ell \in [L]}$. تفترض العملية التوليدية أن $\theta_a | \Psi \sim p_0(\cdot|\Psi)$.
• الخوارزمية: يقوم meTS بأخذ عينات هرمية: أولاً أخذ عينات من التأثيرات العالمية $\Psi_t$ من توزيعها اللاحق (Posterior)، ثم أخذ عينات من بارامترات الأفعال الفردية $\theta_{t,a}$ مشروطة بـ $\Psi_t$.
• النتائج النظرية: بالنسبة لنماذج Gaussian-Linear، يشتق المؤلفون تحديثات لاحقة مغلقة الشكل تماماً. ويثبتون حد ندم بايزي قدره $\tilde{O}(\sqrt{Td K_{eff}})$، حيث $K_{eff}$ هو العدد الفعال للأفعال. عندما يكون عدد التأثيرات $L \ll K$، فإن $K_{eff} \ll K$، مما يحقق تحسناً مضاعفاً على TS القياسي.
• التعقيد: تقلل الطريقة من تعقيد الذاكرة من $O(K^2d^2)$ إلى $O((L^2 + K)d^2)$ ومن وقت التشغيل من $O(K^3d^3)$ إلى $O((L^3 + K)d^3)$.
• التوسعات: تم توسيع الإطار ليشمل النماذج الخطية المعممة (GLMs) باستخدام تقريبات Laplace القابلة للتطبيق.

2. أخذ عينات تومسون بالانتشار (dTS) - الفصل الرابع

• المنهجية: لالتقاط التبعيات الأكثر تعقيداً وغير الخطية بين الأفعال، يستبدل المؤلفون الهيكل الكامن أحادي الطبقة بهيكل هرمي عميق من المتغيرات الكامنة التي تحكمها نماذج انتشار (Diffusion Models) مدربة مسبقاً. يتم تعريف الـ Prior كسلسلة ماركوف من المتغيرات الكامنة $\psi_L \to \dots \to \psi_1 \to \theta_a$ متصلة بدوال ربط غير خطية $f_\ell$.
• الخوارزمية: يستخدم dTS إجراء استدلال تكراري. يقرب التوزيع اللاحي (Posterior) غير القابل للحل عبر الحفاظ على "نموذج انتشار لاحق" حيث يتم تحديث دوال الربط والتباينات عبر تحديثات شبيهة بـ Gaussian (تجمع بين دقة الـ Prior ودقة البيانات) دون الانتشار العكسي (Backpropagation) عبر الشبكة العصبية.
• النتائج النظرية: في إعداد Linear-Gaussian، يتناسب حد الندم مع العدد الفعال للأفعال ومجموع التباينات عبر الطبقات $L$. يبلغ التعقيد $O((L+K)d^2)$، وهو ما يعد تحسيناً لـ meTS.
• الأهمية: يوضح هذا أن النماذج التوليدية العميقة يمكن استخدامها ليس فقط للتمثيل، بل لهيكلة عدم اليقين المطلوب للاستكشاف الفعال.

الجزء الثاني: التعلم بنهج السياسة غير المباشرة (معالجة التقدير والتحسين)

تتحدى الأطروحة النموذج السائد "المتمحور حول التقدير" وتقترح ثلاثة توجهات متكاملة.

1. الطريقة المباشرة المهيكلة (sDM) - الفصل السادس

• المنهجية: على غرار meTS، تقدم sDM متجهاً كامناً مشتركاً $\psi$ لربط بارامترات الأفعال في إعداد خارج الخط (Offline). تقوم بحساب التوزيع اللاحق للتأثيرات الكامنة والتوزيعات اللاحلة الشرطية لبارامترات الأفعال.
• النتائج: يثبت المؤلفون أن sDM تحقق تقارباً بمعدل $O(1/\sqrt{n})$ في عدم المثالية البايزية دون الحاجة إلى فرضية "الدعم الكامل للسجل" المقيدة. يعتمد الحد على المحاذاة بين سياسة التسجيل والسياسة المثلى.
• الرؤية: تحت معيار عدم المثالية البايزية المدروس، يُظهر أن السياسات الجشعة (Greedy Policies) هي المثلى ويمكن أن تتفوق على السياسات المتشائمة، مما يتناقض مع الإعدادات التكرارية (Frequentist) حيث غالباً ما تكون التشاؤمية ضرورية.

2. التحسين أهم من التقدير - الفصل السابع

• المنهجية: توضح الأطروحة أنه في فضاءات الأفعال الكبيرة، يهيمن خطأ التحسين على خطأ التقدير. تسبب أهداف IPS القياسية تضاريس غير محدبة تحجز المحسنات.
• المقترح: بدلاً من تقدير القيمة ثم تحسينها، تدعو الأطروحة إلى أهداف لوغاريتم الاحتمال المرجح بالسياسة (PWLL):
  $$\hat{U}_g(\pi) = \frac{1}{n} \sum_{i=1}^n g(R_i, \pi_0(A_i|X_i)) \log \pi(A_i|X_i)$$
• النتائج: بالنسبة لسياسات Softmax الخطية، تكون أهداف PWLL محدبة (وتكون محدبة بقوة مع تنظيم $\ell_2$)، مما يضمن وجود قيمة قصوى عالمية فريدة. تُظهر التجارب على مجموعات بيانات تضم ما يصل إلى مليون فعل أن أهداف PWLL البسيطة والمستقرة تتفوق باستمرار على الطرق المتطرفة القائمة على تقدير القيمة.

3. التشاؤم المنهجي للتنعيم الأسي (Principled Pessimism for Exponential Smoothing) - الفصل الثامن

• المنهجية: لمعالجة تباين IPS، يقدم المؤلفون مقدرات تنعيم أسي (ES) قابلة للاشتقاق تتدرج بين عدم وجود تنظيم وبين تقليل التباين القوي.
• النظرية: يتم اشتقاق حد تعميم PAC-Bayesian ثنائي الجانب لهذه المقدرات المنتظمة. يفكك هذا الحد الخطأ إلى تباعد (Divergence)، وانحياز التنظيم، والتباين المتبقي.
• التطبيق: ينتج عن الإطار هدف تعلم متشائم قابل للاشتقاق بالكامل، يمكن تحسينه عبر صعود التدرج العشوائي (Stochastic Gradient Ascent). تم توحيد الإطار ليشمل منظمات أخرى مثل Clipping و Implicit Exploration.
• التوسيع: يقدم المؤلفون أيضاً التنعيم اللوغاريتمي (LS)، وهو بديل ناعم وقابل للاشتقاق لـ Clipping يحقق حدود تركيز أكثر إحكاماً.

النتائج التجريبية

يتم التحقق من صحة الطرق المقترحة على مجموعات بيانات اصطناعية وحقيقية:

• السياسة المباشرة (On-Policy): في تجارب البانديتات الخطية واللوجستية الاصطناعية، يتفوق meTS و dTS بشكل كبير على النماذج المرجعية (LinTS, GLM-TS, HierTS)، مع اتساع فجوة الأداء مع زيادة فضاء الأفعال $K$. وفي تجارب MovieLens (أنظمة التوصية)، يحقق meTS أقل ندم حتى عندما يكون نموذج المكافأة الحقيقي غير محدد بدقة، مما يظهر المتانة.
• السياسة غير المباشرة (Off-Policy):
  • تتفوق sDM على الطرق المباشرة القياسية، مع زيادة المكاسب مع نمو $K$.
  • تتفوق أهداف PWLL (الفصل السابع) باستمرار على طرق IPS المتطورة في مجموعات بيانات تصل إلى مليون فعل، مما يظهر متانة فائقة تجاه ضبط المعلمات الفائقة (Hyperparameters).
  • تحقق أهداف التشاؤم PAC-Bayesian (الفصل الثامن) مكافآت أفضل من النماذج المرجعية (بما في ذلك London et al. و Sakhi et et al.) عبر جودات مختلفة لسياسة التسجيل، خاصة عندما لا تكون سياسة التسجيل موحدة.

الأهمية والادعاءات

تدعي الأطروحة أنها تسد الفجوة بين خوارزميات البانديت النظرية وقيود الأنظمة الصناعية الحديثة (مثل أنظمة التوصية التي تحتوي على ملايين العناصر). حجتها المركزية هي أن التوسع إلى فضاءات أفعال كبيرة يتطلب:

1. هيكلة عدم اليقين: استخدام بواير (Priors) هرمية وبالانتشار لمشاركة القوة الإحصائية عبر الأفعال (On-Policy).
2. إعادة تقييم الأهداف: الإدراك أنه في الفضاءات الكبيرة، تعتبر قابلية تحسين تضاريس الهدف أمراً لا يقل أهمية عن الدقة الإحصائية للمقدر (Off-Policy).
3. التشاؤم القابل للاشتقاق: تطوير أهداف تشاؤمية ذات أساس نظري، ومع ذلك فهي قابلة للتنفيذ حاسوبياً، تتحكم في التباين والانحياز دون الاعتماد على ثوابت مستعصية.

تؤكد الأطروحة أنه من خلال الابتعاد عن نمذجة الأفعال المستقلة وتقدير القيمة القياسي، يمكن نشر البانديتات السياقية بفعالية في بيئات تتجاوز فيها فضاءات الأفعال عادةً الآلاف أو الملايين.