ملخص تقني: تصميم سياسة التسجيل لتقييم السياسات خارج النطاق (Off-Policy Evaluation)

بيان المشكلة

يُعد التقييم خارج النطاق (OPE) آلية حاسمة لتقدير قيمة سياسة علاج مستهدفة (مثل نظام توصية جديد) باستخدام بيانات تم جمعها بواسطة سياسة "تسجيل" (Logging Policy) مختلفة. وبينما يتيح التقييم خارج النطاق إجراء تجارب عالية المخاطر دون الحاجة للنشر المباشر، فإن دقته تعتمد بشكل كبير على سياسة التسجيل المستخدمة لتوليد البيانات. غالبًا ما تتعامل الأدبيات الحالية مع سياسة التسجيل كسياسة سلوك ثابتة وربما غير معروفة، مع التركيز بدلاً من ذلك على تحسين المقدرات (مثل وزن الاحتمالية العكسي IPW، أو التقدير المتين المزدوج Doubly Robust). ومع ذلك، في الممارسة العملية، يؤثر اختيار سياسة التسجيل بشكل جذري على التحيز والتباين في تقديرات التقييم خارج النطاق، لا سيما في الأنظمة ذات العينات المحدودة، وفضاءات الإجراءات الكبيرة، والمكافآت الشحيحة.

تتمثل المشكلة الجوهرية التي يتم معالجتها في كيفية تصميم سياسة التسجيل (وتحديدًا احتمالات الإجراء $\pi_l(a|x)$) لتقليل متوسط مربع الخطأ (MSE) لمقدر الوزن الاحتمالي العكسي (IPW) لسياسة مستهدفة معينة $\pi_t$. ويجب أن يدير هذا التصميم مقايضة جوهرية بين المكافأة والتغطية (reward–coverage tradeoff): حيث يؤدي تركيز الكتلة الاحتمالية على الإجراءات ذات المكافأة العالية إلى تقليل التباين الناتج عن تحقق المكافأة، بينما يعد ضمان التغطية عبر الإجراءات التي قد تختارها السياسة المستهدفة أمرًا ضروريًا للتحكم في التحيز والتباين الناشئين عن أخذ عينات الإجراءات.

المنهجية

يصيغ المؤلفون المشكلة ضمن إطار مسألة "البانديت السياقية" (Contextual Bandit) (عملية قرار ماركوف بدون ديناميكيات الانتقال)، حيث تصل السياقات $X$ من توزيع $p_X$، ويتم اختيار الإجراءات $A$ بواسطة سياسة تسجيل $\pi_l$. وتكون المكافأة $R$ ثنائية، مستمدة من توزيع $Bernoulli(\mu(a, x))$.

1. دالة الهدف

الهدف الأساسي هو تقليل متوسط مربع الخطأ (MSE) لمقدر IPW $\hat{V}_{IPW}(\pi_t | \pi_l)$:
$$MSE = E[(\hat{V}_{IPW} - V(\pi_t))^2] = Bias^2 + Variance$$
قام المؤلفون باشتقاق تفكيك التحيز والتباين صراحةً كدالة لسياسة التسجيل $\pi_l$. وقد أثبتوا أنه بينما يؤدي التداخل (ضمان أن $\pi_l(a|x) > 0$ لجميع الحالات التي يكون فيها $\pi_t(a|x) > 0$) إلى القضاء على التحيز، فإنه لا يقلل بالضرورة من MSE، خاصة عندما تكون أحجام العينات صغيرة.

2. الأنظمة المعلوماتية

تحلل الورقة سياسات التسجيل المثلى عبر طيف من القيود المعلوماتية، المصنفة حسب المعرفة بالسياسة المستهدفة ($\pi_t$) وتوزيع المكافأة ($\mu$):

• $\pi_t$ غير معروفة و $\mu$ غير معروفة: في حالة غياب المعلومات، فإن الاستراتيجية المثلى هي العشوائية المنتظمة (Uniform Randomization). وهذا يتوافق مع الحدس بأن التوزيع المسبق غير المعلوماتي هو الأمثل عندما يكون المقدار المراد تقديره مجهولًا.
• $\mu$ معروفة و $\pi_t$ غير معروفة: السياسة المثلى تخصص كتلة تتناسب مع $\frac{\mu(a,x)}{c + \mu(a,x)^2}$، مما يعطي الأولوية للإجراءات ذات المكافأة العالية مع الحفاظ على هامش أمان.
• $\mu$ غير معروفة و $\pi_t$ معروفة: الاستراتيجية المثلى هي تسجيل البيانات مباشرة تحت السياسة المستهدفة $\pi_t$ نفسها.
• $\pi_t$ معروفة و $\mu$ معروفة: هذه هي الحالة المثالية. تتبع سياسة التسجيل المثلى توزيع نيمان (Neyman allocation) الموجه نحو السياسة المستهدفة:
  $$\pi_l^*(a|x) \propto \pi_t(a|x)\sqrt{\mu(a,x)}$$
  هذا الحل يزن الإجراءات بضرب كتلة السياسة المستهدفة في الجذر التربيعي لاحتمالية المكافأة.

3. الإعدادات المتوسطة والقيود العملية

إدراكًا منها بأن المعلومات الكاملة نادرًا ما تتوفر، توسع الورقة الإطار ليشمل الإعدادات المتوسطة:

• التوزيع على السياسات المستهدفة: عندما تكون السياسة المستهدفة الدقيقة غير معروفة ولكن يوجد توزيع $Pr(\pi_t)$ معروف، فإن سياسة التسجيل المثلى تستهدف "هدفًا زائفًا من الدرجة الثانية" $\tilde{\pi}_t(a|x) = \sqrt{E[\pi_t(a|x)^2]}$.
• تقديرات المكافأة المشوبة بالضجيج: عندما يتم تقدير $\mu$ عبر نموذج $\hat{\mu}$ يحتوي على ضجيج، فإن إدخال $\hat{\mu}$ مباشرة يؤدي إلى تضخم التباين. يقترح المؤلفون الانكماش البعدي (Posterior Shrinkage)، حيث يتم تقليص التقديرات المشوبة بالضجيج نحو متوسط لكل سياق. وتحت فرضية توزيع غاوسي هرمي، يتم اشتقاق وزن الانكماش الأمثل، مما يؤدي إلى تفسير "بايز التجريبي" (Empirical Bayes) حيث يتم تقدير معامل الانكماش من البيانات المحجوزة.
• فئات الجشع الناعم (Soft-Greedy Classes): بالنسبة للإعدادات التي تكون فيها الحلول المثالية نظرًا غير قابلة للتنفيذ بسبب قيود هندسية أو تنظيمية، تقترح الورقة ثلاث فئات من السياسات محددة بمعامل "الجشع": Top-k، و Softmax، و Power-normalized. تتراوح هذه الفئات بين العشوائية المنتظمة والاختيار الجشع الحتمي، مما يسمح للشركات بالموازنة بين مقايضة المكافأة والتغطية عبر معلمة فائقة واحدة.

النتائج الرئيسية

1. مثالية التسجيل المعدل: في حالة معرفة كل من $\pi_t$ و $\mu$، فإن سياسة التسجيل المثلى $\pi_l^*$ (توزيع نيمان) تحقق MSE أقل لمقدر IPW مقارنة بتشغيل السياسة المستهدفة $\pi_t$ مباشرة (التقييم داخل النطاق On-policy). علاوة على ذلك، تحقق $\pi_l^*$ مكافأة متوقعة أعلى خلال فترة التسجيل مقارنة بـ $\pi_t$ نفسها. يوضح هذا أن التقييم خارج النطاق المُحسَّن يمكن أن يحسن دقة التقدير وتجربة المستخدم في آن واحد مقارنة باختبار A/B المباشر.
2. مقايضة المكافأة والتغطية: توضح الورقة أن التسجيل الأمثل نادرًا ما يكون متطابقًا مع السياسة المستهدفة. حتى لو كانت السياسة المستهدفة معروفة، يجب على سياسة التسجيل الموازنة بين أخذ عينات من العناصر ذات المكافأة العالية (لتقليل تباين المكافأة) وبين أخذ عينات من العناصر التي تختارها السياسة المستهدفة (لتقليل تباين أخذ العينات).
3. تأثير الضجيج: استخدام تنبؤات المكافأة المشوبة بالضجيج دون انكماش يؤدي إلى سياسات تسجيل غير مثالية يمكن أن تؤدي إلى أداء أسوأ من العشوائية المنتظمة. يقلل الانكماش البعدي من هذه المخاطر بشكل كبير، وغالبًا ما يسمح للتسجيل المُحسَّن بالتفوق على التقييم داخل النطاق حتى مع وجود نماذج مكافأة غير كاملة.
4. أداء الاستدلالات (Heuristics): تُظهر المحاكاة أن سياسات "الجشع الناعم" البسيطة (خاصة Top-k و Power-normalized) يمكن أن تقترب من MSE الخاص بالحل الأمثل النظري. وفي الأنظمة ذات العينات الصغيرة، يمكن لتقليص دعم الإجراءات عمدًا (مما يؤدي إلى تحيز طفيف) أن يقلل من MSE الإجمالي مقارنة بالسياسات التي تفرض تداخلًا صارمًا.

الأهمية والمساهمات

تدعي الورقة أنها تقدم إطارًا موحدًا لتصميم سياسة التسجيل، متجاوزةً الاستدلالات العشوائية أو قيود السلامة فقط. وتكمن أهميتها في:

• التأسيس النظري: تربط تصميم سياسة التسجيل بالمسائل الكلاسيكية في التصميم التجريبي الأمثل (توزيع نيمان) وأخذ العينات بالأهمية (Importance Sampling)، مما يوفر حلولاً مثالية قابلة للتطبيق تحت مختلف القيود المعلوماتية.
• التوجيه العملي: تقدم استراتيجيات ملموسة للشركات التي تختار بين الأنظمة المرشحة، لا سيما عندما تكون السياسة المستهدفة غير معروفة أو عندما تكون تقديرات المكافأة مشوبة بالضجيج. توفر طرق الانكماش المقترحة وفئات الجشع الناعم أدوات عملية للتنفيذ.
• الفائدة المزدوجة: تتحدى الورقة الافتراض القائل بأن جمع البيانات للتقييم يجب أن يضحي بتجربة المستخدم. تُظهر النتائج أن سياسات التسجيل المثلى نظريًا يمكن أن تحقق كلاً من التقييمات الخارجية الأكثر دقة والمكافآت الفورية الأعلى من السياسات التي يتم تقييمها.
• توضيح المقايضات: من خلال التوصيف الصريح لمقايضة المكافأة والتغطية وتفكيك التحيز والتباين في سياق تصميم التسجيل، توضح الورقة متى ولما-ذا تكون استراتيجيات التسجيل المختلفة (مثل المنتظمة مقابل الجشعة مقابل نيمان) مناسبة.

تخلص المؤلفة إلى أنه بينما تعتمد نتائجها النظرية على افتراضات (مثل استخدام IPW والتداخل الضعيف)، فإنها توفر أساسًا مبدئيًا للشركات لتحسين جهود التجريب خارج النطاق، واستبدال الحلول الاحتياطية المتحفظة مثل العشوائية المنتظمة باستراتيجيات تسجيل مدفوعة بالبيانات ومُحسَّنة نظريًا.