Prior-Free Sample Size Design for Test-and-Roll Experiments

ملخص تقني: تصميم حجم العينة الخالي من المسبقات لتجارب "الاختبار والتعميم" (Test-and-Roll)

صياغة المشكلة
تتناول هذه الورقة مشكلة تصميم حجم العينة لتجارب "الاختبار والتعميم" التي تُجرى ضمن مجتمع محدود الحجم $N$. في هذا السياق، يقوم صانع القرار أولاً بإجراء تجربة عشوائية محكومة (RCT) على مجموعة فرعية مكونة من $m$ وحدة (حيث يتم تخصيص $m/2$ منها لمجموعة العلاج و$m/2$ لمجموعة الضبط). وبناءً على النتائج المرصودة، يخصص صانع القرار الوحدات المتبقية البالغ عددها $N-m$ لذراع العلاج الذي حقق أداءً أفضل في التجربة.

الهدف هو تعظيم رفاهية المجتمع الإجمالية المتوقعة $E[\sum_{i=1}^N Y_i]$. وهذا يخلق مقايضة جوهرية بين الاستكشاف والاستغلال:

1. تكلفة الاستكشاف: يؤدي زيادة $m$ إلى تحسين دقة تحديد العلاج المتفوق، ولكنه يفرض خسائر في الرفاهية على الوحدات التجريبية، حيث يتم تخصيص نصفها حتمياً للعلاج الأدنى جودة بعد انتهاء التجربة.
2. مخاطر الاستغلال: يؤدي تقليل $m$ إلى تقليل الخسارة الفورية في رفاهية الوحدات التجريبية، ولكنه يزيد من خطر اتخاذ قرار تعميم خاطئ، مما يؤدي إلى تخصيص العلاج الأدنى جودة لعدد أكبر من المجتمع المتبقي ($N-m$).

التحدي المركزي هو أن آثار العلاج الحقيقية غير معروفة مسبقاً. وتسعى الورقة للبحث عن قاعدة تصميم تكون خالية من المسبقات (Prior-free)، لتجنب الحساسية تجاه المسبقات البايزية الذاتية أو المعلمات الفائقة (hyperparameters) التعسفية التي تميز النهج القائمة على الرفاهية الحالية.

المنهجية ونقد المعايير القائمة
تحلل المؤلفة أولاً معيار الندم المطلق الأدنى-الأقصى (Absolute Minimax Regret) القياسي، والذي يختار حجم العينة $m$ لتقليل أسوأ حالة ندم بالنسبة لنموذج مثالي (Oracle) يعرف آثار العلاج الحقيقية.

• القصور: توضح الورقة أن هذا المعيار يؤدي إلى أحجام عينات تجريبية صغيرة بشكل غير منطني (على سبيل المثال، $m/N \approx 2.3\%$ عندما يكون $N=10,000$).
• آلية الفشل: يركز الخصم في أسوأ حالة ضمن إطار الندم المطلق الأدنى-الأقصى على قيم المعلمات التي تعظم تأثير العلاج المطلق ($|\tau|$). وفي هذه الحالات القصوى، تهيمن تكلفة الاستكشاف ($m/2 \cdot |\tau|$) على دالة الندم، مما يجعل المعيار يعاقب الاستكشاف بشدة ويقلص حجم العينة إلى ما يقرب من الصفر.

لحل هذه المشكلة، تقترح المؤلفة قاعدة المنفعة الهامشية في أسوأ حالة (Worst-case Marginal Benefit - WMB).

• المفهوم الجوهري: بدلاً من تقليل إجمالي أسوأ حالة ندم، تقيم قاعدة WMB المقايضة عند الهامش. فهي تقارن المنفعة الهامشية لأسوأ حالة لإضافة زوج متطابق واحد إلى التجربة مقابل تكلفة الاستكشاف الهامشية المقابلة.
• قاعدة التوقف: تستمر التجربة طالما أن المنفعة الهامشية لأسوأ حالة لإضافة زوج إضافي تتجاوز التكلفة الهامشية. حجم العينة الأمثل $\hat{m}_{WMB}$ هو أصغر عدد زوجي $m$ حيث تنخفض نسبة المنفعة الهامشية لأسوأ حالة $\eta(m, \mu_1, \mu_0)$ إلى 1 أو أقل.
• التعريف:
  $$\hat{m}_{WMB} = \min \left\{ m \in \{0, 2, \dots, N-2\} : \max_{(\mu_1, \mu_0) \in [0,1]^2} \eta(m, \mu_1, \mu_0) \leq 1 \right\}$$
  حيث تقيس $\eta$ انخفاض أخطاء التعميم المتوقعة (الوحدات التي تم إنقاذها) لكل وحدة من تكلفة الاستكشاف المضافة.

النتائج الرئيسية

1. معيار "قاعدة الثلث" المرجعي:
   تضع الورقة معياراً بسيطاً وخالياً من المسبقات لحجم العينة الأمثل:
   $$\hat{m} \approx \frac{N}{3}$$
   هذه النتيجة تتحقق تحت شرطين متميزين:

• النتائج ذات التوزيع برنولي (Bernoulli): من خلال التقريب الغاوسي، يعطي معيار WMB أن $\hat{m} \approx N/3$. وتوضح المؤلفة بصرامة أن مسألة برنولي الدقيقة تتطلب استبعاد "اعتلال الأحداث النادرة عند الحدود" (حيث يكون أحد الأذرع ذا تباين صفري بينما يكون احتمال النجاح في الذراع الآخر ضئيلاً من رتبة $O(1/N)$). في هذه الحالة الاعتلالية، يقترب حجم العينة الأمثل من $N/2$. ومع ذلك، بالنسبة للحالات الداخلية المنتظمة (حيث تكون آثار العلاج غير متدهورة)، تتركز المعلمات الأقل ملاءمة بالقرب من القطر ($\mu_1 \approx \mu_0$)، ويصبح التقريب الغاوسي صالحاً، مما يؤدي إلى قاعدة $N/3$.
• النتائج الغاوسية (بتباين معلوم): بالنسبة للنتائج التي تتبع توزيعاً غاوسياً بتباين مشترك معلوم، ينشأ معيار $N/3$ المرجئي بالضبط دون الحاجة إلى تقريب تقاربي أو استبعاد حالات الحدود. حيث يؤدي التخفيف المستمر لدالة النسبة الهامشية إلى حل مغلق حيث تكون المنفعة الهامشية لأسوأ حالة $\leq 1$ إذا وفقط إذا كان $m \geq N/3$.

2. سلوك الخصم:
   تحت قاعدة WMB، يتصرف الخصم في أسوأ حالة بشكل مختلف عما هو عليه تحت معيار الندم المطلق الأدنى-الأقصى. فبدلاً من اختيار آثار علاج قصوى لتعظيم إجمالي الندم، يختار الخصم قيم المعلمات التي تعظم المنفعة الهامشية للاستمرار في التجربة. في النظام الداخلي، تتركز هذه الحالات الأقل ملاءمة بالقرب من القطر ($\mu_1 \approx \mu_0$)، حيث يكون التمييز بين العلاجات أكثر صعوبة.

3. التحقق العددي:
   تؤكد الدراسات العددية أنه بالنسبة لقيم $N$ الصغيرة، يمكن لآثار الحدود أن تدفع حجم العينة نحو $N/2$. ومع زيادة $N$، تتحرك المعلمات الأقل ملاءمة بعيداً عن الحدود، ويستقر حجم العينة الأمثل بالقرب من $N/3$.

الأهمية والمساهمة
تدعي الورقة أنها تقدم دليلاً عملياً قابلاً للتنفيذ وخالياً من المسبقات لتصميم حجم العينة القائم على الرفاهية.

• العملية: تعتمد القاعدة الناتجة ($m \approx N/3$) فقط على إجمالي حجم المجتمع $N$. وهي لا تتطلب من صانع القرار تحديد مسبقات ذاتية، أو تباينات مسبقة، أو معلمات ضبط أخرى، والتي غالباً ما يصعب تبريرها في الممارسة العملية.
• الرصانة النظرية: من خلال الانتقال من تقليل إجمالي الندم إلى تحليل المنفعة الهامشية، تتجنب الورقة "الإفراط في معاقبة" الاستكشاف المتأصل في معايير الندم الأدنى-الأقصي القياسية.
• التركيز على الرفاهية: على عكس تحليل القوة التقليدي (الذي يتحكم في أخطاء النوع الأول والثاني لاختبار الفرضيات)، فإن هذا النهج يحسن مباشرة هدف الرفاهية للمجتمع المحدود، موازناً بشكل صريح بين تكلفة التجربة ومخاطر التعميم غير الأمثل.

تخلص المؤلفة إلى أن قاعدة WMB تقدم حلاً قوياً للمقايضة بين الاستكشاف والاستغلال في تجارب "الاختبار والتعميم" ذات المجتمع المحدود، مما يوفر قاعدة توقف واضحة ومستندة إلى أسس نظرية ومستقلة عن المعتقدات المسبقة الذاتية.