Variance reduction combining pre-experiment and in-experiment data

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقليل التباين عبر الجمع بين بيانات ما قبل التجربة وبيانات أثناء التجربة" للباحثين زيشياو لين وبابلو كريسبو.

1. بيان المشكلة

تعد التجارب المنضبطة عبر الإنترنت (اختبارات A/B) بالغة الأهمية لاتخاذ القرارات القائمة على البيانات، إلا أن حساسيتها غالباً ما تكون محدودة بأحجام العينات الثابتة. الهدف الأساسي هو تقدير متوسط أثر المعالجة (ATE) بدقة عالية.

• الوضع الحالي: تعتمد تقنيات تقليل التباين القياسية مثل CUPED (استخدام بيانات ما قبل التجربة للتحكم) و CUPAC (التحكم باستخدام التنبؤات كمتغيرات مصاحبة) على المتغيرات المصاحبة لما قبل التجربة ($X$) لتقليل تباين مُقدّر الـ ATE عبر التعديل الانحداري.
• القصور: تتوقف فعالية CUPED/CUPAC عند القدرة التنبؤية لبيانات ما قبل التجربة. وفي كثير من الحالات، تكون الميزات المسجلة قبل التجربة ذات ارتباط ضعيف مع النتيجة المقاسة أثناء التجربة.
• التحدي: البيانات التي تُجمع أثناء التجربة (بيانات أثناء التجربة أو المتغيرات المصاحبة لما بعد المعالجة، $Z$) غالباً ما تكون أكثر ارتباطاً بقوة بالنتيجة. ومع ذلك، تحذر نظرية الاستدلال السببي القياسية من التعديل باستخدام متغيرات ما بعد المعالجة لأنها قد تعمل كـ وسائط (تقع على المسار السببي من المعالجة $W$ إلى النتيجة $Y$). إن التعديل باستخدام الوسائط يحجب جزءاً من أثر المعالجة، مما يؤدي إلى إدخال تحيز في تقدير الـ ATE.
• السؤال الجوهري: كيف يمكن استغلال البيانات عالية القدرة التنبؤية التي تُجمع أثناء التجربة بأمان لتقليل التباين دون إدخال تحيز ما بعد المعالجة؟

2. المنهجية

يقترح المؤلفان إطار عمل ثنائي المراحل يجمع بين بيانات ما قبل التجربة (عبر CUPAC) ومجموعة مختارة بعناية من بيانات أثناء التجربة.

أ. الإطار النظري

تعتمد الطريقة على التمييز بين الوسائط والمتغيرات المصاحبة غير الحساسة للمعالجة:

• الوسائط: هي المتغيرات حيث $Z(1) \neq Z(0)$ (أي أن المعالجة تغير المتغير المصاحب). التعديل بهذه المتغيرات يسبب تحيزاً في الـ ATE.
• المتغيرات المصاحبة غير الحساسة للمعالجة: هي المتغيرات التي لا تؤثر المعالجة على توزيعها، أو على وجه التحديد، حيث يتحقق تكافؤ المتوسط: $E[Z | W=1] = E[Z | W=0]$.
• الرؤية الجوهرية: بينما يتطلب التعديل غير الخطي استقلالاً توزيعياً كاملاً، فإن التعديل الانحداري الخطي يتطلب فقط تكافؤ المتوسط. وهذا شرط أضعف وقابل للاختبار، مما يسمح بتضمين المتغيرات التي قد تختلف في عزمها الأعلى عبر المجموعات ولكنها لا تغير متوسطها.

ب. المُقدِّر

يعمل المُقدِّر المقترح، $\hat{\tau}$، على مرحلتين:

1. المرحلة الأولى (تعديل ما قبل التجربة): ملاءمة نموذج تعلم آلي مرن (مثل LightGBM) للتنبؤ بالنتيجة $Y$ باستخدام متغيرات ما قبل المعالجة $X$. ينتج عن ذلك دالة ملائمة $\hat{f}(X)$ وبواقي $\hat{R}_i = Y_i - \hat{f}(X_i)$. هذه الخطوة مطابقة لـ CUPAC.
2. المرحلة الثانية (تعديل أثناء التجربة): إجراء انحدار للبواقي $\hat{R}$ على مجموعة فرعية مختارة من المتغيرات المصاحبة لما بعد المعالجة $Z$ باستخدام نموذج خطي.
   $$\hat{\tau} = \frac{1}{n_1}\sum_{W_i=1} (Y_i - \hat{f}(X_i) - \hat{\gamma}^\top Z_i) - \frac{1}{n_0}\sum_{W_i=0} (Y_i - \hat{f}(X_i) - \hat{\gamma}^\top Z_i)$$
   حيث $\hat{\gamma}$ هو متجه المعاملات المقدر لـ $Z$.

ج. استراتيجية اختيار المتغيرات المصاحبة

لضمان عدم التحيز، تستخدم الطريقة إجراء اختيار صارم لـ $Z$:

1. اختبار الفرضيات: لكل متغير مصاحب مرشح لما بعد المعالجة، يتم إجراء اختبار ذي عينتين (مثل اختبار Mann-Whitney U أو اختبار t) لاختبار فرضية العدم $H_0: E[Z | W=1] = E[Z | W=0]$.
2. الفحص: اختيار المتغيرات التي لا يمكن رفض فرضية العدم معها (قيمة $p > \alpha$).
3. المتانة: يناقش المؤلفون استخدام التحليل التلوي (مثل طريقة Fisher) عبر تجارب تاريخية متعددة لتحديد مجموعة مستقرة من المتغيرات المصاحبة غير الحساسة للمعالجة. كما يشيرون إلى أنه بينما يؤدي الإدراج الخاطئ إلى التحيز، فإن الاستبعاد الخاطئ يؤدي فقط إلى تقليل الكفاءة؛ لذا يُفضل الاختيار المتحفظ.

د. الضمانات النظرية

• الاتساق: المُقدِّر متسق ويتبع التوزيع الطبيعي التقاربي.
• التحيز: يتحدد التحيز فقط من خلال عدم توازن المتوسط للمتغير $Z$ المختار. إذا تحقق تكافؤ المتوسط، يكون المُقدِّر غير متحيز.
• التباين: يتم تقليل التباين التقاربي بمقدار التباين في النتيجة الذي يفسره $Z$ والذي لم يفسره $X$ بالفعل.
• الكفاءة: إذا تطابق التعديل المشترك ($f(X) + \gamma^\top Z$) مع المتوسط الشرطي الحقيقي، فإن المُقدِّر يصل إلى حد الكفاءة شبه البارامترية.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: يقدم طريقة عامة وقابلة للتوسع للجمع بين بيانات ما قبل التجربة وأثناء التجربة لتقليل التباين، متجاوزاً حدود CUPED/CUPAC.
2. افتراضات مخففة: يوضح أن التعديل الخطي يتطلب فقط تكافؤ المتوسط للمتغيرات المصاحبة لما بعد المعاللة، بدلاً من الافتراضات الأكثر صرامة مثل "النيابة" (surrogacy) أو "الاستقلال الرئيسي" المطلوبة في طرق ما بعد المعالجة الأخرى.
3. إجراء اختيار عملي: يوفر بروتوكولاً قابلاً للاختبار وصارماً إحصائياً (اختبار الفرضيات + المعرفة بالمجال) لتحديد المتغيرات المصاحبة "الآمنة" لما بعد المعالجة، مما يسد الفجوة بين الاستدلال السببي النظري واختبارات A/B الصناعية.
4. الكفاءة الحسابية: الطريقة خفيفة حسابياً (انحدار خطي في المرحلة الثانية) ومتوافقة مع الأنظمة الحالية حيث يتم تدريب نموذج المرحلة الأولى مسبقاً (offline).

4. النتائج التجريبية

قيم المؤلفون الطريقة على 29 تجربة عبر الإنترنت أجريت في شركة Etsy، مع التركيز على معدلات تحويل العملاء.

• الإعداد:
  • الأساس (Baseline): تقنية CUPAC باستخدام 117 متغيراً مصاحباً لما قبل المعالجة (تم تدريبها عبر LightGBM).
  • المقترح: تقنية CUPAC + 23 متغيراً مصاحباً مختاراً لما بعد المعالجة (بيانات عدّ مثل مدة الجلسة، عدد المشاهدات، إلخ).
• النتائج:
  • الدقة التنبؤية: أظهرت الطريقة المقترحة تحسينات ثابتة في الدقة التنبؤية (مقاسة بـ $\sqrt{R^2}$) مقارنة بـ CUPAC، حيث تراوحت المكاسب بين 0.02 وأكثر من 0.14.
  • تقليل التباين: حققت الطريقة تقليلاً إضافياً كبيراً في التباين مقارنة بـ CUPED وحدها. وفي العديد من التجارب، كان التقليل الإضافي الذي حققته المتغيرات المصاحبة لما بعد المعالجة مكافئاً أو حتى أكبر من التقليل الذي حققته متغيرات ما قبل المعالجة.
  • الكفاءة: على الرغم من استخدام عدد أقل بكثير من المتغيرات (23 متغيراً لما بعد المعالجة مقابل 117 لـ ما قبل المعالجة)، حققت الطة مكاسب كفاءة كبيرة، مما يدل على ارتفاع نسبة الإشارة إلى الضجيج في بيانات أثناء التجربة.

5. الأهمية والأثر

• تسريع اتخاذ القرار: من خلال تقليل تباين مُقدِّر الـ ATE، يمكن للشركات اكتشاف آثار المعالجة بشكل أسرع، مما يقلل من الوقت والتكلفة المطلوبة لاختبارات A/B.
• قابلية التطبيق الشاملة: على عكس بيانات ما قبل التجربة، التي قد تكون مفقودة للمستخدمين الجدد أو مقيدة بسياسات الخصوصية، فإن بيانات أثناء التجربة متاحة لـ جميع المشاركين، مما يجعل هذه الطريقة قوية حتى مع شرائح المستخدمين الجدد.
• تحول في النموذج الفكري: تتحدى الورقة العقيدة السائدة في الصناعة بأن "المتغيرات ما بعد المعالجة يجب ألا تُستخدم أبداً". فهي توفر مساراً مبدئياً وآمناً لاستغلال البيانات الغنية وعالية الارتباط التي يتم توليدها أثناء التجربة نفسها.
• القابلية للتوسع: يتناسب النهج بسلاسة مع منصات التجريب واسعة النطاق حيث تُجرى آلاف التجارب بالتوازي، مما يتطلب حداً أدنى من الموارد الحسابية الإضافية.

باخت ملخص، يقدم لين وكريسبو حلاً سليماً نظرياً ومثبتاً تجريبياً لمشكلة طويلة الأمد في التجارب عبر الإنترنت: كيف يمكن استغلال القدرة التنبؤية لبيانات أثناء التجربة بأمان لتحسين دقة التقديرات السببية.