Nobody Puts Bonferroni in a Corner

إليك ملخص تقني مفصل لورقة البحث "لا أحد يضع بونفيروني في زاوية" (Nobody Puts Bonferroni in a Corner) للكاتب مورتن شولتزبيرج.

1. بيان المشكلة

في التجارب عبر الإنترنت (A/B testing)، غالباً ما يختبر الممارسون فرضيات متعددة في وقت واحد. هذا يؤدي إلى تضخم معدل الخطأ العائلي (FWER)، مما يؤدي إلى احتمالية عالية للنتائج الإيجابية الكاذبة (أخطاء النوع الأول - Type I errors).

• الوضع الراهن: ينظر قطاع الصناعة غالباً إلى تصحيح بونفيروني (Bonferroni correction) على أنه متحفظ للغاية و"ساذج"، ويفضل طرقاً أكثر تطوراً مثل هولم (Holm)، أو هومل (Hommel)، أو بنجاميني-هوخبرج (BH) (الذي يتحكم في معدل الاكتشاف الخاطئ - FDR).
• المشكلة الجوهرية: هذا التفضيل يتجاهل غالباً القيود الهيكلية المحددة لتجارب المنتجات:
  1. منطق اتخاذ القرار: تعتمد قرارات المنتج على مزيج من "مقاييس النجاح" (التي تحتاج لتحسين) و"مقاييس الحماية" (التي يجب ألا تتدهور).
  2. الحاجة إلى الاستدلال: يحتاج الممارسون إلى فترات ثقة (CIs) متزامنة غير مشروطة لجميع المقاييس لتقييم أحجام التأثير وعدم اليقين، وليس فقط القرارات الثنائية (رفض أو قبول).
  3. التخطيط: حساب حجم العينة قبل التجربة يكون صعباً مع الطرق الأكثر تعقيداً.
  4. واقع القيم الصفرية (Nulls): على عكس علم الجينوم (حيث توجد العديد من التأثيرات الحقيقية)، فإن تجارب المنتجات لديها معدل أساس مرتفع للقيم الصفرية الحقيقية (حوالي 70% من التغييرات ليس لها تأثير). في هذا النظام، تعمل طرق FDR (مثل BH) على خفض المعيار المطلوب للشحن، مما يزيد من النتائج الإيجابية الكاذبة دون أن يؤدي بالضرورة إلى التقاط المزيد من التأثيرات الحقيقية.

2. المنهجية

يحتج المؤلف لإعادة تقييم بونفيروني بناءً على أربعة ركائز، مدعومة بالتحليل النظري، ودراسات المحاكاة، والبيانات التجريبية من منصة التجارب الخاصة بسبوتيفاي، كونفيدنس (Confidence).

أ. الإطار النظري

• إعادة هيكلة إطار اتخاذ القرار: تقترح الورقة منطق قرار محدداً حيث يتم تصنيف المقاييس:
  • مقاييس النجاح (Success Metrics): منطق الاتحاد-التقاطع (Union-Intersection - UI). يجب أن يكون واحد على الأقل ذا دلالة إحصائية لعملية الشحن. هذه تتطلب التحكم في FWER.
  • مقاييس الحماية/الجودة (Guardrail/Quality Metrics): منطق التقاطع-الاتحاد (Intersection-Union - IU). يجب أن تجتاز جميعها الاختبار (عدم التدهور). الخطأ الإيجابي هنا (الاعتقاد بأن المقياس جيد بينما هو ليس كذلك) يجعل عملية الشحن أسهل، وليس أصعب. لذلك، هي لا تسبب تضخماً في FWER لقرار الشحن.
  • النتيجة: يجب أن يكون مقام بونفيروني هو عدد مقاييس النجاح (S) فقط، وليس إجمالي عدد المقاييس (m).
• تماسك فترات الثقة (CI Coherence): يسمح بونفيروني ببناء فترات ثقة متزامنة غير مشروطة وصادقة لكل مقياس باستخدام تعديل بسيط وهو $\alpha/S$. الطرق الأخرى (مثل Holm و Hommel) إما تفتقر إلى فترات ثقة متزامنة للفرضيات المرفوضة، أو تتطلب أطر عمل شرطية معقدة (معدل التغطية الخاطئ - FCR) نادراً ما يتم تنفيذها في الممارسة العملية.
• الاختبار المتسلسل (Sequential Testing): يسمح بونفيروني لكل مقياس بتشغيل اختبار تسلسلي لمجموعات (GST) خاصة به مع وظائف إنفاق مستقلة، مما يتجنب تعقيد حصص المعلومات المشتركة المطلوبة في الطرق التي تستغل الارتباط.

ب. التحليل التجريبي والمحاكاة

• المحاكاة: محاكاة مونت كارلو ($N=1,000$، 10,000 تكرار) مع تغيير عدد المقاييس غير الصفرية ($k$)، وهياكل الارتباط ($\rho$)، وأحجام التأثير.
• بيانات العالم الحقيقي: تحليل 1,296 تجربة (1,840 مقارنة بين المعاملة والضابطة) من سبوتيفاي.
  • المقاييس: متوسط مقييسين للنجاح، و4 مقاييس حماية لكل تجربة.
  • المقارنة: تم تطبيق بونفيروني، هولم، هومل، BH، وبنجاميني-يكوتيلي (BY) تحت شرطين:
    1. العائلة الساذجة (Naive Family): إدراج جميع المقاييس في التصحيح.
    2. عائلة النجاح فقط (Success-Only Family): إدراج مقاييس النجاح فقط في التصحيح (مع تقييم مقاييس الحماية باستخدام قيم $p$-raw).

3. المساهمات الرئيسية

1. حجة "مقام النجاح فقط"

المساهمة النظرية الأكثر أهمية هي إثبات أن مقاييس الحماية لا تساهم في تضخم FWER لقرار الشحن.

• النتيجة: عندما يتم استبعاد مقاييس الحماية بشكل صحيح من عائلة التصحيح، ينخفض مقام بونفيروني من إجمالي عدد المقاييس (مثلاً 12) إلى عدد مقاييس النجاح فقط (مثلاً 2).
• الأثر: هذا يجعل مستوى الدلالة الفعال ($\alpha/2 = 0.025$) أقل تحفظاً بكثير من النهج الساذج ($\alpha/12 \approx 0.004$)، مما يجعل بونفيروني معتدلاً من الناحية العملية.

2. فترات الثقة المتماسكة

توضح الورقة أن بونفيروني هو الطريقة الوحيدة التي توفر فترات ثقة (CIs) متزامنة وغير مشروطة لجميع المقاييس ويمكن تنفيذها على نطاق واسع.

• طرق مثل Holm و Hommel تنتج فترات ثقة "غير معلوماتية" للفرضيات المرفوضة (تذكر فقط أن التأثير في منطقة الرفض، وليس مقدار التأثير).
• تتطلب طريقة BH فترات ثقة شرطية (FCR) وهي ليست معيارية في منصات الصناعة، مما يؤدي إلى فترات ثقة ضيقة بشكل مضلل إذا تم الإبلاغ عن فترات الثقة القياسية.

3. القابلية للتتبع في تخطيط حجم العينة

يسمح بونفيروني بحسابات قوة مباشرة قبل التجربة ($n \propto (z_{\alpha/2S} + z_\beta)^2$).

• تتطلب طرق مثل BH افتراضات حول نسبة القيم الصفرية الحقيقية ($\pi_0$) والتوزيعات المشتركة، وهي أمور غير معروفة وقت التصميم، مما يجعل من المستحيل تقديم بيانات قوة صادقة.

4. تحليل القوة التجريبي

تحدد الدراسة "تكلفة القوة" لبونفيروني:

• النظام المتناثر (تجربة المنتج النموذجية): عندما تكون المقاييس غير الصفرية قليلة (الحالة الشائعة)، تكون فجوة القوة بين بونفيروني والطرق الأكثر تطوراً (Holm, Hommel, BH) تقترب من الصفر.
• تحديد العائلة الصحيحة: عند استخدام عائلة "النجاح فقط"، تحقق طرق Holm و Hommel زيادة في "معدل الشحن" (نسبة التجارب المنشورة) بمقدار 4-5 نقاط مئوية فقط فوق بونفيروني.
• العائلة الساذجة: إذا تم إدراج مقاييس الحماية بشكل خاطئ، فإن Holm و Hommel يكادان لا يختلفان عن بونفيروني (الزيادة < 1 نقطة مئوية).

4. النتائج الرئيسية

5. الأهمية والخاتمة

تجادل الورقة بأن السمعة التي تلاحق بونفيروني كونه "متحفظاً للغاية" هي إلى حد كبير أسطورة في سياق تجارب المنتجات جيدة التحديد.

• الثقة والنطاق: بونفيروني هو الخيار الأكثر قوة لبناء الثقة في منصات التجارب لأنه يوفر استدلالاً متماسكاً (فترات الثقة + القرارات) دون افتراضات خفية.
• الاستدلال التصميمي: يتم تقليل "تكلفة" بون%, ليس عن طريق تغيير الطرق، بل عن طريق تحسين تصميم التجربة:
  1. الحد من عدد مقاييس النجاح (إبقاء $S$ صغيراً).
  2. التصنيف الصحيح لـ مقاييس الحماية بحيث لا يتم معاقبتها بالتصحيح.
• الحكم النهائي: بالنسبة للفرق التي تدير تجارب حيث الهدف هو تجنب شحن ميزات معطلة (تكلفة عالية للنتائج الإيجابية الكاذبة) وحيث يكون عدد التغييرات الفعالة حقاً منخفضاً، فإن بونفيروني هو التوازن الأمثل بين البساطة، وقابلية التفسير، والصرامة الإحصائية. المكاسب الهامشية في القوة للطرق الأكثر تعقيداً غالباً ما تكون ضئيلة وتأتي على حساب قابلية التفسير وسهولة التخطيط.

اقتباس من الخاتمة: "الدعوة ليست لتجنب التصحيحات. بل هي للقلق بشكل أقل بشأن استخدام بونفيروني."