📊 statistics

Finite-sample nonparametric mean tests: Leave-one-out duality and asymptotic optimality

تقدم هذه الورقة إطار عمل للشهادة المزدوجة القائمة على استبعاد عنصر واحد لإثبات الصلاحية في العينات المحدودة والتحسين التقاربي لاختبارات المتوسط غير المعلمية للمتغيرات العشوائية غير السالبة، مما يسفر عن قيمة احتمالية (p-value) جديدة قائمة على التوزيع الثنائي واختبار مشترك يتفوق على الطرق الحالية دون اشتراط فرضيات حول العزوم أو الذيول.

المؤلفون الأصليون: Yifan Zhu, John C. Duchi

نُشر 2026-09-07

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Yifan Zhu, John C. Duchi

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

في عالم البيانات، غالبًا ما يكون المتوسط هو الرقم الأول الذي نتطلع إليه. فهو يخبرنا بالطول المعتاد للإنسان، أو التكلفة المعتادة للإصلاح، أو متوسط الإيرادات التي تحققها شركة ما. لكن المتوسطات يمكن أن تكون مضللة بشكل خطير عندما تكون البيانات منحرفة. تخيل غرفة مليئة بالناس حيث يتقاضى معظمهم راتبًا متواضعًا، ولكن هناك شخص واحد يمتلك المليارات؛ سيقفز متوسط الدخل بشكل هائل، ومع ذلك لن يخبرك شيئًا عن الشخص العادي في الغرفة. في الإحصاء، هذا فخ معروف: إذا حاولت اختبار ما إذا كان المتوسط أعلى أو أقل من خط معين دون معرفة أي شيء آخر عن كيفية انتشار البيانات، فإن الرياضيات تقول إنك لا تستطيع القيام بذلك بشكل موثوق. إذ يمكن لفرصة ضئيلة لوجود قيمة متطرفة وجامحة أن تكسر أي اختبار قياسي، مما يجعل من المستحيل التمييز بين إشارة حقيقية وضجيج عشوائي.

ومع ذلك، هناك حالة شائعة نعرف فيها شيئًا مهمًا: الأرقام لا يمكن أن تكون سالبة. لا يمكنك الحصول على خسائر تأمين سالبة، أو أوقات إصلاح سالبة، أو إيرادات سالبة. هذه الحقيقة البسيطة — وهي أن البيانات عالقة في جانب واحد من الصفر — تغير كل شيء. فهي تخلق حدًا يمنع البيانات من التصرف بالطرق الأكثر تدميرًا. وقد طور باحثون في جامعة ستانفورد مؤخرًا مجموعة جديدة من الأدوات للاستفادة من هذا الحد. لقد طوروا طريقة لاختبار ما إذا كان المتوسط مرتفعًا جدًا، حتى عندما تكون البيانات فوضوية، وذات ذيول ثقيلة، وغير معروفة تمامًا، طالما ظلت الأرقام موجبة. يثبت عملهم أنه باستخدام خدعة رياضية محددة تتضمن ترك قطعة واحدة من البيانات خارج الحساب في كل مرة، يمكنهم إنشاء اختبارات مضمونة الصحة في كل حالة، وليس فقط في المتوسط عبر تجارب عديدة.

جوهر اكتشافهم هو طريقة جديدة للتحقق مما إذا كان لمجموعة من الأرقام الموجبة متوسط يتجاوز حدًا معينًا، مثل دولار واحد أو ساعة واحدة. في العديد من السيناريوهات الواقعية، مثل مراقبة مطالبات التأمين أو تكاليف الخوادم، نحتاج إلى معرفة ما إذا كان المتوسط يرتفع تدريجيًا، لكن لا يمكننا افتراض أن البيانات تتبع منحنى جرس مرتب أو أن القيم محددة بسقف أقصى. غالبًا ما تفشل الطرق التقليدية هنا لأنها تعتمد على افتراضات لا تصمد أمام البيانات المنحرفة. قدم فريق ستانفورد، بقيادة ييفان جو وجون دوتشي، إطارًا أطلقوا عليه اسم "الشهادة المزدوجة بنظام الاستبعاد الواحد" (leave-one-out dual certificate). لفهم هذا، تخيل أنك تحاول إثبات قاعدة بشأن مجموعة من الناس؛ بدلًا من النظر إلى المجموعة بأكملها دفعة واحدة، تنظر إلى المجموعة مع التظاهر بأن شخصًا واحدًا مفقود. تتحقق مما إذا كانت القاعدة تنطبق على الأشخاص المتبقين، ثم تكرر ذلك لكل شخص في المجموعة. ومن خلال الجمع بين هذه الرؤى الجزئية، وجد الباحثون طريقة لبناء برهان رياضي يعمل للمجموعة بأكملها، بغض النظر عن مدى غرابة البيانات.

سمح هذا النهج لهم بالتحقق من صحة إحصائية محددة تم اقتراحها منذ سنوات ولكن لم يثبت أبدًا بشكل كامل أنها تعمل مع جميع أحجام العينات. لقد أظهروا أن هذه الإحصائية، التي تقارن احتمالية البيانات تحت افتراضات مختلفة، هي وسيلة موثوقة للقول بأن "المتوسط مرتفع على الأرجح" مع معدل خطأ مضمون. لكنهم لم يتوقفوا عند هذا الحد؛ فقد أدركوا أن هذه الأداة الوحيدة ليست الأفضل في رصد كل أنواع المشكلات. فأحيانًا، تكون الأدلة ضد كون المتوسط مرتفعًا جدًا منتشرة عبر العديد من القيم المتوسطة، وأحيانًا أخرى، تتركز الأدلة في عدد قليل من القيم الكبيرة جدًا. كانت الأداة القديمة جيدة في الحالة الأولى، لكنها أغفلت الثانية. ولإصلاح ذلك، اخترع الباحثون إحصائية جديدة، وهي تعميم لاختبار كلاسيكي يُستخدم لرمي العملات المعدنية، أطلقوا عليها اسم "القيمة الاحتمالية الثنائية المعممة" (generalized binomial p-value). هذه الأداة الجديدة حادة بشكل خاص في اكتشاف الحالات التي تؤدي فيها بعض القيم المتطرفة إلى رفع المتوسط.

الجزء الأكثر قوة في عملهم هو كيفية دمج هاتين الأداتين. لقد أثبتوا أنه من خلال أخذ النتيجة الأصغر بينهما — أي النتيجة الأكثر إثارة للريبة — فإنك تحصل على اختبار أفضل من كل منهما على حدًا. الأمر يشبه امتلاك ماسحين ضوئيين مختلفين للأمن: أحدهما بارع في رصد المعادن، والآخر بارع في رصد البلاستيك. إذا استخدمت كليهما ووضعت علامة على أي عنصر إذا استجاب أي من الماسحين، فستكتشف المزيد من التهديدات دون رفع معدل الإنذارات الكاذبة. يثبت برهانهم الرياضي أن هذا الجمع صالح لأي حجم عينة، مما يعني أنه يعمل بنفس الكفاءة مع عشر نقاط بيانات كما يعمل مع مليون نقطة. كما أظهروا أن هذه الطريقة المدمجة "مثالية تقاربيًا" (asymptotically optimal)، مما يعني أنه كلما جمعت المزيد والمزيد من البيانات، تصبح بقوة أي اختبار ممكن، حتى في أكثر السيناريوهات صعوبة حيث تكون البيانات منتشرة للغاية.

لتأكيد نظريتهم، أجرى الباحثون محاكاة حاسوبية واسعة النطاق باستخدام أنواع مختلفة من التوزيعات، بما في ذلك بعض التوزيعات المنحرفة للغاية والأخرى ذات الذيول الثقيلة. وفي كل سيناريو، تفوقت طريقتهم المدمجة الجديدة على التقنيات الموجودة. لقد اكتشفت الزيادات الحقيقية في المتوسط بشكل أكبر بكثير من الطرق القديمة، مع الحفاظ على معدل الإنذارات الكاذبة عند مستواه الصحيح تمامًا. ويمثل هذا تحسنًا كبيرًا في مجالات مثل التمويل والهندسة والرعاية الصحية، حيث تعتمد القرارات غالبًا على ما إذا كان متوسط التكلفة أو الوقت قد تجاوز عتبة حرجة. ومن خلال إثبات أن هذه الاختبارات صالحة دون الحاجة لمعرفة شكل توزيع البيانات، قدم الباحثون طريقة قوية وموثوقة لاتخاذ القرارات بناءً على الأرقام الموجبة، محولين مشكلة كانت مستحيلة سابقًا إلى مسألة تم حلها. إن عملهم يوضح أنه حتى في مواجهة عدم اليقين والقيم المتطرفة، يمكن العثور على حدود رياضية صارمة لإرشادنا نحو الحقيقة.

ملخص تقني: اختبارات المتوسط غير المعلمية في العينات المحدودة: ثنائية "ترك الواحد واستبعاده" والتحسين التقاربي

بيان المشكلة
تتناول الورقة مشكلة الاختبار الفرضي الصالح للعينات المحدودة لمتوسط المتغيرات العشوائية غير السالبة. وتحديداً، بالنظر إلى ملاحظات مستقلة ومتماثلة التوزيع (i.i.d.) $X_1, \dots, X_n$ من توزيع مجهول على $\mathbb{R}_+$ بمتوسط $\mu$ ، يكون الهدف هو اختبار الفرضية أحادية الجانب:
$H_0: \mu \le 1 \quad \text{مقابل} \quad H_1: \mu > 1.$
إن الاستدلال غير المعلمي القياسي للمتوسط مستحيل عموماً دون قيود توزيعية، كما أثبت بادور وسافاج [1956]، اللذان أوضحا أنه بالنسبة لفئة جميع التوزيعات ذات المتوسط المحدود، فإن أي اختبار ذو مستوى $\alpha$ منتظم تكون قوته بحد أقصى $\alpha$ عند كل بديل. ينشأ هذا الاستحالة لأن المتوسط ليس متيناً (non-robust)؛ إذ يمكن لكتلة احتمالية صغيرة بعيدة في الاتجاه غير المرغوب فيه أن تغير المتوسط بشكل جذري مع تأثير ضئيل على الإحصاءات ذات العينة المحدودة.

يقيد المؤلفون المشكلة لتقتصر على المتغيرات العشوائية غير السالبة ( $X_i \ge 0$ ). وبينما يسمح هذا ببناء اختبارات صالحة، فإن الأدوات الموجودة محدودة. لا تنطبق اختبارات التبديل (permutation) أو الرتب (rank) القياسية مباشرة، كما أن التقريبات الطبيعية وطرق "البوتستراب" (bootstrap) توفر صلاحية تقاربية فقط. أما طرق التركيز (مثل Hoeffding أو Bernstein) فتتطلب عادةً دعماً محدوداً معروفاً، أو تحكماً في التباين، أو افتراضات عزم أقوى، وهي أمور غالباً ما تكون غير متوفرة في الإعدادات ذات البيانات غير السالبة ذات الذيول الثقيلة أو الالتواء العالي (مثل خسائر التأمين، أو الإيرادات لكل عميل).

المنهجية: إطار الشهادة المزدوجة لـ "ترك الواحد واستبعاده"
المساهمة المنهجية الجوهرية هي إطار "الشهادة المزدوجة لترك الواحد واستبعاده" (leave-one-out dual certificate). يعرّف المؤلفون فئة الفرضية الصفرية لترك الواحد واستبعاده $\mathcal{P}^n_{loo}$ ، والتي تتضمن التوزيعات حيث يحقق المتوسط الشرطي $E_P[X_i | X_{-i}] \le 1$ تقريباً في كل مكان. هذه الفئة أوسع من الفرضية القياسية لـ i.i.d. ولكنها تسمح بنقاش ثنائي صارم.

لإثبات أن الإحصائية $T: \mathbb{R}^n_+ \to [0, 1]$ هي قيمة $p$ صالحة (أي $P(T(X) \le \alpha) \le \alpha$ لكل $P \in \mathcal{P}^n_{loo}$ )، يصيغ المؤلفون مسألة تحسين فوق فئة التوزيعات الممكنة. يستخدمون "المضاعف اللاجرانجي" (Lagrangian dual) لهذه المسألة. ومن خلال إدخال مضاعفات لاجرانج غير السالبة $\lambda^{(i)}_\alpha$ ، يشتقون شرط تباين نقطي (يُرمز له بـ cert):
$\alpha + \sum_{i=1}^n \lambda^{(i)}_\alpha(x_{-i})(x_i - 1) \ge \mathbb{1}\{T(x) \le \alpha\} \quad \forall x \in \mathbb{R}^n_+.$
إذا وجدت دوال غير سالبة $\lambda^{(i)}_\alpha$ تحقق ذلك، فإن الثنائية الضعيفة تضمن أن $T$ هي قيمة $p$ صالحة. يقلل هذا النهج من عملية التحسين غير المتناهية الأبعاد عبر التوزيعات إلى إيجاد دوال تحقق تباينات نقطية.

التوسيع الرئيسي لهذا الإطار هو مبدأ "التبديل المزدوج" (Theorem 5.1). إذا كانت هناك قيمتان $p$ (أي $S$ و $T$ ) تمتلكان شهادات مزدوجة بخصائص رتابة وترتيب محددة، فإن الحد الأدنى النقطي $\min\{S, T\}$ هو أيضاً قيمة $p$ صالحة. يسمح هذا بدمج استراتيجيات الاختبار المختلفة لتحسين القوة دون التضحية بالصلاحية.

المساهمات والنتائج الرئيسية

التحقق من نسبة الاحتمال غير المعلمية ( $T_{nplr}$ ):
تقدم الورقة برهاناً صارماً لصلاحية العينة المحدودة للإحصائية $T_{nplr}$ التي اقترحها وانغ و تشاو [2003]. تُعرف هذه الإحصائية عبر نسبة احتمال غير معلمية:
$T_{nplr}(x) = \min_{t \in [0,1]} \prod_{i=1}^n (1 - t + t x_i)^{-1}.$
بينما افترض وانغ وتشاو صلاحيتها، وأكد عمل متزامن من مينغ وآخرون [2026] صحتها عبر تمثيل مختلف، تثبت هذه الورقة صلاحيتها تحت فرضية "ترك الواحد واستبعاده" باستخدام إطار الشهادة المزدوجة.
القيمة الاحتمالية الثنائية المعممة ( $T_{bin+}$ ):
يقدم المؤلفون إحصائية جديدة، $T_{bin+}$ ، والتي توسع اختبار "كلوبر-بيرسون" الثنائي الدقيق ليشمل المتغيرات العشوائية غير السالبة بشكل عام. يتم بناؤها من خلال النظر في سيناريو "الحالة الأسوأ" حيث تأخذ الملاحظات القيم في $\{0, x_{max}\}$ . تُعرف الإحصائية بـ:
$T_{bin+}(x) = \frac{\int_{-1/(x_{max}-1)}^0 \prod_{i \ne j} (1 + s(x_i - 1)) ds}{\int_{-1/(x_{max}-1)}^1 \prod_{i \ne j} (1 + s(x_i - 1)) ds},$
حيث $j$ هو مؤشر بحيث $x_j = x_{max}$ . تثبت الورقة أن $T_{bin+}$ هي قيمة $p$ صالحة لـ $\mathcal{P}^n_{loo}$ وتوفر تمثيلاً فعالاً يتضمن تكاملات الدوال الضربية.
الإحصائية المدمجة:
باستخدام مبدأ التبديل المزدوج، يوضح المؤلفون أن الحد الأدنى النقطي $\min\{T_{nplr}, T_{bin+}\}$ هو قيمة $p$ صالحة. هذه الإحصائية المدمجة أكثر قوة من كل مكون بمفرده، حيث أن $T_{nplr}$ أكثر حساسية للأدلة المنتشرة عبر ملاحظات متعددة، بينما $T_{bin+}$ أكثر حساسية للأدلة المركزة في عدد قليل من القيم المتطرفة الكبيرة.
التحسين التقاربي:
تضع الورقة نتائج تحسين حادة في نظامين تحت فرضية i.i.d. $\mathcal{P}^n_{iid}$ :

قابلية الكشف صفر-واحد: في النظام غير المعلمي الكامل بدون افتراضات العزم، تحدد مسافة هيلينجر المربعة $H^2(Q_n, \mathcal{P}_0)$ قابلية الكشف. إذا كان $n H^2 \to \infty$ ، فإن الاختبارات $T_{nplr}$ و $T_{bin+}$ والحد الأدنى بينهما يحققون قوة تقاربية قدرها 1. إذا كان $n H^2 \to 0$ ، فلا يوجد اختبار يحقق قوة أكبر من $\alpha$ .
القوة المحلية التقاربية: تحت البدائل المحلية المنتظمة التي تقترب من الفرضية الصفرية بمعدل $n^{-1/2}$ ، تتوافق القوة غير المعلمية المثلى مع تجربة إزاحة المتوسط الغاوسي. تثبت الورقة أن $T_{bin+}$ و $\min\{T_{nplr}, T_{bin+}\}$ يحققان هذه القوة المثلى. في المقابل، يُظهر أن $T_{nplr}$ متحفظ بشكل صارم ويفشل في تحقيق القوة المحلية التقاربية المثلى.

الأهمية والادعاءات
تدعي الورقة أنها تحل السؤال المفتوح حول صلاحية العينة المحدودة لإحصائية نسبة الاحتمال غير المعلمية $T_{nplr}$ تحت فرضية "ترك الواحد واستبعاده" الواسعة. كما تقدم إحصائية جديدة $T_{bin+}$ ، والتي تسد فجوة في الاختبارات غير المعلمية للبيانات غير السالبة عبر توسيع طرق الثنائي الدقيقة لتشمل الدعامات غير المحدودة.

تكمن أهمية العمل في:

الدقة النظرية: توفير إطار مزدوج موحد يثبت الصلاحية دون الحاجة إلى دعم محدود أو افتراضات تباين، وهي أمور شائعة في متباينات التركيز ولكنها غالباً ما تكون غير واقعية في الممارسة العملية.
التحسين (Optimality): إثبات أنه بينما $T_{nplr}$ صالحة، إلا أنها غير مثالية في الأنظمة المحلية التقاربية، في حين أن $T_{bin+}$ تحقق الحد الأدنى للقوة غير المعلمية.
المنفعة العملية: يوفر دمج هذه الإحصائيات طريقة صالحة في العينة المحددة ومثالية تقاربياً في آن واحد، مما يقدم مكاسب قوة كبيرة على الطرق الموجودة (مثل طرق نطاق CDF، وطرق المراهنة/betting، وحدود بيرنشتاين التجريبية) في التجارب العددية.

يؤكد المؤلفون أن نتائجهم محددة للمتغيرات العشوائية غير السالبة وهيكل فرضية "ترك الواحد واستبعاده"، مما يميز نهجهم عن طرق المراهنة التسلسلية (مثل Waudby-Smith و Ramdas [2024]) التي تنطبق على فرضية تسلسلية أكبر ولكنها قد لا توفر نفس خصائص قوة العينة المحدودة تحت افتراض i.i.d.

أبحاث مشابهة