📊 statistics

Stop Using the Wilcoxon Test: Myth, Misconception and Misuse in IR Research

تجادل هذه الورقة بأن الاستخدام الواسع لاختبار "ويلكوكسون" للرتب الموقعة (Wilcoxon signed-rank test) في تقييم أداء نظم استرجاع المعلومات يستند إلى سردية مضللة وغير سليم منهجياً، حيث إنه يفشل تكراراً في ضبط معدلات الخطأ من النوع الأول، ويجب التخلي عنه لصالح طرق إحصائية أكثر موثوقية.

المؤلفون الأصليون: Julián Urbano

نُشر 2026-04-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Julián Urbano

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حَكَم في مسابقة طهي، ولديك اثنان من الطهاة، الشيف (X) والشيف (Y)، وقد طلبت منهما طهي نفس الـ 50 طبقاً. تريد أن تعرف: هل الشيف (X) أفضل حقاً، أم أنه كان محظوظاً فقط بالمكونات المحددة التي أُعطيت له؟

للإجابة على هذا السؤال، استخدم الباحثون في مجال استرجاع المعلومات (مجال محركات البحث) أداة رياضية محددة تسمى اختبار ويلكوكسون (Wilcoxon test) منذ عقود. قيل لهم في الكتب المدرسية إن هذه الأداة هي "خطة النسخ الاحتياطي الآمنة" لاستخدامها عندما تبدو البيانات فوضوية أو غريبة. ظنوا أنها بمثابة "حزام الأمان" للإحصاء.

هذه الورقة البحثية تجادل بأن حزام الأمان هذا هو في الواقع فخ. يقول المؤلف، جوليان أوربانو، إنه يجب علينا التوقف عن استخدام اختبار ويلكوكسون فوراً لأنه لا يفشل فحسب؛ بل يكذب علينا فعلياً، خاصة في عالم محركات البحث.

إليك تفصيل حجة الورقة باستخدام تشبيهات بسيطة:

1. الأسطورة الكبرى: "غير المعلمي يعني عدم وجود قواعد"

الأسطورة: علمت الكتب المدرسية الباحثين أن اختبار ويلكوكسون هو اختبار "غير معلمي" (non-parametric)، وهو ما يبدو وكأنه يعني "ليس له قواعد" أو "يعمل مع أي نوع من البيانات". ظن الناس: "إذا لم تكن بياناتنا سلسة ومثالية على شكل جرس، فسأستخدم ويلكوكسون لأنه خيار 'الحرية المطلقة'".

الواقع: تكشف الورقة أن ويلكوكسون ليس حرية مطلقة. لديه قاعدة خفية صارمة جداً: التماثل (Symmetry).

التشبيه: تخيل أرجوحة (سيسو). اختبار ويلكوكسون يعمل فقط إذا كانت الأرجوحة متوازنة تماماً. إذا كان الوزن في جانب واحد أثقل قليلاً من الجانب الآخر (عدم التماثل)، فإن الاختبار ينهار.
المشكلة: في العالم الحقيقي لمحركات البحث (بيانات IR)، نادراً ما تكون البيانات متوازنة تماماً. إنها مائلة. باستخدام ويلكوكسون على بيانات مائلة، يحاول الباحثون أساساً موازنة أرجوحة مائلة بالفعل. والنتيجة؟ يصرخ الاختبار قائلاً "هناك فرق!" حتى عندما لا يكون هناك فرق.

2. المفهوم الخاطئ: "اختبار T يتطلب بيانات مثالية"

المفهوم الخاطئ: قيل للناس إن اختبار t للطلاب (الاختبار "الطبيعي") يعمل فقط إذا كانت البيانات عبارة عن منحنى جرس مثالي وسلس. وبما أن درجات محركات البحث غالباً ما تكون متعرجة أو منفصلة، ظن الناس: "أوه، اختبار t سيفشل، لذا يجب أن أستخدم ويلكوكسون".

الواقع: اختبار t في الواقع أقوى مما يعتقده الناس.

التشبيه: فكر في اختبار t كأنه شاحنة ثقيلة. لقد صُممت لتقود على طرق سريعة ممهدة (منحنيات الجرس المثالية)، ولكن بفضل مبدأ يسمى "نظرية النهاية المركزية"، يمكنها في الواقع التعامل مع الطرق الوعرة والصخرية والمتعرجة بشكل جيد تماماً. طالما أن لديك نقاط بيانات كافية (مثل القيادة لمسافة طويلة بما يكفي)، فإن الشاحنة ستجعل الطريق يبدو ممهداً.
النتيجة: تظهر الورقة أنه حتى عندما تكون البيانات غريبة، يظل اختبار t ثابتاً على الطريق ويعطي الإجابة الصحيحة. إنه لا يتحطم.

3. سوء الاستخدام الكارثي: لماذا يفشل ويلكوكسون؟

أجرى الباحثون آلاف المحاكاة الحاسوبية باستخدام بيانات حقيقية لمحركات البحث لمعرفة ما يحدث عند استخدام هذه الاختبارات على بيانات "فوضوية".

اختبار t: عندما كانت البيانات غريبة (منحرفة، أو ذات ذيول ثقيلة، أو منفصلة)، حافظ اختبار t على معدل الخطأ الثابت بنسبة 5%. لقد كان موثوقاً.
اختبار ويلكوكسون: عندما كانت البيانات مائلة قليلاً (غير متماثلة)، خرج اختبار ويلكوكسون عن السيطرة.
- التشبيه: تخيل جهاز كشف دخان حساس للغاية لدرجة أنه يعمل بمجرد تحميص قطعة خبز. في محاكاة الورقة، مع زيادة حجم العينة، بدأ اختبار ويلكوكسون يصرخ "حريق!" (يرفض الفرضية الصفرية) في كل مرة تقريباً، حتى عندما لم يكن هناك حريق على الإطلاق.
- لماذا؟ لأنه توقف عن اختبار "من هو الأفضل" وبدأ يختبر "هل البيانات مائلة؟". وبما أن بيانات محركات البحث مائلة دائماً تقريباً، فإن الاختبار يدعي كذباً وجود فائز بينما لا يوجد أحد.

4. الخلاصة: توقف عن استخدام الخيار "الآمن"

تخلص الورقة إلى أن الاعتقاد بأن ويلكوكسون هو "البديل الآمن" هو كذبة خطيرة.

اختبار t هو الشاحنة القوية التي تتعامل مع مطبات الواقع.
اختبار ويلكوكسون هو بيت زجاجي هش يتحطم بمجرد هبوب الرياح (عدم التماثل).

الحكم النهائي: تحث الورقة مجتمع استرجاع المعلومات على التوقف عن استخدام اختبار ويلكوكسون تماماً. الاستمرار في استخدامه يخلق شعوراً زائفاً بالأمان ويؤدي بالباحثين إلى الاعتقاد بأنهم وجدوا تحسينات في محركات البحث الخاصة بهم، بينما هم في الواقع لم يجدوا سوى ضجيج إحصائي.

باختصار: "خطة النسخ الاحتياطي" هي في الواقع السبب في وقوع معظم الحوادث. لقد حان الوقت لتقاعدها والتمسك بالأداة التي تعمل حقاً: اختبار t.

إليك ملخص تقني مفصل لورقة "توقف عن استخدام اختبار ويلكوكسون: أسطورة، سوء فهم، وإساءة استخدام في أبحاث استرجاع المعلومات" للباحث جوليان أوربانو.

1. بيان المشكلة

في تقييم استرجاع المعلومات (IR)، يقوم الباحثون بشكل متكرر بمقارنة أداء الأنظمة باستخدام اختبارات الدلالة الإحصائية. ويعد اختبار "تي" لستودنت (Student's $t$ -test) واختبار ويلكوكسون للرتب الموقعة (Wilcoxon signed-rank test) الطريقتين السائدتين. وهناك اعتقاد سائد في مجتمع استرجاع المعلومات، غذته الكتب المدرسية والإرشادات، وهو أن اختبار ويلكوكسون هو بديل "أكثر أماناً" وغير معلمي (non-parametric) لاختبار "تي" عندما لا تتبع درجات المقاييس (مثل NDCG أو AP) التوزيع الطبيعي.

يجادل المؤلف بأن هذا السرد مضلل وضار. فالمشكلة الجوهرية تكمن في أن مجتمع استرجاع المعلومات يطبق اختبار ويلكوكسون بشكل خاطئ بناءً على سوء فهم لافتراضاته. وبينما يتم رفض اختبار "تي" غالباً بسبب عدم التوزيع الطبيعي للدرجات، يتم اعتماد اختبار ويلكوكسون تحت الفرضية الخاطئة بأنه "خالٍ من الافتراضات". وفي الواقع، يعتمد اختبار ويلكوكسون على افتراض التماثل (symmetry assumption) فيما يتعلق بتوزيع الفروقات المزدوجة. ويشير البحث إلى أن بيانات استرجاع المعلومات غالباً ما تنتهك هذا التماثل، مما يؤدي إلى فقدان اختبار ويلكوكسون للسيطرة على معدل الخطأ من النوع الأول (الإيجابيات الكاذبة)، في حين يظل اختبار "تي" قوياً (robust).

2. المنهجية

تستخدم الورقة نهجاً متعدد الأوجه يجمع بين مراجعة الأدبيات، والتحليل النظري، والمحاكاة التجريبية:

المراجعة المنهجية للأدبيات: قام المؤلف بتحليل 25 كتاباً مدرسياً في الإحصاء (تغطي الإحصاء العام، والإحصاء غير المعلمي، والتطبيقات الميدانية) لتتبع أصول أسطورة "ويلكوكسون أكثر أماناً". ركزت المراجعة على كيفية تعريف هذه النصوص للطرق غير المعلمية، ووصف افتراضات اختبار "تي"، وعرض اختبار ويلكوكسون.
التحليل النظري:
- اختبار "تي" ( $t$ -test): توضح الورقة أن اختبار "تي" لا يتطلب أن تكون الدرجات الخام ( $X, Y$ ) موزعة طبيعياً، بل يتطلب أن يكون المتوسط الحسابي للعينة للفروقات ( $\bar{D}$ ) موزعاً طبيعياً تقريباً. وبموجب نظرية الحد المركزي (CLT)، يتحقق هذا الشرط لأحجام العينات المتوسطة حتى لو كان التوزيع الأساسي للفروقات ( $D$ ) غير طبيعي.
- اختبار ويلكوكسون: تسلط الورقة الضوء على أن اختبار ويلكوكسون للرتب الموقعة هو اختبار للمتوسط الحسابي (median)، والذي يتساوى مع المتوسط الحسابي فقط إذا كان توزيع الفروقات متماثلاً. وإذا انتُهك التماثل، يصبح الاختبار فعلياً اختباراً للتماثل بدلاً من كونه اختباراً لفروق المتوسطات، مما يؤدي إلى قيم $p$ غير صالحة.
المحاكاة التجريبية (مونت كارلو):
- مصدر البيانات: تم جمع بيانات حقيقية من مسارات TREC (الويب، التدوين المصغر، التعلم العميق، دعم القرار السريري، الطب الدقيق)، مما أنتج 53,703 عينة من الفروقات المزدوجة.
- نمذجة التوزيع: قام المؤلف بمحاكاة 100,000 عينة تحت فرضية العدم ( $H_0: \mu_D = 0$ $H_{0} : μ_{D} = 0$ ) باستخدام أربعة توزيعات محددة غير طبيعية لنمذجة خصائص بيانات استرجاع المعلومات:
  1. عدم التماثل (Asymmetry): باستخدام توزيعات Asymmetric Generalized Normal (AGN) و Tukey G-and-H (TGH).
  2. ثقل الذيول (Tail Heaviness): باستخدام توزيعات Symmetric Generalized Normal (SGN) و TGH.
  3. الانفصال (Discreteness): باستخدام Irregular Beta-Binomial (IBB) لمحاكاة مقاييس مثل P@k و RR@k.
  4. تعدد الأنماط (Multimodality): (تمت مناقشته باختصار واستبعاده من المحاكاة التفصيلية لصعوبة القياس الكمي).
- المعلمات (Parameters): تباينت المحاكاة في أحجام العينات ( $n = 5, 50, 500, 5000$ ) ومستويات الانحراف عن التوزيع الطبيعي (من منخفض إلى "مرتفع بشكل مرضي").
- المقياس: كان المقياس الأساسي هو معدل الخطأ من النوع الأول (Type I error rate) عند مستوى دلالة $\alpha = 0.05$ .

3. المساهمات الرئيسية

أ. تفكيك "الأسطورة، وسوء الفهم، وإساءة الاستخدام"

الأسطورة: الطرق غير المعلمية "خالية من الافتراضات".
- التصحيح: ليست كذلك. يفترض اختبار ويلكوكسون تماثل توزيع الفروقات. وهذا افتراض أقوى وغالباً ما يكون أسهل في الانتهاك من التوزيع الطبيعي التقريبي المطلوب لاختبار "تي".
سوء الفهم: يتطلب اختبار "تي" درجات موزعة طبيعياً.
- التصحيح: يتطلب اختبار "تي" أن يكون المتوسط الحسابي للعينة موزعاً طبيعياً. وبسبب نظرية الحد المركزي (CLT)، ينطبق هذا على أحجام عينات استرجاع المعلومات ( $n \ge 50$ ) حتى مع وجود بيانات ملتوية أو ذات ذيول ثقيلة.
إساءة الاستخدام: استخدام ويلكوكسون كبديل "آمن" للبيانات غير الطبيعية.
- التصحيح: لأن بيانات استرجاع المعلومات غالباً ما تكون غير متماثلة، فإن استخدام ويلكوكسون يؤدي إلى خطر شديد بزيادة الإيجابيات الكاذبة، مما يجعله أقل أماناً من اختبار "تي".

B. الدليل التجريبي على الفشل

أظهرت عمليات المحاكاة أن:

الانفصال وثقل الذيول: يعمل كل من اختبار "تي" واختبار ويلكوكسون بشكل جيد (يحافظان على معدلات خطأ تقارب 5%) في ظل التوزيعات المنفصلة والثقيلة الذيول، بشرط ألا يكون حجم العينة ( $n$ ) صغيراً بشكل تافه.
عدم التماثل (الفشل الحرج):
- يظل اختبار "تي" قوياً. حتى في حالات عدم التماثل المرضي، يظل معدل الخطأ قريباً من 5% لـ $n \ge 500$ وينتفخ قليلاً (يصل إلى ~10%) عند $n=50$ .
- يفشل اختبار ويلكوكسون فشلاً ذريعاً. فمع زيادة حجم العينة، يرتفع معدل الخطأ بشكل صاروخي. في حالة عدم التماثل القوي مع $n=500$ ، يرفض الاختبار فرضية العدم في كل الحالات تقريباً، حتى في حال عدم وجود فرق حقيقي. إنه يختبر فعلياً التماثل بدلاً من فرق الأداء.

C. تحليل التناقضات في الكتب المدرسية

كشفت المراجعة أن حوالي 50% فقط من الكتب المدرسية التي تمت دراستها تذكر صراحةً افتراض التماثل لاختبار ويلكوكسون. وتعرض الكثير منها الاختبار بشكل غامض كاختبار للبيانات "الترتيبية" أو "المكانية"، مما يحجب متطلبات التماثل الحرجة. هذا النقص في الوضوح في الأدبيات التأسيسية هو ما أدى إلى انتشار إساءة الاستخدام في أبحاث استرجاع المعلومات.

4. النتائج

معدلات الخطأ من النوع الأول:
- المتماثل/الثقيل الذيول/المنفصل: يحافظ كلا الاختبارين على معدلات الخطأ الاسمية ( $\approx 0.05$ ).
- غير المتماثل:
  - اختبار "تي": تظل معدلات الخطأ قريبة من 0.05 لـ $n \ge 500$ ؛ مع انتفاخ طفيف لـ $n=50$ في حالات الالتواء الشديد.
  - اختبار ويلكوكسون: تزدل معدلات الخطأ خطياً مع عدم التماثل وحجم العينة. عند $n=5000$ مع عدم تماثل عالٍ، يصل معدل الخطأ إلى 1.0 (100% معدل إيجابي كاذب).
واقع بيانات استرجاع المعلومات: يؤكد تحليل بيانات TREC أن فروقات مقاييس استرجاع المعلومات غالباً ما تكون غير متماثلة (الالتواء $|\gamma| \approx 0.5$ إلى $3.0$)، مما يضعها في "منطقة الخطر" لاختبار ويلكوكسون.

5. الأهمية والتوصيات

تقاعد ويلكوكسون: تخلص الورقة إلى وجوب التخلي عن اختبار ويلكوكسون للرتب الموقعة في تقييم استرجاع المعلومات. إن استخدامه غير مبرر لأنه عرضة هيكلياً للفشل في ظل الظروف (عدم التماثل) التي تميز بيانات استرجاع المعلومات.
إعادة تقييم اختبار "تي": يُوصى باستخدام اختبار "تي" كمعيار للمقارنات المزدوجة في استرجاع المعلومات، حيث أنه قوي تجاه عدم التوزيع الطبيعي (الالتواء، التفرطح، الانفصال) النموذجي لمقاييس استرجاع المعلومات، بشرط أن تكون أحجام العينات معقولة ( $n \ge 50$ ).
التحول المنهجي: يدعو المؤلف إلى الانتقال من مجرد اختبار الفرضيات الثنائية البسيطة نحو النمذجة الصريحة (مثل النماذج الخطية المختلطة، أو نظرية التعميم). يمكن لهذه الأساليب التعامل بشكل أفضل مع مصادر التباين المتعددة (المواضيع، المجموعات، المقيمين) وتجعل الافتراضات شفافة، بدلاً من الاعتماد على اختبارات دلالة "الصندوق الأسود".
التأثير الأوسع: تحذر الورقة من استيراد القواعد المنهجية من مجالات أخرى دون تمحيص. وهي تسلط الضوء على كيف يمكن للتبسيطات الموجودة في الكتب المدرسية أن تؤدي إلى عقود من الخطأ المنهجي في مجال محدد.

باختصار، تقدم الورقة حجة إحصائية وتجريبية صارمة مفادها أن البديل "الآمن" (ويلكوكسون) هو في الواقع الخيار الأكثر خطورة في استرجاع المعلومات، وتدعو إلى العودة الفورية إلى اختبار "تي" أو إلى أطر نمذجة أكثر تطوراً.