📊 statistics

The Difference Between "Replicable" and "Not replicable" is not Itself Scientifically Replicable

تجادل هذه الورقة بأن تجميع أحكام التكرار الثنائية عبر التجارب غير المتطابقة يفشل في التمييز بشكل موثوق بين النتائج "القابلة للتكرار" و"غير القابلة للتكرار" لأن التباين المتأصل يخلق عدم يقين غير قابل للاختزال وتباينًا غير قابل للتعريف، مما يقوض الأسس الإحصائية المستخدمة لإعلان أزمة التكرار.

المؤلفون الأصليون: Berna Devezer, Erkan O. Buzbas

نُشر 2026-04-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Berna Devezer, Erkan O. Buzbas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات إبداعية.

الفكرة الكبرى: لماذا لا يمكننا بسهولة التمييز بين العلم "الحقيقي" والعلم "الزائف"

تخيل أنك قاضٍ يحاول تحديد ما إذا كانت وصفة طهي جديدة "جيدة" أم "سيئة". تسأل 50 طباخاً مختلفاً لتجربة صنعها.

إذا قال 45 طباخاً: "طعمها رائع!" وقال 5: "إنها فظيعة"، فقد تستنتج أن الوصفة قابلة للتكرار (جيدة).
إذا قال 25: "رائعة" و25: "فظيعة"، فقد تستنتج أنها غير قابلة للتكرار (سيئة).

هذه الورقة تجادل بأن طريقة الحكم هذه معطلة.

يزعم المؤلفان، برنا ديفيزير وإركان أو. بوزباس، أنه في العلم الحديث، لا يمكننا التمييز بشكل موثوق بين النتيجة "الجيدة" والنتيجة "السيئة" بمجرد عدّ عدد المرات التي نجحت فيها التجربة في مختبرات مختلفة. حتى لو أجريت آلاف التجارب، فإن الرياضيات تقول إن الخط الفاصل بين "قابل للتكرار" و"غير قابل للتكرار" غير مرئي.

المشكلة الجوهرية: أسطورة "النسخة المثالية"

لفهم سبب ذلك، نحتاج إلى النظر فيما يعنيه "التكرار" حقاً.

التكرار المطابق: هذا يشبه آلة التصوير (Photocopier). تأخذ وثيقة، وتقوم الآلة بإخراج نسخة مطابقة لها تماماً. في العلم، يعني هذا أن كل تفصيل (نفس الأشخاص، نفس المعدات، نفس الوقت من اليوم، نفس التعليمات) يكون متطابقاً، ولا يتغير سوى عامل الحظ العشوائي.
الواقع: النسخ المطابقة مستحيلة تقريباً. في الحياة الواقعية، التكرارات تشبه نسخ وثيقة يدوياً. شخص يستخدم قلماً أزرق، وآخر يستخدم قلم رصاص. أحدهم يكتب على مكتب، وآخر يكتب على متن قطار. أحدهم متعب، والآخر مفعم بالطاقة.

تسمي الورقة هذا "عدم التطابق" (Non-exactness). ولأن كل مختبر مختلف قليلاً، فإن كل تجربة تكون مختلفة قليلاً.

النموذجان: "السر المشترك" مقابل "المقامرة المستقلة"

يستخدم المؤلفان نموذجين إحصائيين لشرح ما يحدث عندما نمزج هذه النسخ غير المثالية.

1. نموذج المعيار (السر المشترك)
تخيل مجموعة من الطهاف يتبعون جميعاً، وبشكل سري، نفس الوصفة الأصلية، لكنهم جميعاً سيئون قليلاً في قراءتها.

إذا كانت الوصفة "صعبة القراءة" (ارتفاع نسبة عدم التطابق)، فحتى لو جعلت 1,000 طباخ يجربونها، ستظل نتائجهم فوضوية.
الدرس المستفاد: هناك "أرضية" لمدى الدقة التي يمكنك الوصول إليها. مهما أضفت من طهاف، لن يختفي عدم اليقين لأن مشكلة "الفوضى" تكمن في الوصفة نفسها، وليس في عدد الطهاف.

2. النموذج التشغيلي (المقامرة المستقلة)
هكذا يعمل العلم في الواقع. كل مختبر يجري تجربته الفريدة الخاصة ويبلغ عن نتيجة بسيطة: "نعم" (نجحت) أو "لا" (فشلت).

يوضح المؤلفان أنك عندما تحصل فقط على إجابة "نعم/لا" من كل مختبر، فإنك تفقد كل المعلومات حول مدى اختلاف المختبرات عن بعضها البعض.
التشبيه: تخيل أنك تحاول تخمين متوسط درجة حرارة مدينة ما.
- السيناريو (أ): تسأل 100 شخص للنظر إلى نفس ميزان الحرارة. جميعهم يرون الرقم نفسه، لكن ربما ينظرون إليه جميعاً بشكل خاطئ.
- السيناريو (ب): تسأل 100 شخص للنظر إلى 100 ميزان حرارة مختلف. بعضها مكسور، وبعضها في الشمس، وبعضها في الظل.
- إذا سألتهم فقط "هل الجو حار؟ (نعم/لا)"، فلا يمكنك التمييز بين السيناريو (أ) والسيناريو (ب). ستحصل فقط على قائمة من "نعم" و"لا". ليس لديك أدنى فكرة عما إذا كانت موازين الحرارة مكسورة أم أن الطقس هو الذي يتسم بالفوضى.

"أزمة التكرار" هي وهم إحصائي

تجادل الورقة بأن "أزمة التكرار" الشهيرة (الفكرة القائلة بأن نصف العلم زائف) قد تكون سوء فهم ناتج عن رياضيات سيئة.

الفخ: غالباً ما يقول العلماء: "لقد حاولنا تكرار 100 دراسة، ونجحت 36% منها فقط. لذلك، العلم في أزمة".
الواقع: يقول المؤلفان إن نسبة "36%" هي مجرد رقم يخلط بين التفاح والبرتقال. ولأن كل مختبر مختلف (عدم التطابق)، فإن نسبة "36%" لا تخبرنا ما إذا كان العلم الأصلي سيئاً، أم أن المختبرات ببساطة لم تستطع الاتفاق على كيفية قياسه.
الحكم: لا يمكنك النظر إلى قائمة من نتائج "نعم/لا" والقول "هذه النتيجة حقيقية بالتأكيد" أو "هذه النتيجة خاطئة بالتأكيد". هيكل البيانات ببساطة لا يحتوي على معلومات كافية لاتخاذ هذا القرار.

لماذا "المزيد من التكرارات" لا يحل المشكلة

عادةً ما نعتقد: "إذا لم نكن متأكدين، فلنجرِ المزيد من التجارب!"

تحول الورقة: إذا كانت التجارب "غير متطابقة" (مختبرات مختلفة، أشخاص مختلفون، أدوات مختلفة)، فإن إضافة المزيد من التجارب يشبه إضافة المزيد من الأشخاص إلى غرفة حيث يصرخ الجميع بلغات مختلفة. أنت فقط تزيد من الضجيج.
"حجم العينة الفعال": يوضح المؤلفان أن دراسة تضم 100 مختبر مختلف قد تمتلك فقط القوة الإحصائية لـ 5 أو 6 تجارب مثالية ومتطابقة. "الضجيج" الناتج عن الاختلافات بين المختبرات يلغي الفائدة من وجود مختبرات أكثر.

مثال "Many Labs 4"

اختبر المؤلفان نظريتهم على مشروع حقيقي يسمى "Many Labs 4"، حيث حاولت 17 مختبراً تكرار تجربة نفسية شهيرة حول التفكير في الموت.

النتيجة: كانت المختبرات مختلفة تماماً. بعضها أجرى التجربة عبر الإنترنت، وبعضها حضورياً. بعضها استخدم أسئلة مختلفة.
الرياضيات: عندما حسبوا "الفوضى" (التباين) في هذه المختبرات الـ 17، وجدوا أنها كانت عالية جداً لدرجة أن البيانات لم يكن بإمكانها إخبارهم ما إذا كانت النتيجة الأصلية حقيقية أم لا. كانت إجابات "نعم/لا" ضبابية للغاية.
الاستنتاج: حتى مع وجود مشروع ضخم وممول جيداً، كانت البيانات "مشوشة" للغاية بحيث لا يمكن إعلان فائز.

ملخص: ماذا يجب أن نفعل؟

المؤلفون ليسوا بصدد القول إنه ينبغي لنا التوقف عن ممارسة العلم أو التوقف عن التكرار.

التكرار لا يزال جيداً للتعلم كيف تعمل الأشياء، وإيجاد القياسات الصحيحة، وفهم التفاصيل.
التكرار سيء عندما نحاول استخدامه كاختبار بسيط "ناجح/راسب" لإعلان أن مجالاً علمياً كاملاً في حالة "أزمة" أو في حالة "نجاح".

الاستعارة النهائية:
محاولة تحديد ما إذا كانت نتيجة علمية "حقيقية" من خلال عدّ أصوات "نعم/لا" من مختبرات مختلفة يشبه محاولة الحكم على جودة أغنية من خلال سؤال 100 شخص ليقوموا بدندنتها لك. البعض سيدندن بنغمة مختلفة، والبعض سينسى الكلمات، والبعض سيدندن بشكل أسرع. إذا قمت فقط بعدّ عدد الأشخاص الذين "أصابوا"، فأنت لا تحكم على الأغنية؛ أنت فقط تحكم على مدى قدرة الجمهور على تقليد الأغنية.

تخلص الورقة إلى أن الأدوات التي نستخدمها حالياً لإعلان "أزمة" في العلم عاجزة رياضياً عن القيام بالمهمة الموكلة إليها. لا يمكننا التمييز بشكل موثوق بين "قابل للتكرار" و"غير قابل للتكرار" باستخدام الأساليب الحالية.

إليك ملخص تقني مفصل لورقة "الفرق بين 'قابل للتكرار' و'غير قابل للتكرار' ليس هو نفسه قابلاً للتكرار علمياً" من إعداد ديفيزر وبوزباس (Devezer and Buzbas).

1. بيان المشكلة

تتناول الورقة خللاً جوهرياً في الممارسات الميتا-علمية (metascientific) الحالية المتعلقة بـ معدلات القابلية للتكرار (replicability rates). يقوم المجتمع العلمي بشكل روتيني بتجميع الأحكام الثنائية (تم التكرار مقابل لم يتم التكرار) من دراسات متعددة لتقدير متوسط معدل القابلية للتكرار ( $\mu$ ) لمجال ما أو لنتيجة محددة. ثم يُستخدم هذا المعدل للتمييز بين النتائج "الموثوقة" وتلك "المشبوهة" أو لإعلان "أزمة تكرار".

يجادل المؤلفون بأن هذه الممارسة غير سليمة إحصائياً لأنها:

غير دقيقة (Non-exactness): عمليات التكرار في العالم الحقيقي نادراً ما تكون "دقيقة" (أي متكافئة إحصائياً مع الدراسة المرجعية). فهي تختلف في مجموعات العينات، والإجراءات، والسياقات، مما يؤدي إلى ظهور تباين (heterogeneity).
محدودية هيكل البيانات: تسجل دراسات التكرار القياسية فقط حكماً ثنائياً واحداً لكل تجربة. يفتقر هذا الهيكل للبيانات إلى المعلومات اللازمة للتمييز بين ضجيج المعاينة (sampling noise) والتباين بين التجارب (between-experiment heterogeneity).
الادعاء الجوهري: لا يمكن التمييز بشكل موثوق بين النتيجة "القابلة للتكرار" (معدل $\mu$ مرتفع) والنتيجة "غير القابلة للتكرار" (معدل $\mu$ منخفض) باستخدام الطرق الحالية، حتى مع وجود عدد كبير من عمليات التكرار. فالآلية الإحصائية المستخدمة لإنتاج هذه الأحكام تفقد قدرتها التمييزية في ظل ظروف عدم الدقة الواقعية.

2. المنهجية

صاغ المؤلفون المشكلة باستخدام نموذجين إحصائيين متميزين لالتقاط المصادر الوجودية (ontological) لعدم الدقة:

أ. نموذج المعيار المرجعي (المعدل الكامن المشترك - Shared Latent Rate)

الافتراض: جميع عمليات التكرار $m$ هي تبادلية (exchangeable) وتعتمد على معدل تكرار كامن واحد $\phi$ ، مستمد من توزيع سكاني بمتوسط $\mu$ وارتباط داخل الفئة $\rho$ .
الآلية: يتبع إجمالي عدد النجاحات توزيع بيتا-بينوميال (Beta-Binomial distribution).
الرؤية الجوهرية: حتى لو كان $\rho$ (درجة التباين) معروفاً، فإن تباين المتوسط المقدر $\hat{\mu}$ يمتلك حداً أدنى غير قابل للتقليل من التباين (irreducible variance floor) عندما تؤول $m$ إلى مالانهاية:
$\lim_{m \to \infty} V(\hat{\mu}) = \mu(1-\mu)\rho$
وهذا يعني أن إضافة المزيد من عمليات التكرار لا يمكن أن تقضي على عدم اليقين إذا كانت $\rho > 0$ . وبالتالي، ستتداخل فترات الثقة لمستويات التكرار العالية والمنخفضة، مما يجعل التمييز بينهما مستحيلاً.

ب. النموذج التشغيلي (المعدلات المستقلة شرطياً - Conditionally Independent Rates)

الافتراض: يعكس هذا النموذج الممارسة الفعلية حيث تكون كل تجربة من الـ $m$ فريدة (غير دقيقة) ولها معدل تكرار خاص بها $\phi_i$ ، مستمد بشكل مستقل من توزيع سكاني.
هيكل البيانات: تساهم كل تجربة $i$ بـ حكم ثنائي واحد فقط ( $k_i = 1$ ).
الرؤية الجوهرية: عندما يكون $k_i = 1$ ، يصبح المعامل $\rho$ (التباين) غير قابل للتعريف (non-identifiable) من البيانات. يتلاشى التوزيع المشترك للنتائج الثنائية ليصبح توزيعاً بسيطاً من نوع Binomial $Bin(m, \mu)$ ، بغض النظر عن القيمة الحقيقية لـ $\rho$ .
النتيجة: لا يستطيع الباحثون معرفة ما إذا كانوا يعملون في نظام منخفض التباين (حيث تساعد عمليات التكرار الأكثر) أم في نظام مرتفع التبايد (حيث لا تفيد). هيكل البيانات يقلل من تقدير عدم اليقين بشكل منهجي.

ج. الأمثلة العددية وإعادة التحليل

تحقق المؤلفون من نظريتهم من خلال:

النماذج التوليدية: محاكاة التباين الناجم عن (أ) تباين العينات (مجموعات سكانية مختلفة) و (ب) تباين المحفز/الجرعة (أخطاء التسليم والتحيز). ويظهرون كيف ترتبط هذه المصادر الفيزيائية بقيم $\rho$ مرتفعة.
دراسة حالة (Many Labs 4): إعادة تحليل مشروع تكرار "نظرية إدارة الرعب" (Terror Management Theory).
- استخدموا نموذج التأثيرات العشوائية الطبيعي المساعد على أحجام التأثير المستمرة (Hedges' $g$ ) لتقدير $\rho$ الضمني.
- قاموا بربط هذه التقديرات بنموذج المعيار المرجعي لإثبات أن فترات التباين الناتجة واسعة جداً لدرجة تجعل التصنيف الثنائي مستحيلاً.

3. المساهمات الرئيسية

صياغة عدم القدرة على التحديد (Non-Identifiability): تثبت الورقة أنه بموجب تصميم "حكم ثنائي واحد لكل تجربة"، لا يمكن رياضياً تحديد درجة عدم الدقة ( $\rho$ ). وبالتالي، لا يمكن تقييم دقة معدل التكرار المتوسط.
الحد الأدنى للتباين غير القابل للتقليل: تؤسس الورقة لفكرة أن التباين يخلق حداً صلباً للدقة. فخلافاً لخطأ المعاينة الذي ينخفض مع زيادة $N$ ، يظل التباين الناتج عن التباين (heterogeneity) ثابتاً بغض النظر عن عدد عمليات التكرار.
"مفارقة التكرار": يوضح المؤلفون أن زيادة عدد عمليات التكرار في بيئة متباينة قد تؤدي إلى شعور زائف بالدقة (إذا تم تجاهل $\rho$ ) أو ببساطة تفشل في التمييز بين التكرار العالي والمنخفض (إذا تم الاعتراف بـ $\rho$ ).
نقد التجميع: يجادلون بأن تجميع معدلات التكرار عبر الأدبيات المتنوعة (مثل "علم النفس ككل") ينتج متوسطاً بلا معنى يخلط بين أنظمة تجريبية غير متوافقة.

4. النتائج الرئيسية

فقدان القدرة على التمييز: في ظل التباين الواقعي (على سبيل المثال $\rho = 0.15$ )، تتداخل فترات الكثافة الأعلى (HDI) بنسبة 95% لمعدل تكرار "مرتفع" (مثلاً $\mu=0.80$ ) ومعدل "منخفض" (مثلاً $\mu=0.20$ ) بشكل كبير، حتى مع وجود $m=50$ عملية تكرار.
حجم العينة الفعال: ينخفض عدد عمليات التكرار المستقلة الفعالة ( $m_e$ ) بشكل حاد مع زيادة $\rho$ . على سبيل المثال، في مشروع إعادة الإنتاج: علم النفس ( $m=100$ )، إذا كانت $\rho=0.20$ ، فإن الوزن الاستدلالي يعادل 5 عمليات تكرار دقيقة فقط.
تحليل Many Labs 4:
- كان التقدير لـ $\rho$ في سلسلة ML4 مرتفعاً (المتوسط البعدي يتراوح بين $0.37 $إلى$ 0.59$).
- عند هذا المستوى من التباين، تغطي فترة الكثافة الأعلى (HDI) بنسبة 95% لتقدير معدل التكرار معظم الفترة من $[0, 1]$ .
- البيانات لا تستطيع التمييز ما إذا كان التأثير الأساسي قابلاً للتكرار حقاً أم لا؛ السلسلة "غير تشخيصية".
التحيز والضجيج: التحيز المنهجي (مثل نقص تقديم المحفزات) يزيح المتوسط $\mu$ ، بينما يضخم الضجيج قيمة $\rho$ . كلاهما يشوه معدل التكرار الظاهري ويقوض القدرة على إصدار أحكام ثنائية.

5. الأهمية والآثار المترتبة

دحض سردية "الأزمة": يجادل المؤلفون بأنه لا يمكن إثبات "أزمة التكرار" باستخدام المنهجيات الحالية. فمعدل التكرار المنخفض (مثل 36%) لا يمكن تمييزه إحصائياً عن أدبيات صحية مليئة بالدراسات الصغيرة والمشوبة بالضجيج، لأن المعدل الأساسي للتأثيرات الحقيقية ودرجة التباين غير معروفين.
فشل التمييز: التمييز الثنائي بين "قابل للتكرار" و"غير قابل للتكرار" ليس خاصية قابلة للتكرار علمياً للنتيجة في ظل المنهجيات الحالية.
توصيات للممارسة:
- التوقف عن الأحكام الثنائية: يجب على الباحثين تجنب اختزال نتائج التكرار في مجرد عدّ "نجاح/فشل" لأغراض التمييز.
- هياكل بيانات أغنى: لاستعادة المعلومات حول التباين، تحتاج الدراسات إلى نتائج مستمرة، أو قياسات متعددة لكل تجربة ( $k > 1$ )، أو تصميمات هرمية.
- تغيير التركيز: يجب استخدام التكرار لتقدير حجم التأثير، وتوصيف التباين، ومعايرة الإجراءات، بدلاً من استخدامه كـ "محكمة" للحكم على حقيقة النتائج الفردية.
التقدم النظري: تقترح الورقة أن حل مشكلات التكرار يتطلب إما تنبؤات نظرية أقوى (لتحديد المرجع) أو تحديد "الحد الأدنى من التجارب الصالحة" للقضاء على الضجيج المساعد، بدلاً من مجرد توحيد البروتوكولات حول دراسات مرجعية تعسفية.

في الختام، تقدم الورقة برهاناً إحصائياً صارماً على أن النموذج الحالي لتجميع الأحكام الثنائية لعمليات التكرار عاجز جوهرياً عن التمييز بين التكرار العالي والمنخفض في ظل التباين الحتمي الموجود في الممارسة العلمية.