Attempts to Reproduce Health Sciences Research Are Uncommon and May Be Declining Over Time: A Systematic Review and Meta-Analysis

ملخص تقني: "محاولات إعادة إنتاج أبحاث العلوم الصحية غير شائعة وقد تكون في تراجع بمرور الوقت"

بيان المشكلة
على الرغم من المخاوف الواسعة النطاق المتعلقة بعدم إمكانية إعادة إنتاج الأبحاث في العلوم الصحية — والتي تُعد من مسببات هدر الموارد، وإلحاق الضرر بالمرضى، وتآكل الثقة العامة — إلا أن هناك نقصاً في التقييم الكمي المنهجي لمدى تكرار قيام المجتمع العلمي بمحاولة إعادة إنتاج الأعمال السابقة. وبينما يُقدر أن جزءاً كبيراً من مناهج ونتائج العلوم الصحية لا يمكن إعادة إنتاجها، فإنه لا يزال من غير الواضح مدى شيوع إجراء دراسات مخصصة لإعادة الإنتاج لمراقبة هذه القضية. علاوة على ذلك، فإن الاتجاهات الزمنية لهذه الجهود استجابةً للمخاوف المتزايدة بشأن إمكانية إعادة الإنتاج ليست مشخصة جيداً. تعالج هذه الدراسة الفجوة المعرفية المتعلقة بمدى انتشار محاولات إعادة الإنتاج، والمناهج المستخدمة لتحديدها، وتطورها بمرور الوقت.

المنهجية
التزمت هذه المراجعة المنهجية والتحليل التلوي (meta-analysis) بإرشادات PRISMA ودليل كوشرين (Cochrane)، مع تسجيل البروتوكول مسبقاً في PROSPERO.

• مصادر البيانات: بحث المؤلفون في MEDLINE، وEmbase، وWeb of Science، وسجل كوشرين للتجارب المحكومة، وقاعدة بيانات كوشرين للمراجعات المنهجية، والأدبيات الرمادية (grey literature) من 1 يناير 2000 إلى 31 مايو 2023.
• معايير الاشتمال: الدراسات المكتوبة باللغة الإنجليزية والمنشورة بعد عام 1999 والتي قدرت نسبة المقالات البحثية المنشورة المخصصة لإعادة إنتاج الأبحاث السابقة أو المتزامنة ضمن العلوم الصحية.
• تصنيف إعادة الإنتاج: تم تصنيف المحاولات إلى ثلاثة أنواع:
  1. منهجية (Methodological): تكرار منهجية دراسة أخرى بدقة.
  2. النتائج (Results): مقارنة النتائج باستخدام نفس المناهج أو مناهج مشابهة (وتم تصنيفها لاحقاً إلى: تقريبية، أو إعادة اختبار، أو غير محددة).
  3. استنتاجية (Inferential): مقارنة الاستنتاجات، بما في ذلك إعادة تحليل البيانات الأصلية.
• طرق التحديد: حللت المراجعة كيفية تحديد دراسات محاولات إعادة الإنتاج: (1) الاستنتاج بناءً على لغة الدراسة، (2) الاستنتاج بناءً على قابلية مقارنة عناصر التصميم بين الدراسات، أو (3) التقرير الصريح بأن الدراسة هي محاولة لإعادة الإنتاج.
• التحليل الإحصائي: تم إجراء تحليل تلوي لتقديرات الانتشار باستخدام نماذج التأثيرات العشوائية (الانحدار اللوجستي ذو التأثيرات المختلطة) الموزونة بحجم العينة. تم تقييم عدم التجانس باستخدام اختبار Cochrane's Q. كما تم استخدام الانحدار الميتا (Meta-regression) مع متغيرات متغيرة زمنياً لتقييم الاتجاهات الزمنية، مع حد للأهمية الإحصائية عند p < 0.01. أُجريت تحليلات الحساسية باستخدام أقدم، ومتوسط، وأحدث تواريخ نشر البيانات الأساسية لمراعاة مجموعات البيانات متعددة السنوات.

النتائج الرئيسية

• اختيار الدراسات: من بين 41,218 مقالاً تم فحصها، تم تضمين 41 دراسة، تمثل 30 مجالاً بحثياً مختلفاً من تصنيفات Clarivate عبر المجالات الطبية الحيوية/قبل السريرية (ن=10)، والسريرية (ن=26)، وصحة السكان (ن=2)، ومجالات متعددة (ن=3).
• الانتشار الإجمالي: بلغ التقدير المجمع لانتشار محاولات إعادة الإنتاج في أدبيات العلوم الصحية بين عامي 2000 و2023 نسبة 1.6% (بفاصل ثقة 95%: 0.6–4.2%).
• التباين: تباين الانتشار بشكل كبير حسب المجال البحثي، والمجال البحثي، والطريقة المستخدمة لتحديد المحاولات.
  • حسب المجال: أظهرت صحة السكان أعلى انتشار (3.5%)، تليها المجالات الطبية الحيوية/قبل السريرية (3.0%)، والسريرية (1.3%)، والمجالات المتعددة (0.1%).
  • حسب طريقة التحديد: أظهرت الدراسات المستنتجة عبر اللغة (12.6%) أو قابلية مقارنة التصميم (11.9%) انتشاراً أعلى بكثير من تلك التي تم الإبلاغ عنها صراحةً كمحاولات إعادة إنتاج (0.3%).
  • حسب المجال البحثي: تراوحت التقديرات من 0.0% إلى 77.8%، رغم أن 22 من أصل 30 مجالاً بحثياً استندت إلى دراسات فردية.
• الاتجاهات الزمنية: حدد تحليل الانحدار الميتا زيادة غير معنوية في احتمالات محاولات إعادة الإنتاج سنوياً بين عامي 2000 و2015 (زيادة بنسبة 49.8%، p=0.03). ومع ذلك، أعقب ذلك انخفاض معنوي بين عامي 2016 و2023، مع انخفاض في الاحتمالات بنسبة 50.2% سنوياً (p < 0.001).
• الحساسية: كانت نتيجة الانخفاض بعد عام 2016 حساسة للافتراضات التحليلية. فعندما خصت تحليلات الحساسية سنوات نشر مختلفة (الأقدم، المتوسط، الأحدث) للبيانات متعددة السنوات، أصبحت الانخفاضات الملحوظة غير معنوية، مما يشير إلى وجوب تفسير هذا الاتجاه بحذر.

الأهمية والادعاءات
يخلص المؤلفون إلى أن محاولات إعادة إنتاج أبحاث العلوم الصحية تشكل جزءاً صغيراً من الأدبيات وقد تكون في تناقص. وتبرز الدراسة عدة آثار هامة:

1. الحاجة إلى زيادة الجهد: على الرغم من الاعتراف بأهمية إعادة الإنتاج، إلا أن نسبة الأدبيات المخصصة لها منخفضة ويبدو أنها قد انخفضت منذ عام 2016. ويجادل المؤلفون بضرورة زيادة الاستثمار في محاولات إعادة الإنتاج لتحديد العلم غير القابل لإعادة الإنتاج وبناء قواعد أدلة قوية.
2. توحيد التصنيف: يؤكد التباين الكبير في تقديرات الانتشار بناءً على كيفية تحديد المحاولات (صريحة مقابل مستنتجة) على الحاجة إلى طرق موحدة لتصنيف والإبلاغ عن محاولات إعادة الإنتاج. إن التمييز بين محاولات إعادة الإنتاج المتعمدة والعرضية ضروري لعلوم الميتا (meta-science) الدقيقة.
3. مراقبة مجالات محددة: يشير المؤلفون إلى نقص في التقديرات الخاصة بإعادة الإنتاج المنهجية والاستنتاجية. ويقترحون أن مراقبة هذه الأنواع أمر بالغ الأهمية، خاصة في ظل التدخلات الحالية (مثل سجلات البروتوكولات، وإرشادات الإبلاغ) التي تهدف إلى تحسين الدقة المنهجية.
4. اتجاهات البحث المستقبلية: تدعو الورقة إلى إجراء دراسات أولية لقياس مدى انتشار أنواع مختلفة من إعادة الإنتاج، والتحقيق في العلاقة بين انتشار محاولات إعادة الإنتاج والمقاييس الأخرى لمتانة العلم (مثل خطر التحيز، ومعدلات سحب الأبحاث).

تؤكد الدراسة أن إعادة إنتاج الأبحاث لا يتم مراقبتها بشكل روتيني أو ثابت. وبناءً على ذلك، هناك حاجة ملحة لزيادة حجم محاولات إعادة الإنتاج وتوحيد تصنيفها والإبلاغ عنها لتقييم مدى موثوقية النتائج العلمية بشكل أفضل.