Citation language changes little after findings fail to replicate: a longitudinal analysis
يكشف تحليل طولي لأكثر من 15,000 جملة استشهاد أن الأوراق البحثية اللاحقة نادراً ما تعدل لغتها لتعكس حالات الفشل في إعادة التجربة أو تذكر الأدلة المتضاربة، مما لا يقدم للقراء سوى القليل من المؤشرات حول ما إذا كانت النتائج الأصلية قد تمت إعادة إنتاجها بنجاح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
غالبًا ما يُتخيل العلم كآلة ذاتية التصحيح، حيث تُحدّث الأدلة الجديدة فهمنا للعالم تلقائيًا. فعندما تُكرر دراسة ما وتفشل في إنتاج النتيجة ذاتها، فإن التوقع هو أن المجتمع العلمي سيلاحظ ذلك، ويتوقف، ويعدّل طريقة حديثه عن ذلك الاكتشاف الأصلي. تعتمد هذه العملية على اللغة التي يستخدمها الباحثون عند الاستشهاد بالأعمال السابقة. فإذا ثبت أن ادعاءً ما مهزوز، ينبغي للجمل التي تصفه في الأوراق البحثية الجديدة أن تصبح أكثر حذرًا، أو على الأقل تشير إلى أن النتيجة الأصلية لم يتم تأكيدها. هكذا يُفترض أن تتطور المعرفة: ليس عبر محو الماضي، بل عبر تنقيح وصف ما نعرفه وما لا نعرفه.
وضع فريق من الباحثين خطة لاختبار ما إذا كان هذا التصحيح الذاتي يحدث بالفعل بالطريقة التي نتوقعها. لقد ركزوا على سؤال محدد: عندما تفشل محاولة كبرى ومخطط لها مسبقًا لتكرار دراسة مشهورة، هل يغير مؤلفو الأوراق اللاحقة الكلمات التي يستخدمونها لوصف ذلك الاكتشاف الأصلي؟ ولإيجاد الإجابة، بحثوا في مجموعة كبيرة من الادعاءات العلمية في مجالات علم النفس والاقتصاد والعلوم الاجتماعية. حددوا 110 دراسات أصلية كانت جزءًا من ثلاث مشاريع كبرى لإعادة التكرار (replication). ولكل دراسة من هذه الدراسات، جمعوا آلاف الجمل من الأوراق اللاحقة التي استشهدت بالعمل الأصلي. ثم استخدموا نماذج حاسوبية متطورة لقراءة هذه الجمل وتقييمها على مقياس لليقين، وقياس مدى حسم المؤلفين في ذكر الادعاء الأصلي. وقارنوا بين اللغة المستخدمة للنتائج التي فشلت في التكرار واللغة المستخدمة للنتائج التي تم تكرارها بنجاح.
كشفت النتائج عن غياب صارخ للتغيير. وجد الباحثون أن الصياغة المستخدمة لوصف النتائج الفاشلة ظلت متطابقة تقريبًا مع الصياغة المستخدمة للنتائج الناجحة. وحتى بعد مرور سنوات على محاولة التكرار التي أظهرت عدم إمكانية إعادة إنتاج النتيجة الأصلية، استمرت الأوراق اللاحقة في ذكر تلك النتائج بنفس مستوى الثقة. ولم ترصد النماذج الحاسوبية أي تحول ملموس نحو لغة أكثر حذرًا. في الواقع، كان الفرق في اليقين بين المجموعتين صغيرًا جدًا لدرجة أنه لا يمكن تمييزه إحصائيًا عن الصفر. كما بحثت الدراسة أيضًا عن ذكر صريح للفشل؛ ووجدوا أنه في الغالبية العظمى من الحالات، لم يذكر المؤلفون الفشل على الإطلاق. إذ لم يقر بنحو ثلاثة إلى خمسة من كل مائة جملة فقط أن الاكتشاف الأصلي قد تم التشكيك فيه أو معارضته.
هذا النمط ظل ثابتًا بمرور الوقت. تتبع الباحثون اللغة المستخدمة خلال فترة تتراوح من ثماني إلى إحدى عشرة سنة تلت نشر نتائج التكرار، ووجدوا أنه لا يوجد انحراف تدريجي نحو الحذر. فالجمل التي تصف الادعاءات الفاشلة لم تصبح أكثر ليونة أو تقييدًا مع مرور الوقت. ويقترح مؤلفو الدراسة أن هذا قد يكون بسبب قيام الباحثين بإعادة استخدام عبارات مستقرة دون إعادة قراءة الدليل الأصلي أو التحقق من وجود بيانات جديدة متناقضة. يمكن أن يصبح الوصف الأصلي لاكتشاف ما جزءًا ثابتًا من السجل العلمي، يُنقل من ورقة بحثية إلى أخرى كمرجع قياسي، بغض النظر عما إذا كان الدليل الأساسي قد تزعزع.
لا تدعي الدراسة أن العلماء يتجاهلون الأدلة عمدًا، بل تشير إلى أن نظام كيفية التواصل بشأن النتائج يعاني من نوع من القصور الذاتي. فحتى عندما يتبين أن اكتشافًا ما غير موثوق، فإن الطريقة التي يوصف بها في الأبحاث الجديدة تظل غالبًا دون تغيير. ولهذا الأمر تداعيات على كيفية قراءتنا للعلم وكيف يمكننا بناء أدوات لمساعدتنا في فهمه. فإذا كانت لغة العلم لا تعكس تلقائيًا متى فشل اكتشاف ما، فإن القراء والمحررين وحتى أنظمة الذكاء الاصطناعي قد يُضللون بالاعتقاد بأن ادعاءً ما أكثر صلابة مما هو عليه في الواقع. ويخلص الباحثون إلى أنه لكي يصحح العلم نفسه حقًا، قد نحتاج إلى طرق أفضل لربط الدراسات الأصلية مباشرة بنتائج تكرارها، لضمان أن قصة الاكتشاف تشمل إخفاقاته، وليس نجاحه الأولي فحسب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.