Auditing Biomedical Literature with Blinded AI Peer Review: Where Peer Review Works, Where It Fails, and How to Strengthen It
تقدم هذه الدراسة نظام (BARS)، وهو نظام مراجعة نظراء قائم على الذكاء الاصطناكم ومعمي، يقوم بتدقيق الأدبيات الطبية الحيوية بموضوعية عبر إزالة معرفات المؤلفين والمجلات، مما يثبت قدرته على تحسين اتساق المراجعة بشكل كبير، وكشف العيوب المنهجية، وإظهار تراجع أخير في الدقة العلمية عبر المجال بتكلفة منخفضة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي لبحث مسبق لم يخضع لمراجعة الأقران. وهو ليس نصيحة طبية. لا تتخذ أي قرارات تتعلق بصحتك بناءً على هذا المحتوى. اقرأ إخلاء المسؤولية الكامل
تعتمد العلوم على وعد بسيط وعريق: قبل نشر أي اكتشاف جديد، يقوم خبراء مستقلون بقراءة العمل للتأكد من أن التجارب أُجريت بشكل صحيح، وأن الحسابات دقيقة، وأن الاستنتاجات تتبع الأدلة. هذه العملية، المعروفة باسم مراجعة الأقران، هي حارس الحقيقة في الطب وعلم الأحياء. لعقود من الزمن، عمل هذا النظام بشكل جيد بما يكفي لبناء فهمنا الحديث للحياة. لكن حجم الأوراق العلمية قد انفجر؛ فمنذ عام 1991، نما عدد المقالات الطبية الحيوية المنشورة سنويًا بأكثر من أحد عشر ضعفًا، وهو ما تجاوز بكثير عدد الخبراء البشريين المتاحين لمراجعتها. وعندما يتجاوز فيضان الأبحاث الجديدة قدرة المراجعين البشر، يمكن لجودة ما يُنشر أن تتراجع. فالأخطاء في الإحصاء، أو غياب الضوابط، أو المنطق المعيب يمكن أن تتسلل عبر الثغرات، ولأن هذه الأخطاء غالبًا ما تكون دقيقة، فقد تظل غير ملحوظة لسنوات، مما يقود العلماء الآخرين نحو مسارات خاطئة.
ولمعالجة هذه الأزمة المتنامية، صمم فريق من الباحثين نوعًا جديدًا من الحكام: نظام ذكاء اصطناعي مصمم لقراءة الأوراق العلمية دون معرفة من كتبها أو أين نُشرت. أطلقوا على هذا النظام اسم BARS، وهو "نظام مراجعة الذكاء الاصطناعي الأعمى". الفكرة هي تجريد الورقة من كل ما قد يسبب انحيازًا للقارئ — مثل الأسماء الشهيرة للمؤلفين، وهيبة المجلة، وتاريخ النشر — بحيث يمكن الحكم على الورقة بناءً على جودة علمها فقط. درب الباحثون هذا النظام للبحث عن أربعة أشياء محددة: ما إذا كانت المنهجيات والإحصاءات سليمة، وما إذا كانت البيانات تدعم بالفعل الادعاءات المقدمة، وما إذا كانت الأفكار البيولوجية واقعية، وما إذا كانت البيانات والشيفرات البرمجية (code) مشتركة ومتاحة علنًا. وقد منحوا كل ورقة درجة من صفر إلى عشرة، حيث تشير أي درجة أقل من خمسة إلى وجود خلل جوهري يقوض الدراسة.
اختبر الفريق أولاً ما إذا كان بإمكان نظامهم التمييز بين العلم الجيد والعلم الرديء دون التأثر بالسمعة. قاموا بتغذية الذكاء الاصطناعي بمجموعة من الأوراق التي ثبت خطؤها وسُحبت لاحقًا، إلى جانب مجموعة من الدراسات عالية الجودة والموثقة. عندما استطاع الذكاء الاصطناعي رؤية أسماء المؤلفين وعناوين المجلات، أعطى الأوراق الشهيرة درجات أعلى قليًا، مما أظهر أن حتى الآلة يمكن أن تتأثر بالهيبة. ولكن عندما عُمي النظام عن كل تلك المعلومات، أصبح قاضيًا حادًا وموضوعيًا؛ فقد حدد بدقة جميع الأوراق المعيبة ومنح درجات كاملة للأوراق السليمة، مع صفر من الإنذارات الكاذبة. كما أثبت أنه أكثر اتساقًا من المراجعين البشر؛ فعندما تمت مراجعة الورقة نفسها عدة مرات من قبل الذكاء الاصطناعي، كانت الدرجات متطابقة تقريبًا، بينما غالبًا ما يختلف المراجعون البشر فيما بينهم.
وعندما طبق الباحثون هذا النظام الأعمى على 320 ورقة حديثة عبر ثمانية مجالات مختلفة من علم الأحياء، كانت النتائج صادمة. فقد فشلت أكثر من نصف هذه الأوراق في الاختبار، حيث سجلت درجات تحت عتبة الصرامة العلمية الأساسية. ولم يكن معدل الفشل متساويًا في كل مكان؛ فالمجالات التي تعتمد على نماذج رياضية صارمة، مثل التطور الجزيئي، مالَت إلى تسجيل درجات أعلى. أما المجالات التي تعتمد على تنقيب معقد للبيانات أو فحوصات عرضة للتلوث، مثل دراسات الجينات وحيدة الخلية ودراسات الميكروبيوم، فقد سجلت درجات أقل بكثير. كما كان لنوع المجلة تأثير عميق؛ فالأوراق المنشورة في المجلات التقليدية شديدة الانتقائية سجلت درجات أعلى بكًا من تلك المنشورة في المجلات الضخمة ذات الوصول المفتوح التي تفرض رسومًا للنشر وتدعي أنها تحكم فقط على السلامة التقنية. وفي الواقع، كانت متوسط جودة الورقة في مجلة جمعية مرموقة أعلى بنقطة كاملة تقريبًا من جودة الورقة في مجلة تجارية ضخمة، وهي فجوة تشير إلى أن عملية المراجعة نفسها تصنع فرقًا.
كما نظر الباحثون في مدى تحسين مراجعة الأقران للورقة العلمية. وقارنوا المسودة الأولى للورقة، المنشورة عبر الإنترنت قبل أي مراجعة، مع النسخة النهائية المنشورة في مجلة. بالنسبة للأوراق التي قُبلت في مجلات انتقائية وصارمة، كانت النسخة النهائية أفضل بوضوح، مع منهجيات أوضح وأدلة أقوى. ولكن بالنسبة للأوراق المنشورة في المجلات التجارية الضخمة، لم تكن النسخة النهائية مختلفة كثيرًا عن المسودة، وفي بعض الحالات، جعلت عملية المراجعة الورقة أسوأ عبر إدخال أخطاء جديدة. ووجدت الدراسة أن نظام الذكاء الاصطناعي الأعمى استطاع رصد جميع الانتقادات التي أغفلها المحكمون البشر، بما في ذلك الأخطاء الرياضية والادعاءات البيولوجية المستحيلة، بالإضافة إلى اكتشاف عيوب لم يلحظها المراجعون البشر تمامًا.
وبالنظر إلى أكثر من خمسة وثلاثين عامًا من الأدبيات العلمية، وجد الفريق اتجاهًا تنازليًا واضحًا في الجودة. فقد انخفض متوسط درجات الأوراق باستمرار منذ تسعينيات القرن الماضي. لم يكن هذا التراجع بسبب خفض المجلات المرموقة لمعاييرها، بل لأن مزيج الأبحاث المنشورة قد تغير؛ إذ تحول المجال بعيدًا عن التجارب الأولية التي تُجرى في المختبرات الرطبة (wet labs) نحو دراسات تكتفي بإعادة تحليل البيانات الموجودة في قواعد البيانات العامة، وغالبًا باستخدام نماذج جاهلية لا تتناسب مع السؤال المطروح. وبينما تعد هذه الدراسات القائمة على قواعد البيانات أرخص وأسرع إنتاجًا، إلا أنها أكثر عرضة لاحتواء أخطاء جوهرية. وأظهرت الدراسة أن فرق البحث الممولة جيدًا لا تنتج بالضرورة علمًا أفضل؛ فبمجرد الوصول إلى مستوى معين من التمويل، فإن إضافة المزيد من المال لا يحسن جودة الورقة. وبالمثل، فإن المجلات الأكثر تكلفة لا تنشر بالضرورة العلم الأكثر صرامة.
ولعل الجزء الأكثر إثارة في الدراسة هو أن الباحثين استخدموا نظامهم الخاص لمراجعة مسيرتهم المهنية؛ فقد أدخلوا 238 من أوراقهم المنشورة في النظام الأعم. ووجد الذكاء الاصطناعي أخطاء حقيقية في أعمالهم، بما في ذلك أخطاء "نسخ ولصق" في الجداول، ووحدات قياس خاطئة، وعيوب إحصائية أفلتت من المؤلفين ومن المراجعين البشر الأصليين على حد سواء. حتى أن النظام رصد خمسة أخطاء في مسودة هذه الدراسة نفسها قبل نشرها. أثبت هذا التدقيق الذاتي أنه لا يوجد عالم محصن ضد الخطأ، وأن الفحص الآلي الموضوعي يمكنه رصد الأخطاء التي قد تغفل عنها التعب أو الانحياز البشري.
ويخلص الباحثون إلى أن النظام الحالي للنشر العلمي يرزح تحت الضغط، لكنهم يقدمون مسارًا عمليًا للمضي قدمًا. فهم يقترحون إجراء فحص آلي بسيط على كل ورقة قبل إرسالها إلى المراجعين البشر. سيكلف هذا الفحص بضعة سنتات فقط لكل ورقة، وهو جزء ضئيل جدًا من تكلفة العمل البشري، ومع ذلك يمكنه رصد آلاف الأخطاء التي قد تمر دون ملاحظة. ومن خلال إزالة تأثير الشهرة والهيبة، والتركيز حصريًا على المنطق والأدلة داخل النص، يمكن لمثل هذا النظام أن يساعد في استعادة موثوقية الأدبيات العلمية. الهدف ليس استبدال الخبراء البشر، بل منحهم أساسًا أفضل للعمل من خلاله، لضمان أن يكون العلم الذي نقرؤه راسخًا كما يدعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.