On the limits and opportunities of AI reviewers: Reviewing the reviews of Nature-family papers with 45 expert scientists
تجد هذه الدراسة التي شارك فيها 45 خبيراً لتقييم مراجعات لـ 82 ورقة بحثية من عائلة "نيتشر" أنه بينما يمكن للمراجعين المتقدمين من الذكاء الاصطناعي التفوق على كبار المراجعين البشر في تحديد الانتقادات الصحيحة والهامة، إلا أنهم يظهرون أيضاً معدلات خطأ أعلى ونقاط ضعف فريدة، مما يجعلهم مكملين قيمين بدلاً من كونهم بدلاء لمراجعة الأقران البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
على مدى عقود، اعتمد محرك الاكتشاف العلمي على طقس بشري هادئ: مراجعة النظراء. فقبل نشر أي اكتشاف جديد في مجلة كبرى، يُرسل إلى مجموعة من الخبراء في ذلك المجال تحديداً. يقرأ هؤلاء العلماء العمل، ويدققون في الحسابات، ويطرحون أسئلة صعبة لضمان أن النتائج حقيقية والاستنتاجات سليمة. صُمم هذا النظام لاكتشاف الأخطاء وصقل الأفكار، لكنه يتعرض لضغوط هائلة؛ إذ نمت أعداد الأوراق البحثية المقدمة بشكل حاد، بينما لم تزدد حصة الخبراء المؤهلين الذين لديهم الوقت لقراءتها. ونتيجة لذلك، يخشى العديد من الباحثين من تراجع جودة هذه المراجعات، وأن العملية بدأت تتحول إلى عنق زجاجة يعيق التقدم.
واستجابة لذلك، ظهرت أداة جديدة: وكلاء ذكاء اصطناعي قادرون على قراءة المخطوطة وكتابة تقرير مراجعة. تُستخدم هذه المراجعات الرقمية بالفعل في بعض المؤتمرات والمجلات، ولكن لا يزال هناك شك عالق: هل يمكن للآلة حقاً فهم الفروق الدقيقة في العمل العلمي؟ هل يمكنها التمييز بين خطأ مطبعي بسيط وبين خلل فادح في تجربة ما؟ أم أنها مجرد ببغاء متطور، يولد نصوصاً تبدو منطقية لكنها تفتقر إلى البصيرة الحقيقية؟ وللإجابة على ذلك، عزم فريق كبير من الباحثين على اختبار هؤلاء المراجعين الرقميين مقابل المعيار الذهبي المتمثل في الخبراء البشر، ليس من خلال السؤال عما إذا كانوا يتفقون على درجة نهائية، بل عبر فحص الانتقادات المحددة التي يقدمونها.
جمع الباحثون مجموعة بيانات ضخمة تضم 82 ورقة بحثية نُشرت في عائلة مجلات "نيتشر" (Nature)، وهي مجموعة معروفة بعلمها عالي التأثير. كانت هذه الأوراق قد مرت بالفعل بعملية المراجعة البشرية القياسية، مما يعني وجود ثلاثة تقارير منفصلة من علماء حقيقيين لكل منها. ثم طلب الفريق من ثلاثة أنظمة ذكاء اصطناعي متقدمة مختلفة قراءة نفس الأوراق وتوليد مراجعاتهم الخاصة. ولتحديد من منهم يؤدي عملاً أفضل، استعانوا بـ 45 خبيراً بشرياً من مجالات تتراوح من الفيزياء إلى البيولوجيا والعلوم الصحية. أمضى هؤلاء الخبراء مئات الساعات في قراءة كل انتقاد وجهه كل من البشر والذكاء الاصطناعي. لم يكتفوا بإعطاء درجة فحسب، بل قيموا كل نقطة على حدة، من خلال طرح ثلاثة أسئلة: هل هذه المعلومة صحيحة واقعياً؟ هل هذه المشكلة مهمة بما يكفي لتكون ذات شأن؟ وهل قدم المراجع أدلة كافية ليتمكن المؤلف من إصلاحها؟
كشفت النتائج عن صورة معقدة تتحدى الفكرة البسيطة التي تعتبر الذكاء الاصطناعي إما بديلاً مثالياً أو فشلاً تاماً. فعندما نظر الباحثون في الجودة الإجمالية للمراجعات، وجدوا أن أفضل نظام ذكاء اصطناعي قد تفوق في أدائه على أدنى مراجع بشري تقييماً في كل ورقة بحثية. وفي الواقع، على درجة مشترطة من الصحة والأهمية والأدلة، تفوق نظام الذكاء الاصطناعي الأعلى أداءً حتى على أفضل مراجع بشري لكل ورقة. يشير هذا إلى أن الذكاء الاصطناعي قادر بالفعل على إنتاج ملاحظات أكثر فائدة من أضعف المراجعات البشرية المتداولة حالياً.
ومع ذلك، لم يكن الذكاء الاصطناعي خالياً من العيوب. فقد وجد الخبراء البشريون أن الذكاء الاصطناعي يرتكب أخطاء واقعية أكثر من كبار المراجعين البشر. أحياناً يسيء الذكاء الاصطناعي قراءة النص أو يفهم المنهجيات بشكل خاطئ. ومع ذلك، عندما كان الذكاء الاصطناعي مصيباً، كانت انتقاداته غالباً أكثر أهمية من انتقادات البشر؛ حيث مال الذكاء الاصطناعي إلى رصد مشكلات كبرى وعالية المخاطر فاتت على المراجعين البشر. وفي المجمل، أثار الذكاء الاصطناعي مخاوف مشروعة لم يلاحظها أي مراجع بشري في 26% من الحالات. وهذا يشير إلى أن الذكاء الاصطناعي لا يكتفي بتكرار ما يقوله البشر، بل يجد زوايا جديدة وقيمة يغفل عنها الخبراء البشر.
كما بحثت الدراسة في مدى اتفاق المراجعين مع بعضهم البعض. في عملية مراجعة الأقران السليمة، يجلب مختلف الخبراء البشريين وجهات نظر متنوعة، لذا فإن مراجعاتهم غالباً ما تغطي أجزاء مختلفة من الورقة. وأكدت الدراسة أن المراجعين البشر نادراً ما يكررون نفس الانتقاد بالضبط؛ فهم متنوعون. أما الذكاء الاصطناعي، فيتصرف بشكل مختلف؛ فعند إضافة مراجع واحد من الذكاء الاصطناعي إلى لجنة، فإنه يعمل تماماً مثل إنسان جديد، حيث يجلب مجموعة جديدة من العيون دون مجرد نسخ الآخرين. ولكن، إذا تم استبدال لجنة كاملة من المراجعين البشر بلجنة من مراجعي الذكاء الاصطناعي، يصبح النظام تكرارياً؛ إذ يميل مراجعو الذكاء الاصطناعي إلى تكرار الانتقادات ذاتها لبعضهم البعض بشكل أكبر بكثير مما يفعل البشر. وهذا يعني أنه بينما يعد مراجع واحد من الذكاء الاصطناعي إضافة رائعة للفريق، فإن فريقاً مكوناً بالكامل من الذكاء الاصطناعي سيفتقر إلى تنوع الأفكة الذي يجعل المراجعة البشرية قوية.
أخيراً، تعمق الباحثون في نقاط القوة والضعف المحددة للذكاء الاصطناعي لفهم سبب أدائه بهذه الطريقة. برع الذكاء الاصطناعي في المهام التي تتطلب دقة وانتباهاً للتفاصيل؛ فقد كان ممتازاً في التحقق من الافتراضات الإحصائية، وقراءة الكود المصدري المقدم من المؤلفين، ورصد التناقضات بين الملخص والمنهجية. لم يتعب ولم يغفل عن التفاصيل الصغيرة المدفونة في النص. ومع ذلك، كانت نقاط ضعفه متجذرة في نقص السياق؛ إذ غالباً ما واجه الذكاء الاصطناعي صعوبة في الحكم على شدة المشكلة بناءً على معايير مجال علمي محدد. فقد يطالب بنوع من التحقق يعتبر معيارياً في مجال ما ولكنه غير ضروري في مجال آخر، أو قد يدعي نقص تفصيل معين بينما كان ذلك التفصيل موجوداً بالفعل في ملف تكميلي. كان الذكاء الاصطناعي صارماً ولكنه كان جامداً أحياناً، حيث طبق معياراً واحداً ثابتاً في مواضع كان ينبغي للخبير البشري أن يكون فيها مرناً.
تخلص الدراسة إلى أن مراجعي الذكاء الاصطناعي هؤلاء لا ينبغي النظر إليهم كبدلاء للعلماء البشر، بل كمكملات قوية. إن أفضل طريقة لاستخدامهم هي تعزيز العملية البشرية، عبر رصد الأخطاء وتحديد المشكلات الكبرى التي قد يغفل عنها الإنسان المرهق، بينما يوفر البشر السياق والحكم اللازمين لتحديد ما هو مهم حقاً. وتوحي البيانات بأن مستقبل المراجعة العلمية لا يكمن في الاختيار بين الإنسان أو الآلة، بل في الجمع بين الدقة التي لا تكل للذكاء الاصطناعي والحكمة السياقية العميقة للخبير البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.