Automated reproducibility assessments in the social and behavioral sciences using large language models
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة يمكن أن تعمل كأداة فحص قابلة للتوسع للتقييمات الآلية لقابلية التكرار في العلوم الاجتماعية والسلوكية، محققةً استنتاجات نوعية مماثلة للمحللين البشريين مع دعم الحكم الخبير في عمليات التدقيق المنهجية بدلاً من استبداله.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم العلوم كمكتبة ضخمة تعج بالحركة، حيث يكتب الباحثون كتباً حول كيفية تفكير الناس، وتصرفاتهم، وتفاعلهم. ولفترة طويلة، كان هناك قلق ملحّ في هذه المكتبة: أحياناً، عندما يحاول خبراء آخرون قراءة الملاحظات الأصلية وإعادة إجراء العمليات الحسابية لكتاب ما، لا يستطيعون الحصول على نفس النتيجة. يُسمى هذا "أزمة القابلية للتكرار". الأمر يشبه إذا اتبعت وصفة لصنع كعكة الشوكولاتة، ولكن عندما حاولت صنعها بنفسك، انتهى بك الأمر بوعاء من الحساء. وفي العلوم الاجتماعية والسلوكية — التي تدرس أشياء مثل سبب تصويت الناس، أو كيف يتعلمون، أو ما الذي يجعلهم سعداء — يعد التحقق من هذه الوصفات أمراً صعباً للغاية. فعادة ما يتطلب الأمر استئجار فريق من الطهاة الخبراء (العلماء) لقضاء أسابيع أو أشهر في المطبخ، لمحاولة معرفة المكونات الدقيقة التي استُخدمت وكيف تم خلطها. إنها عملية بطيئة، ومكلفة، وصعبة التنفيذ لكل كتاب على الرف.
هنا يظهر "الوافد الجديد" إلى الساحة: النموذج اللغوي الكبير (LLM). قد تعرف هذه النماذج بصفتها روبوتات الدردشة الذكية جداً التي يمكنها كتابة القصص، والإجابة على الأسئلة، وحتى كتابة أكواد البرمجة. فكر في النموذج اللغوي الكبير كمتدرب طاهٍ دؤوب وسريع للغاية، يمكنه قراءة كتاب الوصفات، والنظر في المكونات، ومحاولة خبز الكعكة فوراً بنفسه. السؤال الكبير الذي طرحه العلماء هو: هل يمكن لهذا المتدرب الرقمي القيام بالمهمة حقاً؟ هل يمكنه النظر في دراسة منشورة، وإيجاد البيانات، وإجراء الحسابات، وإخبارنا ما إذا كانت النتيجة الأصلية حقيقية أم مجرد صدفة؟ إذا استطاع ذلك، فقد يغير هذا المكتبة للأبد، محولاً عملية تستغرق سنوات إلى عملية تستغرق دقائق، مما يساعدنا على الثقة بالكتب الموجودة على رفوفنا بشكل أكبر.
هذه الورقة البحثية هي قصة تجربة ضخمة لمعرفة ما إذا كان هذا المتدرب الرقمي مستعداً لدخول المطبخ. قام الباحثون، بقيادة فريق من جامعات في ألمانيا والولايات المتحدة، بإعداد اختبار ضخم شمل 180 دراسة حقيقية من مجالات علم النفس والاقتصاد والعلوم السياسية. قدموا لنموذج ذكاء اصطناعي (تحديداً نسخة تسمى Claude Opus 4.7) البيانات الأصلية و"الوصفة" (ادعاء الدراسة) وطلبوا منه إعادة إنشاء النتائج. أجروا هذا الاختبار خمس مرات لكل دراسة لمعرفة مدى اتساق الذكاء الاصطناعي، تماماً مثل خبز نفس الكعكة خمس مرات لمعرفة ما إذا كانت ستخرج بنفس الطريقة في كل مرة.
كانت النتائج مزيجاً من "يا للروعة" و"يا للأسف". لقد كان الذكاء الاصطناعي جيداً بشكل مفاجئ في فهم الصورة الكبيرة؛ ففي 80% من الحالات، اتفق الذكاء الاصطناعي مع الدراسة الأصلية حول ما إذا كانت الفكرة الرئيسية صحيحة أم خاطئة. كان الأمر يشبه قول المتدرب: "نعم، هذه الكعكة بالتأكيد من الشوكولاتة"، تماماً مثل الطاهي الأصلي. ومع ذلك، عندما تعلق الأمر بالقياسات الدقيقة — أي حجم الكعكة المحدد أو كمية السكر الدقيقة — واجه الذكاء الاصطناعي صعوبة أكبر. ففي حوالي 24% فقط من الحالات، حصل الذكاء الاصطناعي على "حجم الأثر" الدقيق (وهو رقم محدد يقيس قوة النتيجة) ضمن هامش خطأ ضيق جداً. وفي الحالات الأخرى، كانت كعكة الذكاء الاصطناعي لا تزال كعكة شوكولاتة، ولكنها ربما كانت حلوة أكثر من اللازم أو جافة قليلاً مقارنة بالأصلية.
ولمعرفة كيف يتفوق الذكاء الاصطناعي مقابل البشر الحقيقيين، نظر الباحثون في مجموعة أصغر من الدراسات التي حاول فيها خبراء بشريون أيضاً إعادة إجراء الحسابات. هنا، أبلى الذكاء الاصطناعي بلاءً حسناً حقاً، حيث طابق النتائج الأصلية في 40% من الحالات، وهو ما كان في الواقع أفضل قليلاً من الخبراء البشر، الذين طابقوا النتائج في 28% فقط من الحالات. بدا أن البشر والذكاء الاصطناعي يتخذون خيارات مختلفة حول كيفية خلط المكونات، وهو أمر طبيعي في العلم، لكن الذكاء الاصطناعي كان جيداً بشكل مفاجئ في الالتزام بالوصفة الأصلية.
كما اختبر الفريق ما إذا كان الذكاء الاصطناعي بحاجة إلى كتاب الوصفات كاملاً أم مجرد ملخص قصير. قدموا للذكاء الاصطناعي الورقة الكاملة، والورقة بدون قسم "كيفية التنفيذ"، والمستخلص فقط (الملخص القصير في البداية). ومن المثير للدهشة، لم يكن ذلك مهماً كثيراً؛ فقد كان أداء الذكاء الاصطناي متساوياً تقريباً في جميع الحالات الثلاث. وهذا يشير إلى أن الذكاء الاصطناعي بارع حقاً في تخمين الخطوات الصحيحة بناءً على الهدف الرئيسي، حتى لو لم تكن لديه كل التفاصيل. كما جربوا نماذج ذكاء اصطناعي مختلفة، بما في ذلك بعض النماذج المجانية والمفتوحة للجميع، وكانت جميعها تعطي نتائج مماثلة.
إذن، ما هو الحكم النهائي؟ تشير الورقة إلى أن نماذج الذكاء الاصطناعي هذه ليست بعد بمثابة طهاة مهرة يمكنهم استبدال الخبراء البشر تماماً. فأحياناً يعلق الذكاء الاصطناعي، أو لا يستطيع العثور على المكونات الصحيحة، أو يرتكب خطأً في الحساب. لكنه أداة قوية للغاية يمكنها العمل كـ "فحص أولي". تخيل أميناً للمكتبة يمكنه مسح 100 كتاب يومياً بسرعة لتحديد الكتب التي تبدو مشبوهة، بحيث يقضي الخبراء البشريون وقتهم فقط في التعامل مع الكتب الصعبة. يرى المؤلفون أنه بينما لا ينبغي للذكاء الاصطناعي أن يكون الحكم النهائي، إلا أنه يمكن أن يكون مساعداً قابلاً للتوسع، سريعاً، ومفيداً لجعل العلم أكثر دقة وموثوقية، مما يساعدنا على رصد الأخطاء قبل أن تصبح جزءاً من تاريخنا الدائم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.