Detecting Reference Errors in Scientific Literature with Large Language Models
تُظهر هذه الدراسة أن النماذج اللغوية الكبيرة من عائلة GPT التابعة لشركة OpenAI يمكنها اكتشاف الاستشهادات الخاطئة في الأدبيات العلمية بفعالية باستخدام مجموعات بيانات مشروحة من قبل خبراء وتعزيز الاسترجاع، دون الحاجة إلى الضبط الدقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تكتب وصفة لكعكة الشوكولاتة الشهيرة. تدعي قائلاً: "هذه الوصفة مستندة إلى كتاب 'سر الجدة' الشهير عالمياً". ولكن عندما يتحقق شخص ما من هذا الكتاب، لا يجد فيه أي كعكة شوكولاتة على الإطلاق، بل يجد فقط وصفة لفطيرة الليمون. لقد ارتكبت خطأً في المرجع.
في عالم العلوم، يحدث هذا طوال الوقت. يكتب الباحثون أوراقاً بحثية ويقولون: "كما أثبت الدكتور سميث في عام 2010..." ولكن إذا نظرت إلى ورقة الدكتور سميث، فقد تجد شيئاً مختلفاً تماماً، أو لا تجد شيئاً على الإطلاق حول هذا الموضوع. يمكن لهذه الأخطاء أن تنشر معلومات خاطئة، مثل لعبة "الهاتف المكسور" (Telephone) التي تُلعَب بالحقائق، مما يؤدي أحياناً إلى كوارث حقيقية (مثل أزمة الأفيون المذكورة في الورقة، والتي أججتها رسالة أسيء تفسيرها).
إن التحقق من هذه المراجع يدوياً يشبه محاولة العثور على إبرة محددة في كومة قش، لكن كومة القش مكونة من ملايين الكتب، وعليك قراءة كل صفحة في كل كتاب للتأكد من أن الإبرة موجودة بالفعل. الأمر يستغرق وقتاً طويلاً، والبشر يصابون بالتعب.
الحل الجديد: "القارئ الخارق" (الذكاء الاصطناعي)
تسأل هذه الورقة سؤالاً بسيطاً: هل يمكن لنموذج لغوي كبير (LLM) — وهو ذكاء اصطناعي فائق الذكاء يقرأ ويكتب مثل البشر — أن يعمل كمدقق للحقائق لهذه الاستشهادات؟
لقد عامل الباحثون الذكاء الاصطناعي كأنه متدرب جديد في دار نشر. أعطوا الذكاء الاصطناعي "عبارة" (الادعاء الموجود في الورقة البحثية) و"المرجع" (المصدر الذي يُفترض أن يدعم هذا الادعاء). ثم طلبوا من الذكاء الاصطناعي إعطاء درجة:
- مدعوم بالكامل: المصدر يدعم الادعاء تماماً. (الوصفة تحتوي بالفعل على كعكة الشوكولاتة).
- مدعوم جزئياً: المصدر يدعمه في الغالب، ولكن هناك خطأ بسيط أو تفصيل مفقود. (الوصفة تحتوي على الكعكة، لكنها نسيت ذكر الكريمة/التغطية).
- غير مدعوم: المصدر ليس له علاقة بالادعاء. (الوصفة هي في الواقع لفطيرة الليمون).
التجربة: ما مقدار المعلومات التي يحتاجها الذكاء الاصطناعي؟
اختبر الباحثون الذكاء الاصطناعي في ثلاثة سيناريوهات مختلفة، مثل إعطاء المحقق كميات مختلفة من الأدلة:
- السيناريو (أ) (العنوان فقط): يرى الذكاء الاصطناعي عنوان المقال المرجعي فقط. الأمر يشبه محاولة تخمين حبكة فيلم بمجرد قراءة عنوانه "السيارة السريعة".
- السيناريو (ب) (العنوان + الملخص): يحصل الذكاء الاصطناعي على العنوان وملخص قصير. هذا يشبه قراءة ظهر علبة قرص فيديو (DVD).
- السيناريو (ج) (القصة الكاملة): يحصل الذكاء الاصطناعي على العنوان، والملخص، ومقتطفات فعلية من النص. هذا يشبه قراءة الفصول القليلة الأولى من الكتاب.
كما اختبروا وضع "المساعد" الخاص حيث يمكن للذكاء الاصطناعي الاطلاع على ملف الـ PDF الكامل، مثل امتلاك الكتاب بأكمله على المكتب.
ماذا وجدوا؟
- الذكاء الاصطناعي جيد بشكل مفاجئ في كشف الأكاذيب: حتى مع وجود العنوان فقط (السيناريو أ)، كانت نماذج الذكاء الاصطناعي الأحدث والأكثر ذكاءً (GPT-4) ممتازة في اكتشاف متى كان المرجع غير مرتبط تماماً ("غير مدعوم"). استطاعوا معرفة أن "فطيرة الليمون" يتم تقديمها على أنها "كعكة شوكولاتة" بمجرد قراءة العنوان.
- المزيد من المعلومات ليس دائماً أفضل: من المثير للدهشة أن إعطاء الذكاء الاصطناعي نصاً أكثر لم يساعد دائماً. أحياناً، يتشتت الذكاء الاصطناعي بتفاصيل إضافية غير ذات صلة، تماماً مثل طالب يقرأ الكتاب المدرسي بأكم، لكنه يفتقد الإجابة المحددة لأنه تشتت بسبب صورة رائعة في الفصل الخامس.
- فجوة "الإنسان مقابل الروبوت": الذكاء الاصطناعي يكون أحياناً صارماً للغاية. البشر غالباً ما يلخصون أو يعممون. إذا قالت ورقة بحثية "النحاس محفز رائع"، وذكر المصدر أن "البالاديوم محفز رائع" ولم يذكر "النحاس" صراحة، فقد يقول الإنسان: "قريب جداً، كلاهما معادن". أما الذكاء الاصطناعي، فقد يقول: "لا، لم يذكر النحاس"، ويعتبرها خطأً. إنه يفتقر إلى القدرة البشرية على "القراءة ما بين السطور".
- لا توجد "هلوسة": كان الباحثون قلقين من أن يقوم الذكاء الاصطناعي بمجرد اختلاق أشياء (الهلوسة) ليبدو ذكياً. لقد تحققوا من تفسيرات الذكاء الاصطناعي ووجدوا أنه كان صادقاً ومنطقياً في الواقع، وليس مختلقاً للحقائق.
لماذا يهم هذا؟
فكر في الأدب العلمي كمكتبة ضخمة. إذا كانت الكتب تحتوي على مراجع خاطئة، فإن المكتبة بأكملها تصبح غير موثوقة.
- للمحررين: يمكن لهذا الذكاء الاصطناعي أن يكون "مدققاً إملائياً" للحقائق. بدلاً من أن يقضي المحرر البشري 20 دقيقة في التحقق من استشهاد واحد، يمكن للذكاء الاصطناعي القيام بذلك في ثوانٍ، وتحديد الاستشهادات المشبوهة للمراجعة البشرية.
- للعلوم: يساعد ذلك في وقف انتشار العلوم الزائفة و"مصانع الأوراق البحثية" (المصانع التي تنتج أبحاثاً مزيفة).
- للمستقبل: رغم أن الذكاء الاصطناعي ليس مثالياً بعد (فهو بحاجة لتعلم كيف يكون أكثر مرونة مثل البشر)، إلا أنه أداة قوية. إنه يظهر أننا نتحرك نحو مستقبل يساعد فيه الذكاء الاصطناعي في كتابة ومراجة والتحقق من العلم، مما يجعل العملية برمتها أسرع وأكثر موثوقية.
باختاً: تثبت الورقة أن الذكاء الاصطناعي يمكن أن يكون "شرطة مراجع" فعالة للغاية، حيث يكشف الأخطاء التي قد يغفل عنها البشر أو يجدونها مملة جداً للتحقق منها، بشرط أن نعلمه كيفية الموازنة بين الدقة الصارمة والمنطق البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.