Attribution in Scientific Literature: New Benchmark and Methods
تقدم هذه الورقة البحثية REASONS، وهو معيار واسع النطاق وإطار عمل ثنائي المقاييس مصمم لتقييم وتحسين موثوقية عزّو الاستشهاد العلمي في النماذج اللغوية الكبيرة من خلال موازنة معدلات الهلوسة مع الامتناع المناسب في ظل ظروف أدلة متفاوتة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للاكتشاف العلمي، يتجه الباحثون بشكل متزايد نحو الذكاء الاصطناعي لتلخيص النتائج المعقدة وربط الأفكار عبر مكتبات هائلة من الأدبيات. هذه الأنظمة الذكية، المعروفة باسم النماذج اللغوية الكبيرة، مدربة على كميات هائلة من النصوص ويمكنها توليد استجابات سلسة تشبه استجابات البشر. وتتمثل إحدى الميزات الحاسمة لجدواها في العلوم في القدرة على إرفاق استشهادات بادعاءاتها، مما يوجه القراء إلى الأوراق البحثية الأصلية التي تدعم عبارة ما. ومع ذلك، فإن مشكلة مستمرة تقوض هذه الثقة: فالنماذج أحياناً تخترع مراجع لا وجود لها أو تنسب أوراقاً حقيقية إلى الادعاءات الخاطئة. هذه الظاهرة، التي تُسمى غالباً "الهلوسة"، تخلق وهماً خطيراً بالسلطة المعرفية. إن التحدي الجوهري للعلماء والمطورين لا يقتصر فقط على جعل هذه الأنظمة أكثر دقة عندما تكون واثقة، بل في فهم متى يجب عليها أن تعترف بأنها لا تعرف. فإذا لم يستطع النموذج التمييز بين موقف يمتلك فيه أدلة كافية للإجابة وموقف آخر لا يمتلك فيه ذلك، فإنه يخاطر بقيادة الباحث بثقة نحو مسارات من الحقائق المختلقة.
قام فريق من الباحثين بمعالجة حالة عدم اليقين هذه من خلال إنشاء أرض اختبار جديدة تسمى REASONS، وهي معيار مصمم خصيصاً لقياس مدى جودة تعامل هذه النماذج مع الاستشهادات العلمية. جمع الفريق أكثر من اثني عشر ألف جملة محددة من أوراق أكاديمية من اثني عشر مجالاً دراسياً مختلفاً، تتراوح من الرؤية الحاسوبية إلى الحوسبة الكمومية. كل جملة في هذه المجموعة مرتبطة باستشهاد حقيقي وموثق، مما يوفر "حقيقة أرضية" واضحة يمكن من خلالها اختبار النماذج. لم يكتفِ الباحثون بسؤال النماذج عن إيجاد الورقة الصحيحة فحسب؛ بل وضعوا سلسلة من التجارب لمعرفة كيف ستتصرف النماذج عندما يتغير مقدار المعلومات المتاحة لها. لقد اختبروا النماذج في ثلاث سيناريوهات متميزة: أولاً، مع عدم وجود معلومات خارجية على الإطلاق، مما يجبر النماذج على الاعتماد فقط على ما حفظته؛ ثانياً، مع توفير بيانات وصفية موثقة مثل عنوان الورقة وملخصها مباشرة للنموذج؛ وثالثاً، باستخدام أدوات بحث متقدمة تسترجع المستندات ذات الصلة من قاعدة بيانات للمساعدة في الإجابة على السؤال.
كشفت النتائج عن مقايضة صارخة ومتسقة بين كون النموذج مفيداً وبين كونه صادقاً. فعندما مُنحت النماذج أي معلومات إضافية، كانت العديد منها ترفض الإجابة، وهو سلوك يسميه الباحثون "الامتناع". وبينما كان هذا الرفض يعني أنها لم ترتكب أخطاء، إلا أنه يعني أيضاً أنها لم تقدم أي قيمة للمستخدم. ومع ذلك، بمجرد أن أضاف الباحثون سياقاً — إما بإعطاء النماذج تفاصيل الورقة أو بالسما-ح لها بالبحث في قاعدة بيانات — أصبحت النماذج أكثر استعداداً للتحدث. ولسوء الحظ، جاءت هذه الاستجابة المتزايدة بتكلفة باهظة. فقد توقفت النماذج عن قول "أنا لا أعرف" وبدأت في تقديم إجابات بثقة عالية، حتى عندما كانت تلك الإجابات خاطئة. وفي اختبار محدد باستخدام أدوات البحث المتقدمة، قفز معدل الاستشهادات غير الصحيحة إلى ما يقرب من ثمانية وثمانين بالمائة، بينما انخفض معدل امتناع النماذج عن الإجابة إلى الصفر. لم تعد النماذج حذرة؛ بل أصبحت مخطئة بثقة.
لم يكن هذا السلوك موحداً عبر جميع أنواع العلوم. فقد وجدت الدراسة أن النماذج أدت بشكل أسوأ بكثير في المجالات المتخصصة مثل الحوسبة الكمومية والجزيئات الحيوية مقارنة بالمجالات المغطاة جيداً مثل الرؤية الحاسوبية. وفي هذه المجالات المتخصصة، كانت النماذج أكثر عرضة للتخمين الخاطئ، حتى عند تزويدها بمعلومات إضافية. كما اختبر الباحثون طريقة يتم فيها الكشف عن المعلومات للنموذج على مراحل، آملين أن يساعد رؤية المزيد من الأدلة النموذج على تصحيح مساره. ورغم أن هذا ساعد في تقليل بعض الأخطاء، إلا أنه لم يعالج المشكلة الأساسية: فالنماذج التي كانت عرضة للإفراط في الثقة ببساطة توقفت عن الامتناع في وقت مبكر واستمرت في تأكيد المعلومات الخاطئة. تضمنت الدراسة أيضاً مراجعة بشرية دقيقة لألف مخرج من مخرجات النماذج لضمان دقة القياسات الآلية. وقد أكد الخبراء البشريون أن النماذج كانت بالفعل ترتكب أخطاء واقعية، مثل الاستشهاد بالمؤلفين الخطأ أو الأوراق الخطأ، بدلاً من مجرد استخدام كلمات مختلفة لقول الشيء نفسه.
تشير النتائج إلى أن النهج الحالي لبناء هذه الأنظمة يفتقر إلى قطعة حاسمة من اللغز. فمجرد إضافة المزيد من البيانات أو أدوات بحث أفضل لا يجعل النموذج أكثر موثوقية؛ بل في الواقع، غالباً ما يجعله أكثر خطورة من خلال قمع تردده الطبيعي. ويرى الباحثون أن النظام الجدير بالثقة حقاً يجب تقييمه ليس فقط بناءً على عدد المرات التي يصيب فيها الإجابة، بل على قدرته على معرفة متى يجب أن يلتزم الصمت. وتخلص الدراسة إلى أنه لكي يكون الذكاء الاصطناعي شريكاً آمناً في الاكتشاف العلمي، يجب علينا تصميم أنظمة تقدر السلامة المعرفية — أي الاستعداد للاعتراف بعدم اليقين — بقدر ما نقدر قدرتها على توليد الإجابات. وبدون هذا التوازن، ستظل مخاطر التزييف الواثق عائقاً كبيراً أمام استخدام هذه الأدوات القوية في العمل العلمي رفيع المستوى.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.