What Citations Get Wrong: A Full-Corpus Audit of Reference Existence and Claim Support in a Major NLP Conference
تُدقق هذه الورقة في وقائع مؤتمر ACL 2026 لتجد أنه بينما توجد جميع المراجع المستشهد بها تقريبًا، فقد فشلت عملية تدقيق آلي لمرة واحدة لدعم الادعاءات في إعادة التكرار بسبب تكوين نموذج غير مسجل، مما يثبت أن التحقق الصارم من الاستشهاد يتطلب تسجيلًا تشغيليًا دقيقًا لضمان قابلية التكرار.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المكتبة الشاسعة للعلوم الحديثة، لا يعد الاستشهاد مجرد اسم في قائمة؛ بل هو وعد. فعندما يكتب المؤلف جملة ويشير إلى ورقة بحثية أخرى، فإنه يقطع التزامين متميزين. أولاً، يعد بأن الورقة التي يشير إليها موجودة بالفعل ويمكن العثور عليها. ثانياً، وهو أمر أصعب في التحقق، يعد بأن الورقة التي يشير إليها تقول بالفعل ما يدعي المؤلف أنها تقوله. لعقود من الزمن، قلق المجتمع العلمي بشكل أساسي بشأن الوعد الأول، خاصة مع صعود الذكاء الاصطناعي. هناك خوف متزايد من أن البرامج الحاسوبية تخترع أوراقاً وهمية، وتملأ قوائم المراجع بعناوين ومؤلفين لم يكن لهم وجود، مما يؤدي فعلياً إلى تلويث السجل الأكاديمي بالخيال. كان هذا القلق صاخباً، لكن الأدلة الداعمة له كانت ضئيلة. وفي الوقت نفسه، تلقى الوعد الثاني — دقة الادعاء نفسه — اهتماماً أقل بكثير، رغم أنه الاختبار الأقدم والأكثر جوهرية لمعرفة ما إذا كان العالم يقول الحقيقة بشأن مصادره.
قرر باحث يُدعى تاو آن اختبار كلا الوعدين في آن واحد، ليس على عينة صغيرة، بل على أعمال سنة كاملة من أوراق بحثية مقدمة في مؤتمر رئيسي لعلوم الحاسوب. قام الفريق بمراجعة كل مرجع في وقائع مؤتمر الجمعية لغويات الحاسوب لعام 2026، وهي مجموعة تحتوي على ما يقرب من 4500 ورقة بحثية وأكثر من 200,000 مرجع، للتحقق مما إذا كانت تشير إلى وثائق حقيقية. ولعينة فرعية أصغر من هذه الاستشهادات، تحققوا أيضاً مما إذا كانت الوثيقة تدعم بالفعل الجملة التي استشهدت بها. كان الهدف هو معرفة ما إذا كان الخوف من المراجع الوهمية التي يولدها الذكاء الاصطناعي يستند إلى واقع، وقياس عدد المرات التي يسيء فيها المؤلف تمثيل ما تقوله مصادره بالفعل.
بدأ التحقيق بالوعد الأول: الوجود. بنى الباحثون نظاماً للتحقق مما إذا كان كل مرجع يشير إلى عمل حقيقي يمكن استرجاعه. وجدوا أن الغالبية العظمى من المراجع، حوالي 91 بالمائة، نجحت في الوصول إلى أدبيات حقيقية. أما العدد الصغير من المراجع التي لم تتطابق فلم تكن أوراقاً وهمية على الإطلاق؛ بل كانت أشياء مثل منشورات مدونات، أو وثائق برمجية، أو أخطاء في التحليل حيث أخطأ الحاسوب في قراءة النص. وعندما راجع الفريق يدوياً الجزء الضئيل من المراجع التي بدت مشبوهة، وجدوا حالتين فقط من أصل ما يقرب من 210,000 حيث تأكد أن الورقة غير موجودة تماماً. تشير هذه النتيجة إلى أنه على هذه المنصة الكبرى، فإن الخوف من قيام الذكاء الاصطناعي بملء الأدبيات بأوراق مختلقة هو أمر لا أساس له من الصحة إلى حد كبير. المراجع دائماً ما تكون حقيقية.
ومع ذلك، تغيرت القصة تماماً عندما انتقل الباحثون إلى الوعد الثاني: ما إذا كانت الورقة المستشهد بها تدعم الادعاء بالفعل. هذه مهمة أصعب بكثير، تتطلب من النظام قراءة الورقة المستشهد بها ومقارنتها بالجملة التي استشهدت بها. استخدم الفريق عملية مكونة من مرحلتين تتضمن نماذج حاسوبية لتحديد الاستشهادات التي يبدو أنها تسيء تمثيل مصادرها. في محاولتهم الأولى، حدد النظام عدداً صغيراً جداً من الأخطاء، مما يشير إلى أن المؤلفين كانوا دقيقين في الغالب. ولكن عندما قام الباحثون بتشغيل نفس العملية تماماً مرة أخرى، باستخدام نفس الكود البرمحي ونفس الأوراق، كانت النتائج مختلفة تماماً. وجدت الجولة الثانية والثالثة عدداً من الأخطاء يزيد بنحو ستة أضعاف عن الجولة الأولى.
أصبح هذا التضارب هو الاكتشاف الأهم في الدراسة. تتبع الباحثون السبب وراء ذلك وصولاً إلى متغير خفي: النموذج الحاسوبي المحدد المستخدم في الحكم الأولي لم يتم تسجيله. في الجولة الأولى، اعتمد النظام بصمت على نموذج أضعف فاته الكثير من الأخطاء. وفي الجولات اللاحقة، تم استخدام نموذج مختلف وأقوى، والذي رصد العديد من المشكلات. ولأن الجولة الأولى استخدمت نموذجاً لم يتم تسجيله أبداً، لم يستطع الباحثون التأكد مما كان يقيسه ذلك الجزء الأول بالفعل. كان الدرس صارخاً: لا يمكن الوثوق في أي تدقيق آلي، مهما تم فحصه يدوياً بعنامة، إذا لم يكن من الممكن تكرار العملية بنفس الأدوات تماماً. القياس نفسه كان غير مستقر.
عندما نظر الباحثون في البيانات التي تكررت، وجدوا أن الأخطاء كانت حقيقية، لكنها لم تكن من نوع الهراء الذي تولده الآلات والذي يخشاه الناس. كانت الأخطاء المؤكدة أخطاء بشرية دقيقة. فقد يكون المؤلف قد أخذ ورقة حقيقية وزعم أنها تقول عكس ما تجادل به، أو استشهد بنتيجة عامة بينما لا تدعم الورقة إلا نتيجة ضيقة. لم تكن هذه هلاوس خلقتها ذكاء اصطناعي؛ بل كانت أنواع الأخطاء التي قد يرتكبها باحث مرهق عند الإسراع لإنهاء مخطوطته. كانت هذه الأخطاء غير مرئية لأي أداة تتحقق فقط مما إذا كان المرجع موجوداً، لأن الأوراق كانت حقيقية، لكن الرابط بين الادعاء والمصدر كان مكسوراً.
كشفت الدراسة أيضاً أن عملية مراجعة الأقران، حيث يقوم علماء آخرون بفحص الأوراق قبل نشرها، لم تبدُ وكأنها تكتشف أخطاء الدعم هذه. فعندما قارن الفريق الأوراق المنشورة في المؤتمر بمجموعة من المسودات غير المراجعة، كان معدل أخطاء الاستشهاد متساوياً إحصائياً. يشير هذا إلى أن نظام مراجعة الأقران الحالي ليس مصمماً للتحقق من كل استشهاد مقابل مصدره، وهي مهمة ستستغرق وقتاً طويلاً جداً من المراجعين المتطوعين. وبدلاً من ذلك، فإن المسؤولية عن ضمان أن الاستشهاد يدعم الادعاء فعلياً تقع على عاتق المؤلف نفسه قبل تقديم عمله.
في النهاية، قدمت المراجعة صورة واضحة لمكان وقوع المشكلات. إن الخوف من أن السجل العلمي يغرق بالأوراق الوهمية غير الموجودة لا تدعمه البيانات؛ فالمراجع دائماً ما تكون حقيقية. المشكلة الحقيقية هي دقة الادعاءات المرفقة بتلك المراجع. هذه الأخطاء دقيقة، بشرية، ويصعب اكتشافها آلياً لأن الأدوات المستخدمة لإيجادها ليست مستقرة بما يكفي لإعطاء رقم واحد موثوق. تخلص الدراسة إلى أنه قبل أن نتمكن من الوثوق بالآلات لمراقبة نزاهة العلم، يجب علينا أولاً ضمان أن الآلات نفسها متسقة وأن أخطاءها مفهومة تماماً. إن العيوب المتبقية ليست علامة على انهيار النظام تحت وطأة الذكاء الاصطناعي، بل هي تذكير بالتعقيد المستمر للبحث البشري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.