BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation
تقدم هذه الورقة معياراً شاملاً وتصنيفاً للأخطاء لتقييم هلوسة الاستشهاد في النماذج اللغوية الكبيرة المدعومة بالبحث، كاشفةً أن حتى النماذج الرائدة تعاني مع الأوراق البحثية الحديثة بسبب الاعتماد على الذاكرة البارامترية، وتثبت أن استراتيجية تخفيف مكونة من مرحلتين باستخدام أداة `clibib` مفتوحة المصدر تحسن دقة "BibTeX" بشكل كبير مع تقليل التراجع إلى أدنى حد.
البحث الأصلي مُهدى إلى الملك العام بموجب CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب تكتب ورقة بحثية. تطلب من مساعد ذكاء اصطناعي ذكي جداً ومطلع البحث عن كتاب محدد لإضافته إلى قائمة المراجع الخاصة بك، وتطلب منه تدوين كافة التفاصيل: اسم المؤلف، والعنوان، وسنة النشر، وأرقام الصفحات.
أنت تتوقع أن يكون الذكاء الاصطناعي مثالياً. لكن في الواقع، غالباً ما يخطئ الذكاء الاصطناعي. قد يخترع رقم صفحة وهمي، أو يخلط بين الاسم الأوسط للمؤلف، أو الأسوأ من ذلك، قد يقتبس كتاباً مختلفاً تماماً يبدو مشابهاً لما طلبته ولكنه ليس هو الكتاب المطلوب. يُسمى هذا "هلوسة الاقتباس" (Citation Hallucination).
هذه الورقة هي بمثابة تقرير استقصائي لعمل "محقق" يبحث في سبب استمرار مساعدي الذكاء الاصطناعي الأذكياء هؤلاء في ارتكاب هذه الأخطاء، حتى عندما يكون لديهم إمكانية الوصول إلى الإنترنت، وكيف يمكننا إصلاح ذلك.
المشكلة: أمين المكتبة "الذكي ولكن النسيان"
قام الباحثون باختبار ثلاثة من أكثر نماذج الذكاء الاصطناعي تقدماً المتاحة (فكر فيهم كأفضل ثلاثة "أمناء مكتبات خارقين"). طلبوا من هذه النماذج البحث عن استشهادات لـ 931 ورقة علمية مختلفة.
ووجدوا ثلاث مشكلات رئيسية:
- تحيز "الكتاب الشهير": كان الذكاء الاصطناعي بارعاً في إيجاد التفاصيل للأوراق الشهيرة أو القديمة أو شديدة الاستشهاد بها. كان الأمر كما لو أن هذه الكتب محفورة في ذاكرتهم. ولكن عندما طُلب منهم البحث عن ورقة بحثية جديدة جداً أو غير معروفة تماماً، بدأت عملية التخمين.
- فخ "الإنترنت ليس كافياً": حتى عندما أخبر الباحثون نماذج الذكاء الاصطناعي: "اذهب وابحث عن هذا على الويب"، ظل الذكاء الاصطناعي يرتكب أخطاء. اتضح أنه لمجرد أن الذكاء الاصطناعي وجد الصفحة الصحيحة على الويب، فهذا لا يعني أنه قرأ التفاصيل بشكل صحيح. الأمر يشبه طالباً وجد الكتاب المدرسي الصحيح في المكتبة، ولكنه دون رقم الصفحة الخطأ لأنه كان شارداً أثناء القراءة.
- خطأ "الكل أو لا شيء": اكتشف الباحثون طريقتين يفشل فيهما الذكاء الاصطناعي:
- تبديل "الكتاب الخاطئ": يجد الذكاء الاصطناعي كتاباً مختلفاً تماماً (على سبيل المثال، يعتقد أنك سألت عن "هاري بوتر وحجرة الأسرار" بينما كنت تسأل في الواقع عن "هاري بوتر وحجرة النيران"). في هذه الحالة، تكون كل التفاصيل (المؤلف، السنة، العنوان) خاطئة لأنه يتحدث عن شيء آخر.
- خطأ "الخطأ المطبعي": يجد الذكاء الاصطناعي الكتاب الصحيح ولكنه يخطئ في تفصيل صغير، مثل أرقام الصفحات أو رقم المجلد.
الحل: أداة "مدقق الحقائق"
بما أن نماذج الذكاء الاصطناعي عرضة للسرحان والتخمين، فقد بنى الباحثون أداة جديدة تسمى clibib.
فكر في clibib كـ مدقق حقائق صارم للغاية أو موثق رقمي.
- عندما يحاول الذكاء الاصطناعي كتابة اقتباس، فإن
clibibلا يسمح له بالتخمين. - بدلاً من ذلك، يأخذ
clibibالرقم التعريفي للورقة (مثل DOI) ويذهب مباشرة إلى قاعدة بيانات الناشر الرسمية. - يقوم بجلب التفاصيل الصحيحة بالضبط ويسلمها للذكاء الاصطناعي قائلاً: "هذه هي الحقيقة. فقط قم بنسخها".
التجربة: خطوة واحدة مقابل خطوتين
اختبر الباحثون طريقتين لاستخدام مدقق الحقائق هذا:
1. طريقة "الخطوة الواحدة" (الطالب المشتت):
أخبروا الذكاء الاصطناعي: "ابحث في الويب، جد الورقة، ثم استخدم أداة مدقق الحقائق للحصول على التفاصيل".
- النتيجة: لا يزال الذكاء الاصطناعي يصاب بالارتباك. كان يبحث، ويجد الورقة، ولكنه ينسى استخدام مدقق الحقائق بشكل صحيح أو يخلط بين التفاصيل أثناء محاولته القيام بأشياء كثيرة في وقت واحد. ارتفعت الدقة قليلاً، لكن ليس بما يكفي.
2. طريقة "الخطوتين" (المحرر):
قاموا بتغيير العملية:
- الخطوة 1: اترك الذكاء الاصطناعي يقوم بأفضل تخمين لديه أولاً (باستخدام الإنترنت).
- الخطوة 2: خذ ذلك التخمين وقم بتشغيله عبر مدقق الحقائق (
clibib) بشكل منفصل. ثم اطلب من الذكاء الاصطناعي ببساطة مقارنة تخمينه مع حقيقة مدقق الحقائق وتصحيح الأخطاء. - النتيجة: نجح هذا الأمر بشكل مذهل. من خلال فصل عملية "البحث" عن عملية "التصحيح"، توقف الذكاء الاصطناعي عن الارتباك. قفزت الدقة من حوالي 50% (نصف الاقتباسات كانت مثالية) إلى ما يقرب من 80%.
الخلاصة الكبرى
الدرس الرئيسي من هذه الورقة هو أن الذكاء الاصطناعي كاتب رائع ولكنه أمين مكتبة سيء.
إذا طلبت من الذكاء الاصطناعي إنشاء قائمة مراجع من الصفر، فمن المرجح أن يخترع حقائق. حتى لو منحته إمكانية الوصول إلى الإنترنت، فقد يظل يخطئ في التفاصيل لأنه يحاول "تذكر" الأشياء بدلاً من "قراءتها" بعناية.
الحل: لا تثق في الذكاء الاصطناعي لإنشاء الاقتباس. بدلاً من ذلك، اجعل الذكاء الاصطناعي يجد الورقة، ثم استخدم أداة حتمية (مثل clibib) لسحب البيانات الرسمية من المصدر، واجعل الذكاء الاصطناعي يعمل ببساطة كمحرر "نسخ ولصق" لتنسيقها.
باخت-القول: إذا كنت تريد اقتباساً مثالياً، فلا تطلب من الذكاء الاصطناعي إنشاءه. اطلب من الذكاء الاصطنا_ي أن يجد الورقة، ثم دع برنامج كمبيوتر يجلب التفاصيل لك.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.