How LLMs Cite and Why It Matters: A Cross-Model Audit of Reference Fabrication in AI-Assisted Academic Writing and Methods to Detect Phantom Citations
تقدم هذه الدراسة تدقيقاً واسع النطاق لـ 10 نماذج لغوية كبيرة (LLMs) تجارية، يكشف عن تباين كبير في معدلات هلوسة الاستشهاد عبر النماذج والمجالات، بينما تثبت أن التزييف الناجم عن الأوامر (prompt-induced fabrication) يمكن الحد منه بفعالية من خلال توافق النماذج المتعددة، والتكرار داخل الأمر نفسه، ومصنف ببليوغرافي خفيف الوزن يكتشف الاستشهادات الوهمية دون استعلامات لقواعد بيانات خارجية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تطلب من روبوت ذكي جداً ومطلع كتابة ورقة بحثية لك. تقول له: "يرجى إدراج أهم الكتب والمقالات التي تثبت وجهة نظرك". يقوم الروبوت، الحريص على إرضائك، بكتابة قائمة طويلة من الاستشهادات تشمل المؤلفين، العناوين، والسنوات. تبدو القائمة مثالية، وتبدو احترافية.
ولكن، إليك الخدعة: الكثير من تلك الكتب والمقالات ليست موجودة في الواقع.
هذه الورقة هي تحقيق واسع النطاق في مدى تكرار حدوث ذلك، ولماذا يحدث، وكيف يمكننا كشف كذب الروبوت قبل أن يفسد واجبك المنزلي (أو رسالة الدكتوراه الخاصة بك).
إليك تفصيل الدراسة، مترجماً إلى لغة يومية بسيطة مع بعض التشبيهات المفيدة.
1. تدقيق "الكتاب المزيف" الكبير
لم يكتفِ الباحثون بالتخمين؛ بل أخضعوا 10 نماذج ذكاء اصطناٍ اصطناعي شهيرة (مثل العقول التي تقف وراء ChatGPT وClaude وغيرها) لاختبار قاسٍ.
- الاختبار: طلبوا من هذه النماذج الكتابة عن أربعة مواضيع مختلفة (مثل بناء الجسور، تغير المناخ، الطب، وعلوم الكمبيوتر) وطلبوا منها مراجع.
- النطاق: قاموا بتوليد ما يقرب من 70,000 استشهاد.
- التحقق: قاموا بتمرير كل استشهاد من تلك الاستشهادات عبر "كاشف حقيقة" (بالتحقق من ثلاث قواعد بيانات ضخمة للأوراق الأكاديمية الحقيقية).
النتيجة: كانت نماذج الذكاء الاصطناعي تكذب كثيراً.
- كانت بعض النماذج "صادقة" بنسبة 88% من الوقت.
- بينما كانت نماذج أخرى تكذب أكثر من 50% من الوقت.
- الاكتشاف الكبير: عندما سأل الباحثون نماذج الذكاء الاصطناعي أسئلة دون طلب مراجع، لم تظهر أي استشهادات مزيفة. وهذا يثبت أن نماذج الذكاء الاصطناعي ليست ميالة طبيعياً للكذب؛ بل تبدأ فقط في اختلاق الحقائق عندما تطلب منها تحديداً "ذكر مصادرك". الأمر يشبه طالباً يعرف المادة جيداً، لكنه يبدأ في اختلاق مصادر فقط عندما يقول له المعلم: "أرني عملك".
الـ 2. فخ "السفر عبر الزمن"
لاحظ الباحثون شيئاً غريباً حول متى تكذب نماذج الذكاء الاصطنا هذه.
- اختبار "الكلاسيكيات القديمة": عندما طُلب منها ذكر أوراق بحثية "تأسيسية" (مشهورة وقديمة)، أبلت النماذج بلاءً حسناً.
- اختبار "الأخبار الجديدة": عندما طُلب منها ذكر أوراق بحثية "حديثة"، ارتفعت نسبة الكذب بشكل هائل.
التشبيه: تخيل أميناً للمكتبة قرأ كل الكتب الموجودة في المكتبة حتى عام 2023. إذا طلبت منه كتاباً من عام 1990، فيمكنه العثور عليه بسهولة. ولكن إذا طلبت منه كتاباً نُشر الأسبوع الماضي، فهو لم يقرأه بعد. لتجنب الاعتراف بأنه لا يعرف، يخترع عنواناً يبدو وكأنه كتاب حقيقي من الأسبوع الماضي. نماذج الذكاء الاصطناعي تفعل الشيء نفسه؛ فهي تخمن الأحداث الأخيرة لأن "ذاكرتها" (بيانات التدريب) قديمة.
3. حل "حكمة الجماعة"
إذاً، كيف نوقف الكذب؟ وجد الباحثون حيلتين ذكيتين ومنخفضتي التقنية تعملان مثل "نظام التصويت".
- الحيلة رقم 1: قاعدة "الوحش ذو الرؤوس الثلاثة".
إذا سألت ثلاثة نماذج مختلفة نفس السؤال وأعطتك جميعها نفس الاستشهاد بالضبط، فمن المؤكد تقريباً أنه حقيقي (بنسبة 95%). - لماذا؟ من الصعب على ثلاثة كذابين مختلفين أن يخترعوا بالصدفة نفس عنوان الكتاب المزيف. لكن من السهل على ثلاثة أمناء مكتبة صادقين العثور على نفس الكتاب الحقيقي.
- الحيلة رقم 2: قاعدة "اسأل مرة أخرى".
إذا سألت نفس نموذج الذكاء الاصطناعي نفس السؤال ثلاث مرات، وأعطاك نفس الاستشهاد مرتين، فمن المحتمل أن يكون حقيقياً. - لماذا؟ الاستشهادات المزيفة هي تخمينات عشوائية. أما الاستشهادات الحقيقية فهي ذكريات. إذا تذكر الذكاء الاصطناعي الشيء نفسه مرتين، فمن المرجح أنها ذاكرة حقيقية.
4. كاشف "الهوية المزيفة" (مصنف الذكاء الاصطناعي)
قام الباحثون أيضاً ببناء أداة خاصة—"كاشف كذب" لا يحتاج للبحث في الإنترنت. هو فقط ينظر إلى "شكل" سلسلة الاستشهاد.
التشبيه: فكر في الهوية المزيفة. حتى لو كانت الصورة جيدة، فقد يكون الخط خاطئاً قليلاً، أو العنوان قصيراً جداً.
- الاستشهادات الحقيقية: عادة ما تحتوي على أسماء مؤلفين أطول، وعدد أكبر من المؤلفين، وسنوات نشر أقدم.
- الاستشهادات المزيفة: غالباً ما تكون بأسماء مؤلفين قصيرة جداً، وعدد أقل من المؤلفين، وسنوات حديثة بشكل غريب (لأن الذكاء الاصطناعي يحاول أن يبدو "مواكباً للعصر").
لقد دربوا برنامج كمبيوتر لرصد هذه "الأشكال المشبوهة". يمكنه مسح قائمة من الاستشهادات ووضع علامة على المزيفة منها في لمح البصر، مما يوفر عليك عناء التحقق من كل واحدة منها يدوياً.
5. الأكبر ليس دائماً الأفضل
قد تعتقد: "إذا استخدمت أحدث وأغلى نموذج ذكاء اصطناعي، فسوف يكذب أقل".
- الواقع: ليس بالضرورة.
- قامت إحدى الشركات (OpenAI) بتطوير نموذج جديد يكذب أقل بكثير من نسخته القديمة.
- بينما قامت شركة أخرى (Anthropic) بتطوير نموذج جديد يكذب أكثر من نسخته القديمة.
يتضح أن مجرد جعل النموذج "أذكى" أو "أكبر" لا يعالج تلقائياً قدرته على قول الحقيقة بشأن المراجع. الأمر يعتمد على كيفية تدريب الشركة للنموذج وما هي البيانات التي غذتها به.
الخلاصة
الذكاء الاصطناعي أداة قوية للكتابة، لكنه أمين مكتبة سيء للغاية عندما يتعلق الأمر باختلاق المراجع.
- لا تثق به ثقة عمياء: إذا أعطاك الذكاء الاصطناعي استشهاداً، افترض أنه قد يكون مزيفاً حتى يثبت العكس.
- استخدم طريقة "التصويت": إذا اتفقت عدة نماذج ذكاء اصطناعي على مصدر ما، فمن المرجح أنه حقيقي.
- افحص "الهوية": إذا بدا الاستشهاد بسيطاً جداً أو حديثاً جداً، فكن مشتبهاً.
تنتهي الدراسة برسالة واضحة: يمكن للذكاء الاصطناعي أن يساعدك في الكتابة، ولكن يجب أن تكون أنت من يتحقق من الحقائق. الروبوت هو الكاتب، وأنت المحرر.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.