Copy-Paste to Mitigate Large Language Model Hallucinations
تقترح الورقة البحثية **CopyPasteLLM**، وهي طريقة تخفف من الهلوسة في التوليد المعزز بالاسترجاع (RAG) عبر استخدام تدريب تفضيل الاستجابة عالي النسخ والتحفيز المتخصص لتشجيع النماذج على الاعتماد بشكل أكبر على السياق المقدم بدلاً من معرفتها البارامترية الداخلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طالب تؤدي امتحاناً صعباً جداً في التاريخ. وقد أُعطيت كتاباً مدرسياً (السياق) لمساعدتك في الإجابة على الأسئلة.
ومع ذلك، فلديك مشكلة: لقد درست الكثير من كتب التاريخ الأخرى في الماضي (المعرفة البارامترية). عندما ترى سؤالاً، غالباً ما يتجاهل عقلك الكتاب المدرسي الموجود أمامك ويصرخ بما "تعتقد" أنك تذكره من كتبك القديمة. حتى لو قال الكتاب المدرটি شيئاً مختلفاً، فإنك تتبع ذاكرتك. هذا الخطأ هو ما يسميه العلماء "الهلوسة".
تقدم هذه الورقة طريقة جديدة للدراسة تسمى "النسخ واللصق" (Copy-Paste). وإليك كيف تعمل:
1. المشكلة: الطالب "الذي يعرف كل شيء"
تعمل معظم نماذج الذكاء الاصطناعي (نماذج اللغات الكبيرة) كطلاب "يعرفون كل شيء". عندما يستخدمون محرك بحث للعثور على المعلومات (وهذا ما يسمى RAG)، فإنهم يجدون الإجابة الصحيحة في نتائج البحث، لكنهم بعد ذلك يحاولون "إعادة صياغتها" أو وضعها بأسلوبهم الخاص.
وفي عملية محاولتهم للظهور بمظهر الذكي والمبتكر، يغيرون الحقائق بالخطأ، أو يبدلون الأسماء، أو يخلطون بين التواريخ. إنهم يحاولون أن يكونوا "كُتّاباً" بينما ينبغي أن يكونوا "مراسلين".
2. الحل: طريقة "النسخ واللصق"
أدرك الباحثون أمراً مثيراً للاهتمام: كلما نسخ الطالب جملًا دقيقة من الكتاب المدرسي، قل احتمال وقوعه في الخطأ.
بدلاً من قول: "اقرأ هذا وأخبرني ماذا حدث" للذكاء الاصطناعي، نقول له: "جِد الجمل الدقيقة في هذا الكتاب التي تجيب على السؤال وقم بلصقها في إجابتك".
من خلال تحويل الذكاء الاصطناعي من كاتب مبدع إلى آلة تصوير دقيقة، يتوقف الذكاء الاصطناعي عن "التخمين" ويبدأ في "الاقتباس". ولأن الكلمات تأتي مباشرة من المصدر، لا يمكن للذكاء الاصطناعي أن يغير "1920" إلى "1930" عن طريق الخطأ.
3. التدريب: "المعلم الصارم" (CopyPasteLLM)
لجعل هذا الأمر عادة، أنشأ الباحثون برنامج تدريب خاصاً يسمى CopyPasteLLM. وقد استخدموا عملية مكونة من خطوتين:
- الخطوة 1: جولة التدريب. استخدموا أوامر (prompts) خاصة لإجبار الذكاء الاصطناعي على ممارسة مستويات مختلفة من النسخ — من النسخ الصارم للجمل بالترتيب إلى نسخة أكثر "تهذيباً" حيث يضيف قطعاً صغيرة من "المواد الرابطة" (مثل "ومع ذلك" أو "لذلك") لجعل الجمل تتدفق بسلاسة.
- الخطوة 2: نظام المكافأة. عرضوا على الذكاء الاصطناعي إجابتين مختلفتين: إحداهما إعادة صياغة فوضوية من نوع "الذي يعرف كل شيء"، والأخرى اقتباس نظيف بنظام "النسخ واللصق". منحوا الذكاء الاصطناعي "نجمة ذهبية" (تفضيل رياضي) في كل مرة يختار فيها النسخة المقتبسة الدقيقة.
4. النتيجة: طالب فائق الكفاءة
كانت النتائج مبهرة. على الرغم من أنهم أعطوا الذكاء الاصطناناً قدراً ضئيلاً جداً من بيانات التدريب (365 مثالاً فقط!)، إلا أن الذكاء الاصطناعي أصبح أكثر موثوقية بكثير.
في الاختبارات الصعبة (مثل الأسئلة الطبية أو "الأسئلة الخادعة" حيث يتعارض الكتاب المدرسي مع ما "يعتقده" الذكاء الاصطناعي)، كان نموذج CopyPasteLLM أكثر دقة بشكل ملحوظ من النماذج القياسية. لقد تعلم أن "يثق في الكتاب" أكثر من ثقته في ذاكرته.
ملخص الاستعارة
فكر في الذكاء الاصطناعي القياسي كـ طاهٍ يحاول إعادة إنشاء وصفة من ذاكرته — قد يضيف الكثير من الملح أو ينسى مكوناً لأنهم "يعتقدون" أنهم يعرفون كيف يتم الأمر.
أما CopyPasteLLM فهو مثل طاهٍ يتبع الوصفة كلمة بكلمة، ويقيس كل جرام بدقة كما هو مكتوب تماماً. قد لا تكون النتيجة طبقاً "مبتكراً" جديداً، ولكنها مضمونة لتكون تماماً كما أرادت الوصفة. في المجالات عالية المخاطر مثل الطب، كونك "دقيقاً جداً" أهم بكثير من كونك "مبدعاً".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.