KARL: Mitigating Hallucinations in LLMs via Knowledge-Boundary-Aware Reinforcement Learning
يُعدُّ KARL إطار عمل جديدًا للتعلم التعزيزي يعمل على الحد من هلوسة النماذج اللغوية الكبيرة عبر استخدام آلية مكافأة مدركة لحدود المعرفة واستراتيجية تدريب ثنائية المرحلة لمواءمة قدرة النموذج ديناميكيًا على الامتناع عن الإجابة على الأسئلة مع حدود معرفته المتطورة، مما يحسن المقايضة بين الدقة والحذر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم طالباً كيفية خوض امتحان عالي المخاطر، مثل امتحانات البورد الطبي.
حالياً، معظم نماذج الذكاء الاصطناعي تشبه الطلاب الذين يرتعبون من ترك مساحة فارغة في ورقة الإجابة. نظرًا لأنهم تدرّبوا على أن "الإجابات الخاطئة" سيئة، فإنهم يشعرون بأنهم مجبرون على التخمين حتى عندما لا يفقهون شيئاً عن موضوع السؤال. هذا يؤدي إلى "الهلوسة" — حيث يخبرك الطالب بثقة أن دواءً معيناً يعالج مرضاً ما، بينما في الواقع، هو فقط من اختلق الأمر لأنه لم يرد الاعتراف بأنه لا يعرف.
تقدم هذه الورقة KARL، وهي طريقة جديدة لتدريب الذكاء الاصطناعي بحيث يتعلم أهم مهارة لدى العباقرة: معرفة أين تنتهي معرفته بالضبط.
إليك كيف يعمل KARL، مشروحاً من خلال ثلاثة مفاهيم بسيطة:
1. "المعلم الذكي" (المكافأة الواعية بحدود المعرفة)
في التدريب التقليدي، يكون المعلم "ثابتاً". إذا خمن الطالب خطأً، يحصل على علامة حمراء. وإذا قال "لا أعرف"، يحصل أيضاً على علامة حمراء. هذا يجعل الطالب يصاب بالذعر ويخمن أكثر.
يقدم KARL معلماً ذكياً. هذا المعلم يراقب الطالب عن كثب.
- إذا كان الطالب قادراً على معرفة الإجابة (يرى المعلم أنه أجاب عليها بشكل صحيح مرة واحدة على الأقل أثناء الممارسة)، يقول المعلم: "لا تكن خجولاً! إذا كنت تعرفها، فأخبرني. إذا خمنت خطأً أو بقيت صامتاً، فسأعاقبك."
- إذا كان الطالب غارقاً تماماً في منطقة لا يدركها (يرى المعلم أنه يفشل في كل مرة يحاول فيها)، يقول المعلم: "لا بأس بأن تكون صادقاً. إذا قلت 'لا أعرف'، سأعطيك نجمة ذهبية. لكن إذا حاولت التظاهر بالمعرفة، فستتعرض للعقاب."
هذا يعلم الذكاء الاصطناعي التمييز بين "أنا كسول فحسب" وبين "أنا حقاً لا أملك هذه المعلومة في عقلي".
2. "برنامج التدريب ذو الخطوتين" (استراتيجية التعلم المعزز ذات المرحلتين)
إذا حاولت تعليم طالب أن يكون "صادقاً" و"دقيقاً" في نفس الوقت، فغالباً ما يصاب بالارتباك ويقرر أن الطريقة الأكثر أماناً للنجاح هي عدم الإجابة على أي شيء على الإطلاق. وهذا ما يسمى "فخ الامتناع" — حيث يصبح الذكاء الاصطناعي خائفاً جداً من أن يكون مخطئاً لدرجة أنه يصبح صامتاً بشكل غير مفيد.
لتجنب ذلك، يستخدم KARL معسكراً تدريبياً من مرحلتين:
- المرحلة الأولى: بناء الثقة (الاستكشاف). الهدف هنا هو فقط الحصول على الحقائق بشكل صحيح. يركز المعلم بشدة على الدقة. يتم تشجيع الطالب على البحث بعمق في ذاكرته وإيجاد الإجابات الصحيحة. نريد منهم بناء أساس قوي من المعرفة أولاً.
- المرحلة الثانية: معايرة الصدق (المعايرة). بمجرد أن يصبح الطالب ذكياً وواثقاً، نُدخل قاعدة "الصدق". ننظر إلى الأسئلة التي لا يزال يخطئ فيها رغم كل ذلك الدراسة. نقول له: "الآن بعد أن أصبحت ذكياً، إذا كنت لا تزال تعجز عن الإجابة على هذه الأسئلة تحديداً، فتوقف عن التخمين. اعترف بأنك لا تعرف."
3. النتيجة: "الخبير الموثوق"
النتيجة ليست مجرد ذكاء اصطناعي "أقل خطأً". بل هو ذكاء اصطناعي يمتلك توازناً أفضل بكثير.
فكر في الأمر مثل نظام تحديد المواقع (GPS). قد يخبرك نظام GPS سيء: "انعطف يساراً نحو البحيرة" لأنه واثق جداً من نفسه. بينما قد يكون نظام GPS "كسول" يكتفي بقول "لا أعرف" في كل مرة تدخل فيها مدينة جديدة. إن KARL يخلق نظام GPS يخبرك بالضبط أين توجد الطرق، ولكن لديه الحكمة ليقول لك: "لست متأكداً بشأن هذا المنعطف التالي؛ يرجى التحقق من الخريطة".
باختاء: يتوقف KARL عن جعل الذكاء الاصطناعي "يتظاهر بالمعرفة حتى يتقنها"، وبدلاً من ذلك يعلمه "أن يعرف أو يعترف".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.