A framework for hallucinations explainability in text summarization
تقترح هذه الورقة إطار عمل مبتكر يقدم درجة شدة الهلوسة (HSS) بناءً على عدم الاستقرار الدلالي وتحليل عزو SHAP ضمن مسار SMILE مُحسَّن للكشف عن الهلوسة في تلخيص النصوص القائم على النماذج اللغوية الكبيرة (LLM) وقياسها وتفسيرها بفعالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المشهد المعاصر للذكاء الاصطناعي، أصبحت النماذج اللغوية الكبيرة محركات قوية للكتابة، والإجابة على الأسئلة، وتلخيص المعلومات المعقدة. تم تدريب هذه الأنظمة على كميات هائلة من النصوص، حيث تتعلم التنبؤ بالكلمة التالية في الجملة بطلاقة ملحوظة. ومع ذلك، تأتي هذه الطلاقة مع عيب خفي: فالنماذج أحياناً تخترع حقائق. وفي مجال معالجة اللغات الطبيعية، تُعرف هذه الظاهرة باسم "الهلوسة". وهي تحدث عندما يولد النظام نصاً يبدو واثقاً وسليماً من الناحية النحوية، ولكنه إما مختلق تماماً أو يتناقض مباشرة مع المادة المصدر التي كان من المفترض أن يلخصها. وبينما قد تبدو هذه الأخطاء طفيفة في الدردشة العابرة، إلا أنها تصبح خطيرة في البيئات عالية المخاطر مثل الرعاية الصحية، أو التحليل القانوني، أو البحث العلمي، حيث تكون الدقة أمراً غير قابل للتفاوض. ولم يكن التحدي الجوهري للباحثين يكمن فقط في رصد هذه الأكاذيب، بل في قياس مدى شدتها وفهم سبب حدوثها، والانتقال من مجرد الفحص البسيط لتداخل الكلمات إلى تحقيق أعمق في المنطق الداخلي للنموذج.
لقد طور فريق من الباحثين طريقة جديدة لمعالجة هذه المشكلة، حيث أنشأوا إطار عمل يعمل بمثابة "اختبار جهد" لملخصات الذكاء الاصطناعي. فبدلاً من مجرد السؤال عما إذا كان الملخص صحيحاً من الناحية الواقعية، طرحوا سؤالاً مختلفاً: ما مدى استقرار الملخص عندما يتم تعديل المدخلات بشكل طفيف؟ يعتمد نهجهم على فكرة أن الملخص الموثوق يجب أن ينتج نتيجة متسقة حتى لو تغير النص المصدر بطرق صغيرة وذات معنى. فإذا تغير الملخص بشكل جذري أو بدأ في اختراع تفاصيل جديدة بعد تعديل بسيط، فإن ذلك يشير إلى أن النموذج غير مستقر وعرضة للهلوسة. وقد بنى الباحثون نظاماً يأخذ وثيقة، ويجري عليها تغييرات طفيفة ومسيطر عليها للكلمات دون تغيير المعنى الجوهري، ثم يراقب كيف يتفاعل مخرج الذكاء الاصطناعي. ومن خلال قياس المسافة بين الملخص الأصلي والملخصات الجديدة، يمكنهم حساب درجة محددة تشير إلى مدى خطورة احتمالية الهلوسة.
ولإجراء هذه التجربة، عمل الفريق مع مجموعة مكونة من أربع وثلاثين وثيقة تغطي موضوعات متنوعة، بما في ذلك المقالات الإخبارية، والأوراق العلمية، والنصوص القانونية، ومراجعات المنتجات. واستخدموا نموذج تلخيص متطور لتوليد ملخص أساسي لكل وثيقة. بعد ذلك، أدخلوا سلسلة من "الاضطرابات"، وهي تعديلات متعمدة وصغيرة على النص المصدر. صُممت هذه التغييرات بعناقة لاستبدال الكلمات بمرادفاتها الأقرب مع ضمان بقاء أسماء الأشخاص والأماكن والأرقام المحددة دون مساس للحفاظ على الحقائق. ولكل وثيقة، أنشأوا نسخاً متعددة من النص، كل منها مختلف قليلاً عن الأصل، وطلبوا من الذكاء الاصطناعي تلخيص كل منها. ثم قارن الباحثون الملخصات الناتجة لمعرفة مدى انحرافها عن الأصل. ووجدوا أنه عندما يُجبر الذكاء الاصطناعي على تلخيص نص معدل قليلاً، فإن الملخصات الناتجة عن النماذج المعرضة للهلوسة تنحرف بشكل جامح، بينما تظل النماذج الموثوقة ثابتة.
قام الباحثون بقياس هذا الانحراف باستخدام مفهوم رياضي يقيس الفرق بين مجموعتين من البيانات، وهو ما يعني حساب مدى تباعد معنى الملخصات. واكتشفوا أن مقياس عدم الاستقرار هذا لم يكن مجرد تقلب عشوائي؛ بل كان مرتبطاً ارتباطاً وثيقاً بمدى كذب الذكاء الاصطناعي. ولجعل هذا المقياس مفيداً عبر أنواع مختلفة من الوثائق، قاموا بتطبيع الدرجات، مما خلق درجة شدة نهائية يمكن مقارنتها بإنصاف سواء كان النص عن الطب أو الأفلام. وقد ظهرت النتيجة الأكثر إثارة للدهشة عندما نظروا في كيفية شرح الذكاء الاصطناعي لخياراته. فقد استخدموا تقنية تسلط الضوء على الكلمات الأكثر أهمية في المدخلات لتوليد المخرجات. ووجدوا أنه عندما يهلوس الملخص، فإن أهمية كلمات المدخلات تقفز بشكل غير متوقع. بعبارة أخرى، أصبح المنطق الداخلي للنموذج غير مستقر في اللحظة التي بدأ فيها بالكذب.
كشفت الدراسة عن وجود صلة قوية بين عدم الاستقرار هذا في منطق النموذج وشدة الهلوسات. وعندما قارن الباحثون درجة الشدة الجديدة الخاصة بهم مع الطرق الشائعة الأخرى للتحقق من الأخطاء، وجدوا أن عدم استقرار التفسيرات الداخلية للنموذج كان هو المتنبئ الأكثر موثوقية بحدوث الهلوسة. أما الطرق التقليدية التي تتحقق ببساطة مما إذا كانت الكلمات تتطابق أو إذا كانت الجمل تبدو منطقية، فقد كانت أقل فعالية في كشف هذه الأخطاء العميقة. كما اختبر الفريق طريقتهم عبر مستويات مختلفة من الصعوبة، ووجدوا أنه كلما جعلوا التغييرات في النص أكثر جوهرية، زادت درجة الشدة، مما أثبت أن نظامهم حساس بما يكفي لرصد حتى التحولات الطفيفة في الموثوقية. علاوة على ذلك، تباينت الدرجة بشكل طبيعي عبر المجالات المختلفة؛ حيث أظهرت المجالات المعقدة مثل القانون والعلوم درجات عدم استقرار أعلى من المواضيع الأبسط مثل منشورات وسائل التواصل الاجتماعي، مما يعكس الصعوبة الأكبر والمخاطر الأعلى للخطأ في تلك المجالات.
يوفر هذا العمل عدسة جديدة للنظر في موثوقية الذكاء الاصطناعي. فمن خلال التركيز على كيفية استجابة النموذج للتغييرات الصغيرة بدلاً من مجرد النظر إلى المخرج النهائي، حدد الباحثون إشارة واضحة لمتى يفقد الذكاء الاصطناعي سيطرته على الحقيقة. وتشير الدراسة إلى أن أفضل طريقة للكشف عن الهلوسة ليست في البحث عن الكذبة نفسها، بل في مراقبة "الارتجافات" في منطق النموذج التي تسبقها. وبينما اختبر الباحثون هذا على مجموعة محددة من الوثائق ونوع واحد من نماذج الذكاء الاصطناعي، فإن إطار العمل يقدم مساراً قوياً للمضي قدداً نحو بناء أنظمة يمكن تدقيقها والوثوق بها. إنه ينقل الحوار من مجرد السؤال "هل هذا صحيح؟" إلى "ما مدى تأكدنا من أن هذا صحيح؟"، مما يوفر طريقة كمية لقياس الثقة التي يمكن أن نضعها في النص الذي يتم إنشاؤه آلياً. ومع دمج هذه الأنظمة في حياتنا اليومية، ستكون الأدوات التي يمكنها التمييز بين الملخص المستقر والواقعي وبين الملخص الهش والمختلق ضرورية للحفاظ على نزاهة المعلومات التي نعتمد عليها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.