🤖 AI

Empirical Analysis and Detection of Hallucinations in LLM-Generated Bug Report Summaries

تتناول هذه الورقة البحثية القضية الحرجة المتمثلة في الهلوسة في ملخصات تقارير الأخطاء البرمجية الناتجة عن النماذج اللغوية الكبيرة (LLMs) من خلال تقديم إطار عمل للكشف القائم على الأقسام ومعيار مرجعي اصطناعي مشتق من مجموعة بيانات BugsRepo، محققةً أداءً قويًا في تحديد وتحديد موقع وتصنيف المحتوى المهلوس لتحسين موثوقية أدوات صيانة البرمجيات المؤتمتة.

المؤلفون الأصليون: Hinduja Nirujan, Shreyas Patil, Abdallah Ayoub, Ahmad Abdel Latif, Gouri Ginde

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hinduja Nirujan, Shreyas Patil, Abdallah Ayoub, Ahmad Abdel Latif, Gouri Ginde

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً ذكياً جداً، ولكنه شارد الذهن أحياناً، يدعى "LLM" (نموذج لغوي كبير). مهمتك هي جعل هذا المساعد يقرأ تقارير الأخطاء التقنية الفوضوية التي يكتبها مطورو البرمجيات، ثم يعيد كتابتها في ملخصات مرتبة تتكون من ثلاثة أجزاء: كيفية حدوث الخطأ، وما الذي يسوء بالفعل، وما الذي يجب أن يحدث بدلاً من ذلك.

المشكلة هي أن هذا المساعد "يهلوس" أحياناً. هو لا ينسى تفصيلاً فحسب؛ بل يخترع حقائق لم تكن موجودة في التقرير الأصلي بكل ثقة، تماماً مثل كاتب قصص يخترع خلفية درامية لشخصية لم تحدث أبداً. إذا وثق المطور في هذه القصة المختلقة، فقد يضيع ساعات في البحث عن مشكلة لا وجود لها.

هذه الورقة البحثية هي بمثابة عملية تفتيش لضبط الجودة لهذا المساعد. إليك ما فعله الباحثون، مشروحاً ببساء:

1. اكتشاف "أحلام اليقظة"

أولاً، لعب الباحثون لعبة "رصد الكذبة". أخذوا 80 تقريراً للأخطاء، وطلبوا من الذكاء الاصطناعي تلخيصها، ثم جعلوا بشراً يتحققون من النتائج.

النتيجة: وجدوا أن نصف الملخصات تقريباً كانت تفتقر إلى معلومات رئيسية، وأن حوالي 12% منها احتوت على تفاصيل مختلقة تماماً.
التشبيه: الأمر يشبه أن تطلب من دليل سياحي وصف متحف، فيقوم بثقة بوصف معرض للديناصورات غير موجود أصلاً، بينما يتجاهل لوحة شهيرة كنت تريد رؤيتها بالفعل.

2. لماذا يتوه الذكاء الاصطناعي؟ (اختبار "تسليط الضوء")

أراد الباحثون معرفة لماذا يرتكب الذكاء الاصطناعي هذه الأخطاء. لقد نظروا في كيفية "انتباه" الذكاء الاصطناعي (نموذج المحولات - Transformer) لأجزاء مختلفة من النص.

النتيجة: يضع الذكاء الاصطناعي "تسليط ضوء" ساطعاً على السلوك المتوقع (ما يجب أن يحدث) وضوءاً أخفت على خطوات إعادة الإنتاج (كيفية حدوث الخطأ).
التشبيه: تخيل طالباً يدون ملاحظاته في الفصل. هو يركز بشدة على استنتاج المعلم (السلوك المتوقع) لكنه يسرح ذهنه أثناء التعليمات الخطوة بخطوة. ولأن الطالب لا ينتبه للخطوات، فمن المرجح أن يخترع الخطوات لاحقاً. وجد الباحثون أن الأقسام التي يتجاهلها الذكاء الاصطناني أكثر من غيرها هي الأقسام التي يكذب فيها أكثر.

3. بناء "معسكر تدريب الأخبار المزيفة"

بما أنه لم تكن هناك قائمة كبيرة من "أكاذيب الذكاء الاصطناعي" لدراستها، اضطر الباحثون لبناء قائمتهم الخاصة.

العملية: أخذوا تقارير أخطاء حقيقية واستخدموا برنامج كمبيوتر لحقن الأكاذيب فيها بشكل متعمد. لقد أنشأوا ثلاثة أنواع من الأكاذب:
1. الإضافة: اختراع خطوة لم تكن موجودة.
2. الحذف: حذف خطوة حاسمة.
3. إعادة الترتيب: خلط تسلسل الأحداث.
الفلتر (المصفاة): قبل استخدام هذه التقارير "المزيفة" لتدريب جهاز كشف، كان عليهم التأكد من أن الذكاء الاصطناعي لم يفسد التقارير الحقيقية بالخطأ أثناء تحويلها. استخدموا نظام تسجيل خاص (يسمى PARENT) ليعمل كمحرر صارم، يستبعد أي ملخصات لا تلتزم بدقة بالحقائق الأصلية.

4. نموذج "المحقق الخارق"

بدلاً من مجرد سؤال الذكاء الاصطناعي: "هل هذا الملخص حقيقي أم كاذب؟" (سؤال بسيط بنعم أو لا)، قام الباحثون ببناء "محقق خارق" أكثر ذكاءً.

كيف يعمل: يتم تدريب هذا المحقق للقيام بثلاث مهام في آن واحد:
1. التنبيه: "مهلاً، هذا الملخص يحتوي على كذبة!"
2. التحديد: "الكذبة موجودة في قسم 'خطوات إعادة الإنتاج'."
3. التصنيف: "الكذبة هي 'اختراع' (إضافة) أو 'قطعة مفقودة' (حذف)."
النتيجة: اختبروا هذا المحقق على عدة نماذج للذكاء الاصطناعي. وكان الأفضل بينهم (نموذج متوسط الحجم يسمى Ministral-3B) بارعاً جداً في مهمته. فقد استطاع رصد الأكاذب، وتحديد مكانها بالضبط، وتصنيف نوع الكذبة بدقة تصل إلى 89%.

5. أين لا يزال المحقق يعاني؟

حتى أفضل المحققين لديهم نقاط ضعف. وجد الباحثون أن أصعب الأكاذب التي يمكن كشفها هي عمليات الحذف (عندما يحذف الذكاء الاصطناعي معلومات).

التشبيه: من السهل كشف شخص يضيف مكوناً مزيفاً إلى وصفة طعام. لكن من الصعب جداً كشف شخص يترك مكوناً حاسماً لأن الطبق لا يزال يبدو كالطبق، ولكنه فقط مختلف قليلاً. غالباً ما يغفل الذكاء الاصطناعي عندما تختفي تفاصيل التقرير الأصلي ببساطة.

الخلاصة

تثبت هذه الورقة أننا لا يمكننا الوثوق بملخصات الذكاء الاصطناعي بشكل أعمى. ومع ذلك، من خلال تعليم الذكاء الاصطناعي الانتباه إلى هيكل المستند (معرفة أن "الخطوات" تختلف عن "النتائج") وتدريبه على رصد أنواع محددة من الأكاذيب، يمكننا بناء أدوات أكثر موثوقية. توفر هذه الدراسة مخططاً لبناء "جهاز كشف كذب" لا يكتفي بالقول "هذا خطأ"، بل يخبرك بالضبط أين وكيف أخطأ، مما يجعل تطوير البرمجيات أكثر أماناً وكفاءة.

ملخص تقني: تحليل تجريبي وكشف الهلوسة في ملخصات تقارير الأخطاء البرمجية المولدة بواسطة النماذج اللغوية الكبيرة (LLMs)

بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد لتوليد ملخصات مهيكلة لتقارير الأخطاء البرمجية، وتحديداً استخراج أقسام مثل: خطوات إعادة الإنتاج (S2R)، السلوك الفعلي (AB)، والسلوك المتوقع (EB). ومع ذلك، غالباً ما تنتج هذه النماذج "هلوسات" — وهي محتوى يبدو منطقياً ولكنه غير مدعوم حقائقياً. تعتمد طرق كشف الهلوسة الحالية عادةً على تقييم المخرجات على مستوى الاستجابة الكاملة، حيث تُعامل الهلوسة كفئة خطأ أحادية النوع. يفشل هذا النهج في مراعاة الخصائص الهيكلية للوثائق التقنية، حيث تلعب الأقسام المختلفة (مثل الخطوات الإجرائية مقابل السلوكيات التقريرية) أدواراً دلالية متميزة. وبناءً على ذلك، تغفل الطرق الحالية كيفية تباين أنماط الهلوسة عبر الأقسام، ولا توفر رؤى دقيقة حول موقع أو نوع الأخطاء الواقعية، مما يحد من فائدتها في سير عمل هندسة البرمجيات (SE) الحرجة.

المنهجية

يقترح المؤلفون إطار عمل لكشف الهلوسة المدرك للأقسام (section-aware)، تم التحقق من صحته من خلال منهجية ثلاثية المراحل باستخدام مجموعة بيانات BugsRepo (المستمدة من مشاريع Mozilla مفتوحة المصدر).

1. التحليل الاستكشافي ونمذجة الانتباه

الملاحظة التجريبية: كشفت دراسة أولية على 80 ملخصاً مولداً بواسطة LLM أن حوالي 47.9% احتوت على معلومات مفقودة و12.3% تضمنت محتوى مفبركاً.
تحليل الانتباه: حلل المؤلفون كيفية توزيع نماذج الـ transformer (مثل BERT، RoBERTa، SciBERT، DeBERTa، DistilBERT) للانتباه عبر أقسام S2R وAB وEB. ووجدوا أن السلوك المتوقع (EB) يتلقى أعلى قدر من الانتباه، بينما يتلقى خطوات إعادة الإنتاج (S2R) أدنى قدر، مما يشير إلى أن S2R أكثر عرضة للهلوسة بسبب عدم الاستفادة الكافية من المعلومات الإجرائية.

2. بناء مجموعة بيانات اصطناعية

نظراً لعدم وجود معايير مرجعية (benchmarks) حالية للهلوسة المدركة للأقسام، قام المؤلفون ببناء مجموعة بيانات اصطناعية:

التحويل من المهيكل إلى غير المهيكل: تم تحويل تقارير الأخطاء المهيكلة إلى سرديات غير مهيكلة باستخدام نموذج Mistral-7B.
تصفية الجودة: استُخدم مقياس PARENT معدل (تحديداً PARENTtable)، الذي يعطي الأولوية للمطابقة مع الجدول المصدر بدلاً من النص المرجعي، لتصفية التحويلات منخفضة الجودة. ضمن ذلك أن بيانات التدريب حافظت بأمانة على المعلومات المهيكلة.
حقن الهلوسة: قام مسار عمل محكوم بحقن هلوسات اصطناعية في أقسام محددة. تم تصنيف الهلوسات إلى ثلاثة أنواع: الإضافة (محتوى مفبرك)، الحذف (معلومات مفقودة)، وإعادة الترتيب (تغييرات هيكلية).

3. نموذج الكشف المدرك للأقسام

اقترح المؤلفون نهج تعلم متعدد المهام مبني على مشفر transformer مدرب مسبقاً مع ضبط دقيق فعال للمعلمات (LoRA). يقوم النموذج بعدة مهام في آن واحد:

الكشف على مستوى التقرير: تصنيف ثنائي لما إذا كان الملخص يحتوي على هلوسات أم لا.
التحديد على مستوى القسم: تحديد القسم المحدد (S2R أو AB أو EB) المتأثر.
تصنيف النوع: تصنيف نوع الهلوسة (إضافة، حذف، إعادة ترتيب).

يتم تدريب النموذج باستخدام دالة خسارة مشتركة: $L = L_{report} + \lambda_s L_{section} + \lambda_t L_{type}$ .

المساهمات الرئيسية

إطار عمل مدرك للأقسام: نهج مبتكر يعمل صراحةً على نمذجة الأدوار الدلالية لـ S2R وAB وEB للقيام بالكشف عن الهلوسة، وتحديد الأقسام المتأثرة، وتصنيف أنواع الأخطاء بشكل مشترك، متجاوزاً بذلك الكشف أحادي النوع.
معيار مرجعي اصطناعي: تطوير مسار عمل لتحويل تقارير الأخطاء المهيكلة إلى سرديات غير مهيكلة وحقن هلوسات محكومة، مما يخلق معياراً متاحاً للجمهور لأبحاث الهلوسة على مستوى القسم.
رؤى تجريبية: تقديم أدلة تثبت أن حساسية الهلوسة ترتبط بتخصيص الانتباه (على سبيل المثال، S2R أكثر عرضة للخطر) وأن هلوسات النوع "الحذف" أصعب بكثير في الكشف عنها من "الإضافة".

النتائج

أُجريت التجارب على أربعة نماذج مدربة مسبقاً (Mini-LLaMA-1B، Ministral-3B، Mistral-7B، LLaMA-8B) باستخدام مجموعة البيانات الاصطناعية المنشأة.

الأداء: تفوقت النماذج التي تم ضبطها بدقة بشكل كبير على النماذج المرجعية (baselines) التي استخدمت Zero-shot وFew-shot وChain-of-Thought (CoT).
- حقق أفضل نموذج أداءً، وهو Ministral-3B، درجة 0.891 Macro-F1 للكشف على مستوى التقرير، و0.829 Macro-F1 للتحديد على مستوى القسم، و0.836 Macro-F1 لتصنيف نوع الهلوسة.
- أظهرت نماذج Mistral-7B وLLaMA-8B أداءً مماثلاً، بينما أظهرت النماذج الأصغر (Mini-LLaMA) أداءً أقل، مما يشير إلى الحاجة إلى قدرة تمثيلية كافية.
التحديد على مستوى القسم: حقق النموذج أعلى دقة (Precision) لقسم S2R (F1=0.891) ولكن استدعاءً (Recall) أقل لقسمي AB وEB. يشير هذا إلى أن النموذج متحفظ في وسم هلوسات AB/EB، وغالباً ما يخطئ في رصد أخطاء الحذف في هذه الأقسام.
تصنيف النوع: أدى النموذج أداءً جيداً في هلوسات الإضافة (F1=0.976) وإعادة الترتيب (F1=0.924). كانت هلوسات الحذف هي الأكثر صعوبة (F1=0.525)، ويرجع ذلك أساساً إلى أن اكتشاف المعلومات المفقودة يتطلب تحديد غياب البيانات المصدر بدلاً من رصد نص غير مدعوم.
تحليل الخطأ: كشف التحليل النوعي لـ 163 تنبؤاً خاطئاً أن 44.8% من الأخطاء كانت بسبب "معلومات مفقودة أو ضمنية يصعب ملاحظتها"، خاصة في حالات الحذف ضمن أقسام AB وEB.

الأهمية والادعاءات

يزعم البحث أن دمج هيكل المستند في تحليل الهلوسة أمر بالغ الأهمية لتحسين موثوقية تلخيص تقارير الأخطاء بمساعدة LLM. ومن خلال الانتقال من الرؤية الأحادية إلى منظور مدرك للأقسام، يوفر النهج المقترح ما يلي:

تشخيصات دقيقة: القدرة على تحديد أين (أي قسم) ونوع الخطأ الذي حدث بدقة، بدلاً من مجرد وسم الملخص بأنه "مهلوس".
كفاءة الموارد: تشير نتيجة أن نموذجاً متوسط الحجم (Ministral-3B) يمكنه تحقيق أداء قوي إلى أن الكشف عالي الجودة عن الهلوسة لا يتطلب بالضرورة موارد حوسبة ضخمة.
أساس للتخفيف من حدة الأخطاء: إن فهم أن الأقسام المختلفة لها ملفات تعريف تعرض مختلفة (مثل S2R مقابل EB) يسمح بتطوير استراتيجيات كشف وتخفيف مستهدفة في سير عمل صيانة البرمجيات.

يتحلى المؤلفون بالتواضع بشأن ادعاءاتهم، حيث أقروا بأن مجموعة البيانات الاصطناعية الخاصة بهم تعمل كوكيل تشغيلي (operational proxy)، وأن هناك حاجة لعمل مستقبلي للتحقق من هذه النتائج على مجموعات بيانات واقعية تم ترميزها يدوياً وعبر أنظمة تتبع أخطاء مؤسسية متنوعة.