💬 NLP

BenHalluEval: A Multi-Task Hallucination Evaluation Framework for Large Language Models on Bengali

تقدم هذه الورقة BenHalluEval، وهو أول إطار تقييم شامل للهلوسة للنماذج اللغوية الكبيرة باللغة البنغالية، والذي يستخدم بروتوكولاً ثنائي المسار ومقياس معايرة جديداً لتقييم الأداء عبر أربع مهام والكشف عن تباينات كبيرة في قدرات اكتشاف الهلوسة.

المؤلفون الأصليون: Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Shefayat E Shams Adib, Ahmed Alfey Sani, Ekramul Alam Esham, Ajwad Abrar, Ishmam Tashdeed, Md Taukir Azam Chowdhury

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوتًا ذكيًا جدًا ومتعدد اللغات يمكنه التحدث باللغة البنغالية. تسأله أسئلة، أو تطلب منه تلخيص أخبار، أو حل مسائل رياضية. في بعض الأحيان، يكون هذا الروبوت عبقريًا. وفي أحيان أخرى، يختلق الأمور بثقة تامة — مثل قوله إن والدة مؤلف مشهور كان اسمها "كاثلين"، بينما اسمها الحقيقي هو "آن". في عالم الذكاء الاصطنا�ي، نسمي هذه الأكاذيب الواثقة "الهلوسة" (Hallucinations).

حتى الآن، لم يقم أحد ببناء "جهاز كشف كذب" حقيقي مخصص للغة البنغالية تحديدًا. قرر مؤلفو هذه الورقة البحثية، BenHalluEval، إصلاح ذلك. وإليك كيف فعلوا ذلك، مشروحًا ببساًطة:

١. المشكلة الكبرى: "الكذبة الصامتة"

معظم اختبارات الذكاء الاصطناعي تتحقق فقط مما إذا كان الروبوت قد حصل على الإجابة الصحيحة. ولكن ماذا لو حصل الروبوت على الإجابة الصحيحة عن طريق الصدفة، أو كذب بسلاسة لدرجة أنك لا تلاحظ ذلك؟

التشبيه: تخيل طالبًا يؤدي امتحانًا. إذا تحققت فقط من الدرجة النهائية، فقد تغفل عن حقيقة أنه غش في نصف الأسئلة. أنت بحاجة إلى التحقق من كيفية إجابته، وليس فقط ماذا أجاب.

٢. الحل: اختبار "المسارين"

بنى الباحثون امتحانًا خاصًا بمسارين منفصلين (مسارات) لاكتشاف أنواع مختلفة من الأخطاء:

المسار (أ) (فحص الحقيقة): أعطوا الروبوت أسئلة ذات إجابات صحيحة. أرادوا معرفة ما إذا كان الروبوت سيتهم إجابة صحيحة زيفًا بأنها كذبة. (هل صرخ محذرًا من وجود ذئب بينما لم يكن هناك ذئب؟)
المسار (ب) (كاشف الكذب): أعطوا الروبوت أسئلة ذات إجابات مزيفة ومختلقة. أرادوا معرفة ما إذا كان الروبوت يستطيع رصد الكذبة. (هل أمسك بالذئب؟)

الدرجة (BenHalluScore):
أنشأوا درجة جديدة تسمى BenHalluScore. فكر فيها كأنها "مقياس الثقة".

إذا قال الروبوت "نعم، هذه كذبة!" لكل شيء، فإنه سيمسك بكل الإجابات المزيفة ولكنه سيتهم أيضًا كل الإجابات الحقيقية بالزيف.
إذا قال "لا، هذا جيد" لكل شيء، فإنه سيفشل في رصد جميع الأكاذب ولكنه لن يتهم الحقيقة أبدًا.
الهدف: يحتاج الروبوت المثالي إلى أن يكون ذكيًا بما يكفي لرصد الأكاذب دون اتهام الحقيقة بالزيف. كلما انخفضت الدرجة، كان الروبوت أفضل في التمييز بين الحقيقة والخيال.

٣. كيف بنوا الامتحان

لم يكتفوا بكتابة الأسئلة؛ بل بنوا مصنعًا ضخمًا لإنشاء إجابات "مزيفة".

المصنع: استخدموا ذكاءً اصطناعيًا فائق القدرة (GPT-5.4) لإنشاء ١٢,٠٠٠ إجابة مزيفة عبر أربعة مهام مختلفة:
1. الإجابة على الأسئلة: (مثل: "من هو العمدة؟")
2. الأسئلة المختلطة برمجياً (Code-Mixed): (خلط البنغالية والإنجليزية، كما يفعل الناس عند المراسلة عبر وسائل التواصل الاجتماعي: "Kothay jabe?" بدلاً من "কোথায় যাবে?")
3. التلخيص: (اختصار مقال طويل إلى فقرة قصيرة).
4. الاستنتاج المنطقي: (حل المسائل الرياضية خطوة بخطوة).
أنواع الأكاذب: جعلوا الذكاء الاصطناعي يكذب بطرق محددة، مثل تغيير تاريخ، أو اختراع اسم شخص، أو ارتكاب خطأ في الرياضيات.

٤. النتائج: من اجتاز الاختبار؟

اختبروا ٧ روبوتات ذكاء اصطناعي مختلفة (بعضها ضخم وعام، وبعضها أصغر ومتخصص في البنغالية).

الفائز: روبوت صغير متخصص يُدعى TigerLLM-9B (بُني خصيصًا للغة البنغالية) حقق أداءً جيدًا بشكل مفاجئ، متفوقًا على روبوتات أكبر بكثير وعامة. الأمر يشبه دليلًا محليًا يعرف المدينة بشكل أفضل من نظام GPS ضخم وغالي الثمن يحاول معرفة العالم كله.
الخاسرون: بعض الروبوتات الشهيرة والكبيرة فشلت فشلاً ذريعًا. أحد الروبوتات (Mistral-nemo) كان مرتبكًا للغاية لدرجة أنه اتهم كل إجابة صحيحة بأنها كذبة. وروبوت آخر (LLaMA) كان كسولًا جدًا لدرجة أنه قال إن لا شيء هو كذبة، حتى عندما كان الأمر واضحًا.
مفاجأة النص: عندما كُتبت الأسئلة بـ "البانغليش" (البنغالية المكتوبة بأحرف إنجليزية)، أدى بعض الروبوتات أداءً أفضل مما فعلت عندما كانت الأسئلة بالخط البنغالي القياسي. الأمر يشبه شعور بعض الروبوتات براحة أكبر في قراءة رسالة نصية مقارنة برسالة رسمية.

٥. خدعة "التفكير بصوت عالٍ" لم تنجح دائمًا

غالبًا ما يطلب الناس من الذكاء الاصطناعي "التفكير خطوة بخطوة" (Chain-of-Thought) لمنعه من الكذب. حاول الباحثون استخدام هذه الخدعة.

النتيجة: لم تنجح باستمرار. أحيانًا ساعدت، ولكن في كثير من الأحيان جعلت الروبوت يغير رأيه دون أن يتحسن فعليًا في رصد الأكاذب. الأمر يشبه قولك لكاذب "فكر بعمق أكثر"—أحيانًا سيقوم فقط بابتكار كذبة أفضل، وليس الحقيقة.

الخلاصة

هذه هي المرة الأولى التي يبني فيها أي شخص "جهاز كشف كذب" مخصص للغة البنغالية. وقد وجدوا أن:
١. الحجم ليس كل شيء: يمكن لروبوت أصغر يركز على البنغالية أن يكون أكثر موثوقية من روبوت ضخم وعام.
٢. الاختبارات أحادية الجانب خطيرة: إذا اختبرت فقط قدرة الروبوت على إيجاد الأكاذب، فقد تغفل عن حقيقة أنه يكره الحقيقة أيضًا. يجب عليك اختبار كليهما.
٣. اللغات ذات الموارد المحدودة تحتاج إلى اهتمام: مجرد كون اللغة تمتلك موارد رقمية أقل لا يعني أننا لا نستطيع بناء أدوات أفضل لها.

لقد أتاح المؤلفون "أسئلة الامتحان" و"الإجابات المزيفة" ليستخدمها الجميع، حتى نتمكن من الاستمرار في اختبار وتحسين هذه الروبوتات للتأكد من أنها تقول الحقيقة باللغة البنغالية.

ملخص تقني: BenHalluEval

بيان المشكلة

على الرغم من أن اللغة البنغالية هي سادس أكثر اللغات تحدثاً في العالم، إلا أنه لم يكن هناك تقييم منهجي للهلوسة في النماذج اللغوية الكبيرة (LLMs) لهذه اللغة. تركز المعايير الحالية للكشف عن الهلوسة (مثل TruthfulQA وFActScore وHaluEval) بشكل أساسي على اللغة الإنجليزية أو اللغات الأخرى ذات الموارد العالية مثل العربية والهندية. علاوة على ذلك، غالباً ما تعتمد طرق التقييم الحالية على بروتوكولات أحادية المسار تختبر فقط المرشحين المهلوسين، مما يؤدي إلى عدم مراعاة النماذج التي قد تظهر تحيزات استجابة موحدة (مثل التنبؤ دائماً بـ "هلوسة" أو "لا توجد هلوسة"). بالإضافة إلى ذلك، فإن السلوك المحدد للنماذج اللغوية الكبيرة في المدخلات المختلطة بين البنغالية والإنجليزية (Code-mixed) — وهو نمط استخدام شائع في التواصل الرقمي البنغالي — لا يزال غير مفحوص.

المنهجية

يقدم المؤلفون BenHalluEval، وهو إطار عمل لتقييم الهلوسة متعدد المهام مصمم خصيصاً للغة البنغالية والمدخلات المختلطة بين البنغالية والإنجليزية. يعمل إطار العمل من خلال خط إنتاج يتكون من ثلاث مراحل:

1. اختيار وتصفية مجموعة البيانات الأولية

يبني إطار العمل معياراً باستخدام أربع مهام متميزة، مستمداً من مجموعات بيانات موجودة مع تطبيق استراتيجيات تصفية محددة لتحديد العينات "الصعبة" المعرضة للهلوسة:

الإجابة على الأسئلة التوليدية (GQA): يستخدم TydiQA-GoldP (بالبنغالية). تم تصفية العينات من خلال توجيه ثلاثة نماذج (Qwen2.5-14B، وGemma-2-9B، وDeepSeek-R1-14B) بدون سياق؛ حيث تم اختيار الحالات التي فشلت فيها النماذج الثلاثة معاً كمجموعة أولية (1,000 عينة).
الأسئلة المختلطة بين البنغالية والإنجليزية: تم تحويل أسئلة GQA الـ 1,000 الأولية إلى لغة مختلطة (بخط لاتيني/روماني) باستخدام GPT-5.4، مع الاحتفاظ بالإجابات البنغالية الأصلية.
التلخيص: يستخدم BanglaCHQ-Summ (1,800 زوج من الاستعلامات الطبية والملخصات). تم تصفية العينات بناءً على انخفاض تشابه BERTScore F1 عند تلخيصها بواسطة ثلاثة نماذج، واختيار الـ 1,000 حالة الأكثر صعوبة.
الاستدلال: يستخدم SOMADHAN (8,792 مسألة رياضية بالبنغالية). تم تصنيف العينات حسب طول سلسلة الاستدلال (500 الأطول و500 الأقصر) لضمان مستويات تنوع في الصعوبة.

2. توليد العينات المهلوسة

باستخدام GPT-5.4، قام المؤلفون بتوليد 12,000 مرشح مهلوس عبر المهام الأربع. استخدمت عملية التوليد تصنيفات خاصة بكل مهمة للهلوسة:

GQA والأسئلة المختلطة (4 أنواع): الواقعية (اختلاق حقائق)، الفهم (سوء فهم القصد)، التحديد (مستوى تفاصيل غير مناسب)، والاستدلال (استنتاجات غير مدعومة).
التلخيص (3 أنواع): المحتوى المختلق، الإضافة غير الواقعية، والتناقض المباشر.
الاستدلال (5 أنواع): الخطأ الحسابي، سوء تطبيق الصيغة، الاستنتاج غير الصحيح، حقيقة وسيطة مهلوسة، والانحراف الدلالي.

3. بروتوكول التقييم ثنائي المسار

لمعالجة قيود التقييم أحادي المسار، يقترح المؤلفون بروتوكولاً ثنائي المسار يتم تقييمه على سبعة نماذج لغوية كبيرة (تشمل فئات موجهة للاستدلال، ومتعددة اللغات، ومركزة على اللغة البنغالية):

المسار أ (Track A): يقدم إجابات صحيحة (الحقيقة الأرضية). الحكم المتوقع هو "لا" (ليست مهلوسة). هذا يقيس معدل الإيجاب الكاذب (False Positive Rate).
المسار ب (Track B): يقدم المرشحين المهلوسين الذين تم توليدهم. الحكم المتوقع هو "نعم". هذا يقيس معدل كشف الهلوسة (Hallucination Detection Rate).

4. درجة بنهالو (BenHalluScore - BHS)

يقدم المؤلفون BenHalluScore، وهو مقياس معايرة مصمم لمعاقبة كلا نمطي الفشل بشكل مشترك (الإيجاب الكاذب على الحقيقة الأرضية، والخطأ في كشف البيانات المهلوسة).
$\text{BenHalluScore} = \frac{1}{2} \left( \frac{W_A}{N_A} + \frac{W_B}{N_B} \right) \times 100\%$
حيث تمثل $W$ الأحكام الخاطئة و $N$ إجمالي الحالات لكل مسار. تشير الدرجة المنخفضة إلى معايرة أفضل؛ بينما تعني درجة 50% سلوكاً عشوائياً أو متحيزاً بشكل موحد.

النتائج الرئيسية

كشف تقييم سبعة نماذج (بما في ذلك DeepSeek-R1-14B، وGPT-4.1 mini، وQwen2.5-32B، وGemma-2-27B، وMistral-nemo-12B، وLLaMA-3.1-8B، وTigerLLM-9B) عن تباينات كبيرة في الأداء:

نطاق الأداء: تراوحت درجات BenHalluScore بين 7.72% (لنموذج Qwen2.5-32B في مهمة التلخيص) و55.42% (لنموذج Mistral-nemo-12B في الأسئلة المختلطة).
تباين المهام: حققت مهام التلخيص عموماً درجات أقل (أفضل) من مهام GQA أو الاستدلال، مما يشير إلى أن الوصول إلى الوثائق المصدرية الكاملة يساعد في الاتساق الواقعي. أظهرت مهام الاستدلال أوسع نطاق في الأداء، مما يشير إلى الصعوبة العالية في كشف هلوسات الاستدلال باللغة البنغالية.
فئات النماذج:
- حقق GPT-4.1 mini أفضل توازن في GQA بنسبة (15.56%)، محافظاً على أخطاء منخفضة في كلا المسارين.
- تفوق TigerLLM-9B (وهو نموذج مخصص للغة البنغالية) بشكل كبير على النماذج متعددة اللغات الأكبر حجماً في مهام GQA والتلخيص، مما يشير إلى أن التدريب المسبق الخاص باللغة هو مؤشر أقوى على المعايرة من عدد المعلمات.
- أظهر Mistral-nemo-12B و LLaMA-3.1-8B تحيزات نظامية شديدة. على سبيل المثال، صنف Mistral-nemo-12B جميع الإجابات الصحيحة تقريباً كهلوسات (87.70% خطأ في المسار أ)، بينما فشل LLaMA-3.1-8B في كشف معظم حالات الهلوسة (81.63% خطأ في المسار ب).
المختلط مقابل النص الأصلي: أدت بعض النماذج متعددة اللغات (Qwen2.5، وGemma-2، وDeepSeek-R1) أداءً أفضل في المدخلات المختلطة بين البنغالية والإنجليزية مقارنة بالنص البنغالي الأصلي، ربما بسبب تمثيلات اللغة الإنجليزية الأكثر قوة. وعلى العكس من ذلك، كان أداء TigerLLM-9B وGPT-4.1 mini أفضل في النص البنغالي الأصلي.
التخفيف (سلسلة الأفك - CoT): لم يؤدِ تطبيق توجيه "سلسلة الأفك" (CoT) إلى تحسين تمييز الهلوسة بشكل ثابت. في حالات عديدة، قام CoT مجرد بنقل تحيز النموذج من "لا" موحدة إلى "نعم" موحدة (أو العكس)، دون تحسين قدرة الكشف فعلياً.

الأهمية والمساهمات

يدعي البحث المساهمات والأهمية التالية:

أول معيار مخصص: يضع BenHalluEval أول معيار مخصص للهلوسة للغة البنغالية، ويغطي كلاً من المدخلات الأصلية والمختلطة.
المعايرة ثنائية المسار: يسلط العمل الضوء على عدم كفاية التقييم أحادي المسار للغات ذات الموارد المنخفضة. ومن خلال تقديم المسار أ والمسار ب، يكشف عن أنماط الفشل (التحيز في الاستجابة الموحدة) التي قد تُحجب لولا ذلك من خلال معدلات الكشف العالية في البيانات المهلوسة وحدها.
التحسين الخاص باللغة: تتحدى النتائج الافتراض القائل بأن زيادة عدد المعلمات تضمن أداءً أفضل في بيئات الموارد المنخفضة، حيث أظهرت النت أن التدريب المسبق المخصص للبنغالية (TigerLLM-9B) يمكن أن يحقق معايرة متفوقة مقارنة بالنماذج متعددة اللغات الأكبر حجماً.
محدودية التوجيه: تقدم الدراسة أدلة تجريبية على أن توجيه CoT ليس استراتيجية تخفيف عالمية للهلوسة في اللغة البنغالية، حيث إنه غالباً ما يغير توزيع التنبؤات دون تحسين قدرات التمييز.

يخلص المؤلفون إلى أن التقييم الموثوق للهلوسة في اللغة البنغالية يتطلب أطر عمل متخصصة وثنائية المسار، وأن استراتيجيات التوجيه الحالية وحدها ليست كافية للتخفيف من الهلوسة في هذا المجال. وقد تم إتاحة مجموعة البيانات والتعليمات البرمجية لتسهيل المزيد من الأبحاث.