A multilingual hallucination benchmark: MultiWikiQHalluA
تقدم هذه الورقة البحثية MultiWikiQHalluA، وهو معيار قياسي متعدد اللغات للهلوسة يغطي 306 لغات، وتستخدمه لتوضيح أن معدلات الهلوسة أعلى بكثير في اللغات ذات الموارد المنخفضة والنماذج الأصغر، مع أداء أفضل للنماذج الأكبر عبر اللغات الأوروبية التي تم تقييمها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك روبوتًا ذكيًا جدًا ومتعدد اللغات، يحب قراءة مقالات ويكيبيديا والإجابة على الأسئلة المتعلقة بها. تسأله: "ما هي عاصمة آيسلندا؟" فيجيب: "ريكيافيك". رائع! ولكن في بعض الأحيان، يصبح هذا الروبوت مبدعًا أكثر من اللازم؛ فقد يقول: "ريكيافيك تقع على القمر"، أو "العاصمة هي مدينة تُسمى 'جبل الجليد'". ورغم أن الجملة تبدو سلسة وواثقة، إلا أنها من تأليف الخيال تمامًا. في عالم الذكاء الاصطنا�ي، نسمي هذا "الهلوسة" (Hallucination).
هذه الورقة البحثية تشبه اختبار "كاشف الكذب" الجديد للروبوتات، ولكن بدلًا من التحقق من اللغة الإنجليزية فقط، قام الباحثون ببناء اختبار يعمل لـ 306 لغات مختلفة، بما في ذلك بعض اللغات التي نادراً ما تراها الحواسيب (مثل اللغة الآيسلندية).
إليك قصة كيف فعلوا ذلك، مشروحة ببساًطة:
1. المشكلة: "الكاذب الفصيح"
معظم اختبارات صدق الروبوتات تتحقق من الإنجليزية فقط. الأمر يشبه اختبار رخصة قيادة في مدينة واحدة فقط ثم افتراض أن السائق يمكنه القيادة بأمان في كل مكان آخر. أراد الباحثون معرفة: هل يكذب الروبوت أكثر عندما يتحدث لغات لا يعرفها جيدًا؟
لقد عرّفوا "الهلوسة" تحديدًا بأنها الأمانة (Faithfulness). وهذا يعني: هل التزم الروبوت بالقصة التي أخبرته بها؟
- الروبوت الجيد: يقرأ قصة عن قطة، ثم يقول: "القطة برتقالية اللون".
- الروبوت المهلوس: يقرأ قصة عن قطة، ثم يقول: "القطة هي في الواقع تنين". (يبدو الكلام منطقيًا، لكنه ليس موجودًا في القصة).
2. الحل: إنشاء "مصنع الأخبار المزيفة"
لتعليم كاشف الكذب الخاص بهم، احتاج الباحثون إلى كومة ضخمة من الأمثلة حيث يكذب فيها الروبوت. لكنهم لم يرغبوا في الانتظار حتى يكذب الروبوت بشكل طبيعي؛ فهذا يستغرق وقتًا طويلاً.
لذلك، قاموا ببناء مصنع اصطناعي:
- أخذوا مجموعة بيانات ضخمة من الأسئلة والأجوبة الحقيقية (MultiWikiQA) تغطي 306 لغات.
- استخدموا ذكاءً اصطناعيًا فائق الذكاء (GPT-5) لإعادة كتابة الإجابات الصحيحة عمدًا، بحيث تبدو مقنعة ولكنها خاطئة واقعيًا بناءً على النص المصدر.
- فعلوا ذلك لـ 306 لغة، مما خلق مكتبة ضخمة من "الإجابات المزيفة".
- ثم قاموا بتدريب ذكاء اصطنا-ي أصغر ومتخصص (مُصنف على مستوى الرمز/Token-level classifier) لرصد هذه الأكاذيب. فكر في هذا المُصنف كأنه "مدقق إملائي للحقيقة". فبدلًا من التحقق مما إذا كانت الكلمة مكتوبة بشكل صحيح، فإنه يتحقق مما إذا كانت كلمة معينة في الجملة تنتمي إلى القصة الأصلية أم أنها اختراع من وحي الخيال.
لقد قاموا بتدريب "مدققي الإملاء للحقيقة" هذه لـ 30 لغة أوروبية واختبروها في أربع لغات: الإنجليزية، والألمانية، والدنماركية، والآيسلندية.
3. التجربة: اختبار الروبوتات
أخذ الباحثون خمسة نماذج مختلفة من الذكاء الاصطناٍ (تتراوح من نموذج صغير جدًا إلى نموذج عملاق) وطلبوا منهم الإجابة على أسئلة في تلك اللغات الأربع. ثم مرروا الإجابات عبر "مدقق الإملاء للحقيقة" الجديد الخاص بهم لمعرفة عدد الأكاذيب المخفية في النص.
4. النتائج: الحجم مهم، لكن اللغة أهم
إليكم ما وجدوه، باستخدام بعض التشبيهات البسيطة:
- "الروبوت الصغير" يعاني: كان أصغر نموذج للذكاء الاصطناً (Qwen3-0.6B) هو الأسوأ في الكذب. كان مثل طالب لم يذاكر كفاية ويقوم بالتخمين فقط. في اللغة الآيسلندية، احتوت 60% من إجاباته على كذبة واحدة على الأقل.
- "الروبوتات الكبيرة" أفضل: النماذج الأكبر والأقوى (مثل تلك التي تحتوي على 70 مليار معلمة/Parameter) كانت أفضل بكثير في الالتزام بالحقائق. لقد كانوا بمثابة "طلاب متفوقين" في المجموعة.
- "فجوة اللغة": هذا هو الاكتشاف الأهم. كذب الروبوتات أكثر بكثير في اللغات التي تعرفها بشكل أقل.
- الإنجليزية والألمانية (اللغات التي تعرفها الروبوتات جيدًا جدًا): أكاذيب قليلة جدًا.
- الدنماركية والآيسلندية (اللغات التي تعرفها الروبوتات بشكل أقل): الكثير من الأكاذيب.
- كانت الآيسلندية هي الأصعب. حتى أفضل الروبوتات كذبت هنا أكثر مما فعلت في الإنجليزية. الأمر يشبه طلب طبخة من طباخ لم يرَ طبقًا كهذا من قبل؛ فمن المرجح أن يخمن المكونات بشكل خاطئ.
5. تحول مفاجئ
قد تعتقد: "كلما كبر الروبوت، قل كذبه". لكن الأمر ليس بهذه البساطة. في بعض الأحيان، كان الروبوت متوسط الحجم أفضل من الروبوت العملاق، اعتمادًا على اللغة. وهذا يشير إلى أن كيفية تدريب الروبوت (اللغات التي درسها) لا تقل أهمية عن حجمه.
6. العقبة (مشكلة "الرمز/Token")
لاحظ الباحثون أيضًا ميزة تقنية غريبة. في لغات مثل الآيسلندية، يقوم الكمبيوتر بتقسيم الكلمات إلى قطع صغيرة جدًا (رموز/Tokens) لفهمها. في الإنجليزية، قد يرى الكمبيوتر الكلمة الواحدة كقطعة واحدة. أما في الآيسلندية، فقد تكون نفس الكلمة خمس قطع.
- التشبيه: تخيل أنك تفحص جملة بحثًا عن الأخطاء. إذا فحصتها كلمة بكلمة، فقد تجد خطأ واحدًا. إذا فحصتها حرفًا بحرف، فقد تجد 5 أخطاء لمجرد أن الكلمة أطول.
- يحذر الباحثون من أن "عدد الأكاذيب" لديهم قد يبدو أعلى بالنسبة للغة الآيسلندية جزئيًا لأن الكلمات مقسمة إلى قطع أكثر، مما يعطي الكاشف فرصًا أكثر للعثور على "كذبة"، حتى لو كان المعنى هو نفسه.
الملخص
تقدم هذه الورقة أداة جديدة مفتوحة المصدر يمكنها اكتشاف متى يقوم الذكاء الاصطناعي بتأليف أشياء في 306 لغات. وقد وجدوا أنه بينما تكون النماذج الأكبر أكثر صدقًا بشكل عام، فإن الروبوتات أكثر عرضة للهلوسة في اللغات التي هي أقل دراية بها، مثل الآيسلندية. لقد أتاحوا مجموعات بيانات "الأخبار المزيفة" و"كواشف الحقيقة" الخاصة بهم ليستخدمها أي شخص.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.