Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs
تقدم هذه الورقة البحثية Halluverse-M^3، وهي مجموعة بيانات مرجعية متعددة اللغات والمهام تغطي الإنجليزية والعربية والهندية والتركية، تعمل على تقييم والتمييز بشكل منهجي بين الهلوسة على مستوى الكيان والعلاقة والجملة في النماذج اللغوية الكبيرة، مما يكشف عن فجوات أداء كبيرة عبر اللغات والمهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مجموعة من الروبوتات الذكية جداً والمثقفة (نماذج اللغات الكبيرة) التي يمكنها كتابة القصص، والإجابة على الأسئلة، وتلخيص المحادثات بلغات عديدة ومختلفة. هذه الروبوتات مذهلة، لكن لديها عادة غريبة: أحياناً، تقوم بتأليف أشياء من خيالها بكل ثقة. قد تخترع شخصاً وهمياً، أو تخلط بين من فعل ماذا، أو تضيف حدثاً جديداً تماماً لم يحدث أبداً. في عالم التكنولوجيا، نسمي هذا "الهلوسة" (Hallucination).
تقدم الورقة البحثية التي قدمتها أداة جديدة تسمى HalluVerse-M3. فكر في هذه الأداة كأنها لعبة "أوجد الفروق" ضخمة ومتعددة اللغات، مصممة خصيصاً لاختبار مدى جودة هذه الروبوتات في كشف أكاذيبها الخاصة.
إليك تفصيل لما قام به الباحثون وما وجدوه، باستخدام تشبيهات بسيطة:
1. المشكلة: "الكاذب الواثق"
في السابق، كان الباحثون يختبرون هذه الروبوتات غالباً باللغة الإنجليزية فقط، وكانوا يكتفون بسؤالها أسئلة بسيطة بنعم أو لا، أو ينظرون فقط فيما إذا كانت القصة بأكملها صحيحة أم خاطئة. كان الأمر يشبه اختبار طاهٍ في كيفية تقطيع البصل فقط، دون سؤاله أبداً عن كيفية خبز كعكة. لم نكن نعرف ما إذا كان بإمكانهم التعامل مع مهام معقدة أو ما إذا كانوا سيكذبون بشكل مختلف في لغات أخرى مثل العربية أو الهندية أو التركية.
2. الحل: HalluVerse-M3 (مجموعة بيانات "كاشف الكذب")
قام المؤلفون ببناء مجموعة بيانات ضخمة (مجموعة من حالات الاختبار) لإصلاح ذلك.
- أربع لغات: اختبروا الروبوتات في الإنجليزية، والعربية، والهندية، والتركية.
- مهمتان: لم يكتفوا بطرح الأسئلة فحسب؛ بل طلبوا أيضاً من الروبوتات تلخيص محادثات طويلة (مثل تدوين الملاحظات في اجتماع).
- ثلاثة أنواع من الأكاذيب: لم يكتفوا بالقول "هذا كذب"، بل صنفوا الأكاذب إلى ثلاث فئات محددة:
- الاسم الخطأ (الكيان - Entity): يقول الروبوت "إيلون ماسك اشترى تويتر" بينما كان في الواقع "جاك دورسي". (الشخص خطأ).
- الارتباط الخطأ (العلاقة - Relation): يقول الروبوت "إيلون ماسك اخترع تويتر" بينما هو في الحقيقة "اشتراه". (الفعل خطأ).
- القصة المختلقة (الجملة - Sentence): يضيف الروبوت فقرة كاملة جديدة عن فوز إيلون ماسك بجائزة نوبل، وهو أمر لم يحدث أبداً. (الفكرة بأكملها مزيفة).
كيف صنعوها: أخذوا إجابات حقيقية وصحيحة واستخدموا جهاز كمبيوتر لاستبدال اسم، أو تغيير فعل، أو إضافة جملة مزيفة بعناية، ثم قام خبراء بشريون حقيقيون بمراجعة العمل للتأكد من أن "الأكاذيب" واضحة وأن "الحقيقة" متينة.
3. الاختبار: وضع الروبوتات في العمل
أخذ الباحثون مجموعة من أذكى الروبوتات المتاحة (سواء المجانية مفتوحة المصدر أو الغالية والخاصة مثل GPT-4) وطلبوا منهم النظر في زوج من النصوص: الحقيقة الأصلية والنسخة "المهلوسة". كان على الروبوتات تحديد: "أي نوع من الأكذايب هذا؟"
4. النتائج: ما نجحت فيه الروبوتات (وما أخفقت فيه)
كانت النتائج بمثابة تقرير درجات للروبوتات:
- المهمة الأسهل: الإجابة على الأسئلة. عندما كانت الروبوتات تجيب فقط على سؤال محدد، كانت جيدة جداً في اكتشاف الأكاذيب. الأمر يشبه العثور على خطأ مطبعي في رسالة نصية قصيرة.
- المهمة الأصعب: تلخيص المحادثات. عندما كان على الروبوتات تلخيص دردشة طويلة، واجهوا صعوبة أكبر بكثير. الأمر يشبه محاولة العثور على مكون خاطئ واحد في حساء معقد؛ حيث تختبئ الأكاذيب وسط الجمل الطويلة.
- الكذبة الأصعب: الهلوسة على مستوى الجملة. حتى أذكى الروبوتات واجهت مشكلة في اكتشاف متى تمت إضافة قصة كاملة جديدة ومزيفة. كان بإمكانهم بسهولة اكتشاف اسم خاطئ، لكن اختلاق حدث مزيف يبدو منطقياً كان أمراً صعباً للغاية عليهم اكتشافه.
- الفجوة اللغوية: كانت الروبوتات في أفضل حالاتها مع الإنجليزية (لغتها "الأم"). وأصبح أداؤها يسوء كلما أصبحت اللغات أصعب أو كانت موارد تدريبها أقل. كانت الهندية هي الأصعب بالنسبة لهم؛ حيث ارتكبوا أكبر عدد من الأخطاء في اكتشاف الأكاذيب باللغة الهندية.
- المفتوح مقابل المغلق: الروبوتات الخاصة فائقة التكلفة (مثل GPT-4) كانت بشكل عام أفضل من الروبوتات المجانية مفتوحة المصدر، لكن الفجوة لم تكن كبيرة في الأسئلة البسيطة. ومع ذلك، في عملية التلخيص، تفوقت الروبوتات الغالية بشكل ملحوظ.
5. لماذا هذا مهم
تخلص الورقة البحثية إلى أنه بينما تصبح هذه الروبوتات أكثر ذكاءً، إلا أنها لا تزال غير مثالية في اكتشاف أخطائها الدقيقة، خاصة عند تلخيص معلومات معقدة أو التحدث بلغات غير الإنجليزية.
HalluVerse-M3 هو الآن أداة عامة يمكن للباحثين الآخرين استخدامها لبناء "كاشفات كذب" أفضل للذكاء الاصطناعي. إنه بمثابة صالة ألعاب رياضية واقعية وتحدي حيث يمكن لهذه الروبوتات التدرب على التوقف عن تأليف الحقائق، لضمان أنها عندما تتحدث إلينا، فإنها تقول الحقيقة.
باختختصار: أظهر المؤلفون أنهم بنوا لعبة "أوجد الزيف" متعددة اللغات لتوضيح أن الذكاء الاصطناعي بارع في اكتشاف الأخطاء البسيطة، لكنه لا يزال يعاني في كشف الأكاذيب المعقدة، خاصة في الملخصات واللغات غير الإنجليزية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.