HalluTruthQA-4K: A Fine-Grained Corpus and Annotation Process for Arabic Hallucination Detection and Truth Verification

تخيل أنك تدردش مع صديق آلي فائق الذكاء، يتحدث العربية بطلاقة مثالية. يمكنه أن يروي لك القصص، ويشرح العلوم المعقدة، ويقتبس من التاريخ القديم بكل ثقة وسلاسة تجعلك لا تشك أبداً في الأمر. لكن هنا تكمن الخدعة: مجرد كون الروبوت يبدو فصيحاً وواثقاً لا يعني بالضرورة أنه يقول الحقيقة. فأحياناً، قد يخلط الروبوت بين التواريخ، أو يخترع شخصية تاريخية وهمية، أو يقتبس نصاً دينياً غير موجود، كل ذلك وهو يبدو مقنعاً تماماً. يُسمى هذا "الهلوسة" (Hallucination). في عالم الذكاء الاصطناي، لا تعني الهلوسة قصة أشباح مخيفة؛ بل هي عندما يقوم نموذج حاسوبي بتأليف حقائق تبدو حقيقية ولكنها خاطئة في الواقع.

لفترة طويلة، كان العلماء الذين يحاولون حل هذه المشكلة يستخدمون أداة بدائية للغاية. كانوا يطرحون على الروبوت سؤالاً، ويقرؤون الإجابة، ثم يكتفون بالقول ببساطة: "نعم، هذه كذبة"، أو "لا، هذا صحيح". كان الأمر يشبه معلماً يصحح اختبار رياضيات باستخدام قلم أحمر فقط يمكنه وسم الصفحة كاملة بأنها خاطئة، دون أن يخبر الطالب أي رقم هو الخطأ أو لماذا. جعل هذا من الصعب تعليم الروبوت كيف يؤدي بشكل أفضل. كنا بحاجة إلى طريقة تتيح لنا التقريب (Zoom in)، والإشارة بدقة إلى الكلمة الخاطئة، وشرح الخطأ، وإظهار الإجابة الصحيحة، كل ذلك في حزمة واحدة.

هنا يأتي دور الباحثين وراء مشروع HalluTruthQA-4K. لقد قرروا بناء ساحة تدريب ضخمة وفائقة التفصيل للنماذج اللغوية العربية. فكر في الأمر كأنها لعبة "أوجد الفروق" عملاقة وتفصيلية، ولكن بدلاً من صورتين، هم يقارنون إجابة الروبوت مقابل حقيقة موثقة. لقد أنشأوا مجموعة بيانات مكونة من 4,000 زوج من الأسئلة والأجوبة تغطي أربعة مواضيع شائكة: المعرفة الإسلامية، والتاريخ، والعلوم، والجغرافيا.

إليكم كيف لعبوا هذه اللعبة:

1. الإعداد: كتب الخبراء 1,000 سؤال لكل موضوع من المواضيع الأربعة.
2. الأداء: طرحوا الأسئلة على نموذج ذكاء اصطناعي محدد يتحدث العربية ليجيب عليها.
3. الفحص: هذا هو الجزء السحري. بدلاً من مجرد قول "خطأ"، تصرف الخبراء كالمحققين. فقد وجدوا 1,643 إجابة تحتوي على أكاذيب أو أخطاء. ومع كل خطأ، لم يكتفوا بوسم الجملة بأكملة، بل حددوا بدقة الحروف (الرموز) الخاطئة.
4. الشرح: كتبوا لماذا كانت الإجابة خاطئة بلغة بسيطة.
5. الاختيار من متعدد: أنشأوا أيضاً اختباراً من نوع الاختيار من متعدد لكل سؤال، يحتوي على إجابة واحدة صحيحة وخمسة "مشتتات" مخادعة (إجابات وهمية تبدو حقيقية) لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي اختيار الحقيقة حتى لو لم يستطع كتابتها بشكل مثالي.

وجد الباحثون أن نماذج الذكاء الاصطنا هذه بارعة بشكل مفاجئ في الظهور بمظهر الذكي، لكنها غالباً ما تفشل في أن تكون دقيقة. في الواقع، حوالي 41% من الإجابات التي ولّدتها احتوت على نوع من الأخطاء الواقعية. لكن الاكتشاف الحقيقي لم يكن فقط في أنها ارتكبت أخطاءً، بل في أين وكيف ارتكبتها.

لقد اكتشفوا أن الأخطاء ليست دائماً أكاذيب كبيرة وواضحة. فأحياناً تكون الإجابة الأساسية صحيحة، لكن الروبوت يخترع مصدراً وهمياً لإثباتها، أو يخطئ في التاريخ بفارق سنوات قليلة. وجدوا أنه في أسئلة المعرفة الإسلامية، غالباً ما أخطأت النماذج في "الأمانة" (faithfulness) في إجاباتها — مما يعني أنها قد تصيب في الحقائق لكنها تقتبس الآية الخطأ أو تنسب القول إلى عالم آخر. وفي العلوم والتاريخ، كانت الأخطاء تتعلق بالحصول على الأرقام أو الأسماء أو التواريخ الفعلية بشكل خاطئ.

تشير الورقة البحثية إلى أنه لإصلاح هذه الروبوتات، لا يمكننا مجرد النظر إلى الدرجة النهائية. نحن بحاجة إلى النظر إلى "النطاقات المهلوسة" (hallucinated spans) المحددة، وهي الأجزاء الصغيرة والدقيقة من النص التي تمثل أكاذيب. أنشأ الفريق "تصنيفاً" (taxonomy) خاصاً (وهي كلمة فخمة لنظام تصنيف) لفرز هذه الأخطاء إلى فئات مثل "التناقض الواقعي" (قول شيء كاذب)، أو "عدم الاتساق السياقي" (استخدام أدلة خاطئة)، أو "التلفيق الواقعي" (اختلاق قصة جديدة تماماً).

من خلال إصدار مجموعة البيانات الضخمة هذه المكونة من 4,000 مثال، والمكتملة بـ 1,843 موضع خطأ محدد بدقة وشروحات مكتوبة بشرياً، يقدم المؤلفون للباحثين مجهراً جديداً عالي القدرة. هم لا يدعون أنهم حلوا مشكلة كذب الذكاء الاصطناعي للأبد، بل إنهم يوفرون الأدوات لقياس كيف و لما تخطئ هذه النماذج بالضبط، حتى نتمكن من بناء نسخ أفضل وأكثر صدقاً في المستقبل. إنه يشبه إعطاء الروبوت مرآة وخريطة لأخطائه الخاصة، مما يسم يسمح له أخيراً بتمييز الفرق بين أن يبدو ذكياً وبين أن يكون مصيباً بالفعل.