🤖 AI

The Chronicles of RiDiC: Generating Datasets with Controlled Popularity Distribution for Long-form Factuality Evaluation

تقدم هذه الورقة RiDiC، وهو مجموعة بيانات متعددة اللغات وقابلة للضبط تضم 3,000 كيان عبر مستويات شعبية متفاوتة، مصممة لتقييم وكشف الهلوسة في توليد الحقائق طويلة التنسيق بواسطة النماذج اللغوية الكبيرة الرائدة.

المؤلفون الأصليون: Pavel Braslavski, Dmitrii Iarosh, Nikita Sushko, Andrey Sakhovskiy, Vasily Konovalov, Elena Tutubalina, Alexander Panchenko

نُشر 2026-04-02

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Pavel Braslavski, Dmitrii Iarosh, Nikita Sushko, Andrey Sakhovskiy, Vasily Konovalov, Elena Tutubalina, Alexander Panchenko

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك أمين مكتبة فائق الذكاء (ذكاء اصطناعي) يمكنه الإجابة على أي سؤال تطرحه. إذا سألته: "من هو رئيس الولايات المتحدة؟" أو "ما هي عاصمة فرنسا؟"، سيجيب أمين المكتبة فوراً وبشكل صحيح. هذه هي الأسئلة "المشهورة"، تلك التي يعرفها الجميع.

ولكن ماذا يحدث إذا سألته: "أخبرني بكل شيء عن نهر ليتل ريفر أوف غلوم في وادٍ ناءٍ في بيرو"، أو "صف الميزات المحددة لطراز سيارة من عام 1998 لم يشترِها سوى 50 شخصاً فقط؟".

هنا تبدأ قصة RIDIC.

المشكلة: انحياز "الشخص المشهور" لدى أمين المكتبة

لاحظ الباحثون وراء هذه الورقة البحثية شيئاً مخادعاً بشأن الذكاء الاصطناعي. عندما يتحدث الذكاء الاصطناعي عن أشياء مشهورة (مثل نهر النيل أو تويوتا كامري)، فإنه عادة ما يكون دقيقاً. ولكن عندما يتحدث عن أشياء غامضة، أو "ذات ذيل طويل" (مثل نهر صغير أو سيارة نادرة)، يبدأ في اختلاق الأمور. إنه يهلوِس. يبدو واثقاً، لكنه يكذب.

معظم الاختبارات للذكاء الاصطناعي تتحقق فقط مما إذا كان يعرف الأشياء المشهورة. الأمر يشبه اختبار طاهٍ فقط على مدى براعته في صنع شطيرة الجبن المشوية؛ لن تعرف أبداً ما إذا كان بإمكانه طهي طبق معقد ونادر حتى تطلب منه ذلك.

الحل: بناء "قائمة شعبية"

أنشأ المؤلفون أداة خاصة (مسار عمل) لبناء ساحة اختبار جديدة تسمى RIDIC. فكر في هذا كـ قائمة طعام مصممة خصيصاً لاختبار معرفة الذكاء الاصطناعي عبر كامل طيف الشعبية.

لم يختاروا أشياء عشوائية، بل اختاروا بعناً 3,000 عنصر من ثلاثة فئات محددة:

الأنهار (طرق الطبيعة السريعة)
الكوارث الطبيعية (نوبات غضب الأرض)
طرازات السيارات (الهندسة البشرية)

لكل فئة، اختاروا عناصر في ثلاث "مستويات" من الشهرة:

الرأس (النجوم): الأشياء المشهورة التي يعرفها الجميع (مثل نهر الأمازون، إعصار كاترينا، هوندا سيفيك).
الجذع (الطبقة المتوسطة): أشياء معروفة بشكل متوسط (مثل نهر معين في ميشيغان، فيضان في إسبانيا، طراز كاديلاك معين).
الذيل (الأشباح): أشياء غامضة للغاية لا يعرفها إلا القليل جداً (مثل جدول مائي صغير في روسيا، انزلاق أرضي ثانوي في عام 1977، سيارة فرنسية نادرة).

قاموا بذلك بلغتين: الإنجليزية والصينية، لمعرفة ما إذا كان الذكاء الاصطناعي سيعاني أكثر في لغة دون الأخرى.

التجربة: وضع الذكاء الاصطناعي تحت الاختبار

بمجرد بناء هذه القائمة، طلبوا من ثلاثة "أمناء مكتبة" مختلفين من الذكاء الاصطناوي (Llama و Qwen و GPT-5) كتابة قصة مفصلة عن كل عنصر في القائمة.

ثم قاموا بدور مدققي الحقائق الصارمين. قارنوا قصص الذكاء الاصطناعي بـ "مصدر الحقيقة" (ويكيبيديا وقواعد البيانات الأخرى). قاموا بتفكيك القصص إلى حقائق صغيرة جداً وتحققوا من كل واحدة: هل هذا حقيقي؟ هل هذا مختلق؟

النتائج: ما اكتشفوه

كانت النتائج بمثابة تقرير درجات للذكاء الاصطناعي، كاشفة عن بعض الدرجات المفاجئة:

فخ "الذيل الطويل": كلما أصبحت العناصر أقل شهرة، ساء أداء الذكاء الاصطناعي. الأمر يشبه طالباً يتفوق في اختبار الرياضيات لكنه يرسب في اختبار التاريخ لأنه درس فقط الفصول التي درسها الجميع. عانى الذكاء الاصطناعي بشكل كبير مع عناصر "الذيل"، حيث كان يخترع الحقائق لملء الفراغ.
فجوة اللغة: كان الذكاء الاصطناعي أكثر دقة في اللغة الإنجليزية مقارنة بالصينية. الأمر كما لو أن أمين المكتبة لديه مكتبة ضخمة ومنظمة جيداً بالإنجليزية، لكن لديه فقط بعض المنشورات المتناثرة والمغبرة بالصينية. عندما حاول الذكاء الاصطناعي الكتابة عن مواضيع صينية غامضة، زادت حالات الهلوسة لديه.
ميزة "الدماغ الكبير": كان أكبر نموذج ذكاء اصطناعي (GPT-5) هو الأكثر دقة، لكن حتى هو لم يكن مثالياً. عانت النماذج الأصغر (Llama و Qwen) بشكل أكبر بكثير مع العناصر النادرة، مما يظهر أن امتلاك "دماغ أكبر" (عدد أكبر من المعلمات/Parameters) يساعد في تذكر الحقائق الغامضة.
اختلاف المجالات: كان الذكاء الاصطناعي جيداً بشكل مفاجئ في التحدث عن السيارات والكوارث، لكنه كان سيئاً جداً في التحدث عن الأنهار. يبدو أن الذكاء الاصطناعي يعرف عن السيارات والعواصف أكثر مما يعرف عن الممرات المائية!

لماذا هذا مهم؟

هذه الورقة البحثية تشبه منح صناعة الذكاء الاصطناعي مرآة من نوع جديد. بدلاً من رؤية كيف يبدو الذكاء الاصطناعي وهو يرتدي قبعة "الأشياء المشهورة"، يمكننا الآن رؤية كيف يبدو عندما يتعامل مع الأشياء الغامضة، والنادرة، والصعبة.

من خلال إصدار مجموعة البيانات هذه والأدوات اللازمة لإنشائها، يقول المؤلفون: "لا تختبروا ذكاءكم الاصطناعي فقط على الأشياء السهلة. إذا كنتم تريدون الوثوق به في مشاكل العالم الحقيقي، عليكم معرفة ما إذا كان بإمكانه التعامل مع الأشياء الغامضة دون اختلاق القصص."

باختصار، RIDIC هو تسليط ضوء على الزوايا المظلمة لمعرفة الذكاء الاصطناعي، لضمان أنه عندما تنطفئ الأضواء وتتلاشى المواضيع المشهورة، لا يبدأ الذكاء الاصطناعي في تأليف القصص في الظلام.

إليك ملخص تقني مفصل لورقة البحث بعنوان "سجلات RIDIC: توليد مجموعات بيانات بتوزيع شعبية متحكم فيه لتقييم الحقيقة في النصوص الطويلة."

1. بيان المشكلة

أصبحت النماذج اللغوية الكبيرة (LLMs) أدوات أساسية لاسترجاع المعلومات، ومع ذلك فهي غالباً ما تنتج هلوسات واقعية (معلومات تبدو منطقية ولكنها غير صحيحة). وبينما توجد اختبارات قياسية للإجابة على الأسئلة (QA) قصيرة الصيغة، إلا أنها تفشل في استيعاب تعقيد التوليد طويل الصيغة، وهو الأكثر شيوعاً في تفاعلات المستخدمين في العالم الحقيقي.

تشمل التحديات الرئيسية التي حددتها الورقة ما يلي:

تحيز الشعبية: تؤدي النماذج اللغوية الكبيرة أداءً أفضل بكثير في الكيانات "الرأسية" (الشعبية) مقارنة بالكيانات "الذيلية" (النادرة/طويلة الذيل)، لكن مجموعات البيانات الحالية تفتقر غالباً إلى توزيعات شعبية متحكم فيها لدراسة هذه الفجوة بشكل منهجي.
الفجوات متعددة اللغات: لا يزال تقييم الحقيقة في اللغات غير الإنجليزية (تحديداً اللغات ذات الموارد المنخفضة أو الأقل موارد) غير مدروس بشكل كافٍ وغير موثوق به غالباً بسبب نقص البيانات المرجعية عالية الجودة.
محدودية التقييم: معظم مجموعات البيانات الحالية ثابتة، أو تعتمد على نظام السؤال والجواب، أو محدودة بمجالات معينة (مثل السير الذاتية)، مما يجعلها غير مناسبة لتقييم الاستجابات السردية الشاملة عبر مجالات وتصنيفات شعبية متنوعة.

2. المنهجية: مسار عمل RIDIC

يقترح المؤلفون مسار عمل قابلاً للضبط ومتعدد اللغات لتوليد مجموعات بيانات بتوزيعات شعبية متحكم فيها للكيانات. تتضمن العملية أربع مراحل:

استخراج الكيانات (Wikidata):
- يتم تحديد الفئات المستهدفة (مثل الأنهار، الكوارث الطبيعية، طرازات السيارات).
- تُستخدم استعلامات SPARQL لاستخراج الكيانات من Wikidata.
- يتم تصفية الكيانات لضمان وجود صفحات ويكيبيديا مقابلة لها في اللغات المستهدفة (الإنجليزية والصينية) وللتأكد من أنها ليست "مسودات" (قصيرة جداً أو غير مكتملة).
حساب مقياس الشعبية:
- يتم استخدام إحصائيات مشاهدات صفحات ويكيبيديا كوسيط للشعبية (تحديداً بيانات عام 2024).
- يتم أيضاً حساب مقاييس بديلة (عدد تعديلات الصفحات، الروابط الواردة، عدد ثلاثيات Wikidata) لتحليل الارتباطات.
- يتم تقسيم الكيانات إلى ثلاثة مستويات بناءً على إجمالي مشاهدات الصفحات: الرأس (أعلى 1/3 من المشاهدات)، الجذع (الأوسط 1/3)، والذيل (الأدنى 1/3).
أخذ العينات الطبقية:
- يقوم مسار العمل بأخذ عينات من الكيانات لتحقيق توزيع محدد عبر مستويات الشعبية والمناطق الجغرافية (أفريقيا، الأمريكتين، آسيا/أستراليا/أوقيانوسيا، أوروبا).
- بناء مجموعة بيانات RIDIC: أنتج المؤلفون مجموعة بيانات تضم 3,000 كيان (1,000 لكل مجال: الأنهار، الكوارث الطبيعية، طرازات السيارات).
- جمع الأدلة: لكل كيان، يقوم مسار العمل بجمع صفحة ويكيبيديا الرئيسية، وأفضل 10 نتائج بحث من ويكيبيديا، والصفحات المرتبطة (تحديداً للكيانات الذيلية) لتعمل كأدلة للحقيقة المرجعية.
التوليد والتقييم:
- التوليد: قامت ثلاثة نماذج لغوية كبيرة (Llama-3-8B، وQwen2.5-7B، وGPT-5) بتوليد استجابات طويلة حول الكيانات بكل من الإنجليزية والصينية.
- التقييم: تم استخدام مسار عمل FActScore معدل:
  - استخراج الحقائق الذرية: تفكيك الاستجابات إلى ادعاءات يمكن التحقق منها.
  - استرجاع الأدلة: مطابقة الحقائق مع أدلة ويكيبيديا التي تم جمعها.
  - التحقق: استخدام نموذج لغوي كبير كـ "حكم" لتصنيف الحقائق كـ "مدعومة" أو "غير مدعومة".
- المقاييس: دقة الحقيقة (نسبة الحقائق المدعومة إلى إجمالي الحقائق) وتحليل الأخطاء (مثل دقة طول النهر).

3. المساهمات الرئيسية

مسار عمل قابل للضبط: إطار عمل مرن لتوليد مجموعات بيانات متعددة اللغات بتوزيعات شعبية متحكم فيها، مما يسمح بالتقييم المنهجي لحقيقة "الذيل الطويل".
مجموعة بيانات RIDIC: معيار جديد يحتوي على 3,000 كيان عبر ثلاثة مجالات متميزة (الأنهار، الكوارث، السيارات) باللغتين الإنجليزية والصينية، مقسمة صراحةً حسب الشعبية والجغرافيا.
التحليل متعدد اللغات وطويل الصيغة: أول دراسة واسعة النط scale تقارن بين الحقيقة طويلة الصيغة في الإنجليزية والصينية، مما يكشف عن فجوات أداء كبيرة وتحديات في التقييم في السياقات غير الإنجليزية.
الموارد المفتوحة: إصدار الأكواد، والبيانات، وسكريبتات التوليد والتقييم لتسهيل إعادة الإنتاج.

4. النتائج الرئيسية

أسفر تقييم النماذج اللغوية الكبيرة على مجموعة بيانات RIDIC عن عدة رؤى حاسمة:

ارتباط الشعبية: ترتبط درجات الحقيقة بقوة بشعبية الكيان.
- الرأس > الجذع > الذيل: أظهرت جميع النماذج انخفاضاً حاداً في الدقة للكيانات الذيلية.
- مقدار الانخفاض: أظهرت النماذج الأصغر (Llama، Qwen) انخفاضاً بنحو ضعفين في الحقيقة من كيانات الرأس إلى كيانات الذيل (على سبيل المثال، Llama الإنجليزية للأنهار: 0.58 $\to$ 0.25). كان GPT-5 أكثر متانة ولكنه أظهر أيضاً انخفاضاً.
التفاوت متعدد اللغات:
- الأداء الصيني: كان أداء جميع النماذج في اللغة الصينية أسوأ بكثير مما هو عليه في الإنجليزية (إجمالي الحقيقة: الإنجليزية 0.31–0.67 مقابل الصينية 0.21–0.42).
- موثوقية التقييم: وُجد أن مسار تقييم FActScore نفسه أقل موثوقية في اللغة الصينية، حيث سجل دقة أقل بنسبة 7.8% مقارنة بالأحكام البشرية، ويرجع ذلك على الأرج Regel إلى ضعف ترتيب الأدلة وتوافر بيانات مرجعية أقل.
حساسية المجال: تباينت الحقيقة باختلاف المجال. حصلت الكوارث والسيارات عموماً على درجات أعلى من الأنهار، مما يشير إلى أن تعقيد المجال يؤثر على معدلات الهلوسة بغض النظر عن حجم النموذج.
التحيز الجغرافي: لم يتم العثق على تحيز قاري واضح، رغم أن الأداء تباين حسب الدولة/المنطقة المحددة.
تأثير الأدلة:
- الإنجليزية: أدى إضافة نتائج البحث والصفحات المرتبطة إلى تحسين الأداء للكيانات الذيلية، ولكنه أدى أحياناً إلى تدهور الأداء للكيانات الرأسية (ربما بسبب الضجيج).
- الصينية: أدت إضافة أدلة إضافية إلى تقليل الأداء عبر جميع المستويات، مما يشير إلى أن آليات الاسترجاع تواجه صعوبة في إيجاد سياق وثيق الصلة في ويكيبيديا الصينية، مما يؤدي لإدخال معلومات مضللة.
التنوع المعجمي: أظهرت التوليدات المتعلقة بالكيانات النادرة تنوعاً لغوياً أقل (نمو المفردات)، لا سيما في الكوارث والأنهار.

5. الأهمية والتوجهات المستقبلية

تعزيز الذكاء الاصطعي الموثوق: توفر RIDIC أداة حاسمة لتشخيص أوضاع الفشل في "الذيل الطويل" للنماذج اللغوية الكبيرة، والتي غالباً ما يتم تجاهلها في الاختبارات القياسية.
تسليط الضوء على الفجوات متعددة اللغات: تؤكد الدراسة أن طرق تقييم الحقيقة وقدرات النماذج اللغوية الكبيرة الحالية منحازة بشدة نحو الإنجليزية والبيانات عالية الموارد، مما يستوجب تحسين جمع الأدلة وأطر التقييم متعددة اللغات.
التحول المنهجي: تدعو الورقة إلى الابتعاد عن الاختبارات القياسية الثابتة التي تقتصر على الأسئلة والأجوبة، نحو مسارات تقييم ديناميكية قائمة على الكيانات وطويلة الصيغة يمكنها التكيف مع المجالات وتوزيعات الشعبية المختلفة.

القيود الملحوظة:

مجموعة البيانات منحازة نحو الكيانات التي تمتلك صفحات ويكيبيديا غير "مسودة"، مما قد يؤدي لتمثيل ناقص للذيل الطويل للغاية.
يعتمد التقييم بشكل كبير على ويكيبيديا، والتي قد لا تكون مصدراً محدثاً لجميع المجالات (مثل طرازات السيارات).
اقتصرت التجارب على ثلاثة نماذج ولغتين فقط.

في الختام، يقدم إطار عمل ومجموعة بيانات RIDIC نهجاً صارماً وقابلاً لإعادة الإنتاج لفهم وتحسين الموثوقية الواقعية للنماذج اللغوية الكبيرة، خاصة بالنسبة للكيانات النادرة واللغات غير الإنجليزية.