MultiWikiQA: A Reading Comprehension Benchmark in 300+ Languages
تقدم الورقة البحثية MultiWikiQA، وهو معيار قياس ضخم لفهم القراءة يغطي 306 لغات مع أكثر من 1.2 مليون عينة تم إنشاؤها من مقالات ويكيبيديا والتحقق من صحتها من خلال التقييم البشري، مما يظهر تفاوتات كبيرة في الأداء عبر اللغات وبنى النماذج المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة عالمية ضخمة تسمى ويكيبيديا. تحتوي هذه المكتبة على كتب مكتوبة بأكثر من 300 لغة مختلفة، من الإنجليزية والإسبانية إلى اللغات النادرة والصغيرة التي يتحدث بها بضعة آلاف من الناس فقط.
لفترة طويلة، إذا أردت اختبار مدى ذكاء الكمبيوتر في قراءة وفهم هذه الكتب، كان عليك في الغالب اختبارها باللغة الإنجليزية فقط. كان الأمر يشبه امتلاك اختبار قيادة للسيارات في يوم مشمس في كاليفورنيا، ثم افتراض أن تلك السيارات يمكنها التعامل مع القيادة في الثلوج في سيبيريا أو في الأمطار الموسمية في الهند.
تقدم هذه الورقة البحثية MultiWikiQA، وهو "اختبار قيادة" جديد وضخم يغطي 306 لغات. إليك كيف بنوا هذا الاختبار وما وجدوه، مشروحاً ببساه:
1. الوصفة: كيف صنعوا الاختبار
لم يكتب الباحثون هذه الأسئلة يدوياً (لأن ذلك سيستغرق وقتاً طويلاً جداً!). بدلاً من ذلك، استخدموا ذكاءً اصطناعياً فائقاً (نموذج لغوي كبير) ليعمل بمثابة طاهٍ مبدع.
- المكونات: أخذوا مقالاً من ويكيبيديا (السياق).
- الطهي: طلبوا من الذكاء الاصطناعي تقطيع المقال وإنشاء قائمة من الأسئلة والأجوبة، مثل مسابقة ثقافية.
- فحص السلامة: تأكدوا من أن الإجابات موجودة بالفعل في النص، كلمة بكلمة.
- "صلصة منع الغش": هذا هو الجزء الذكي. أحياناً، تكون الحواسيب كسولة؛ فإذا كان السؤال يقول "ما هي عاصمة فرنسا؟" وكان النص يقول "باريس هي العاصمة"، فإن الكمبيوتر سيقوم فقط بمطابقة الكلمات "باريس" و"عاصمة". لمنع حد هذا، طلب الباحثون من الذكاء الاصطناعي إعادة كتابة الأسئلة باستخدام كلمات وهياكل جمل مختلفة. إنه يشبه تغيير مسألة رياضية من "2 + 2" إلى "ما هو مجموع زوجين؟" حتى يضطر الكمبيوتر إلى التفكير فعلياً بدلاً من مجرد النسخ واللصق.
2. اختبار المذاق: هل بدت الأسئلة طبيعية؟
مجرد كون الكمبيوتر قد كتب سؤالاً لا يعني أنه يبدو كشيء قد يطرحه إنسان. قد يبدو آلياً أو غريباً.
لإصلاح ذلك، استعان الباحثون بـ 156 بشراً حقيقياً من 30 لغة مختلفة (بما في ذلك لغات كبيرة مثل الفرنسية ولغات صغيرة مثل الآيسلندية) لاختبار مذاق الأسئلة. وسألوهم: "هل يبدو هذا كسؤال يطرحه شخص حقيقي؟"
النتيجة: سجلت الأسئلة درجات عالية جداً. حتى بالنسبة لأصغر اللغات، بدت الأسئلة "طبيعية في الغالب". لقد أثبت ذلك أن "الطاهي" الذكاء الاصطناعي قد قام بعمل جيد في طهي مسابقات تشبه ما يكتبه البشر.
3. السباق: من فاز باختبار القيادة؟
بمجرد تجهيز الاختبار، قاموا بتشغيل 6 نماذج حاسوبية مختلفة من خلاله. تراوحت هذه النماذج بين النماذج الصغيرة والبسيطة إلى الضخمة والمتقدمة.
الاكتشاف الكبير:
كان الاختبار صعباً. حتى الحواسيب الأكثر ذكاءً واجهت صعوبات.
- الفجوة: كانت هناك فجوة هائلة في الأداء بين اللغات. كانت الحواسيب مثل عدائي الماراثون الذين تدربوا لسنوات على مضامير إنجليزية، ثم أُلقي بهم فجأة في غابة بسبب اللغات التي لا يعرفونها جيداً.
- اللغات ذات الموارد العالية: بالنسبة للغات مثل الإنجليزية أو الألمانية أو الإسبانية، أبلى الحواسيب بلاءً حسناً (سجلت دقة تتراوح بين 70-80%).
- اللغات ذات الموارد المنخفضة: بالنسبة للغات التي تمتلك كتباً رقمية أقل (مثل بعض اللغات الأفريقية أو لغات السكان الأصليين)، سجلت الحواسيب غالباً درجات منخفضة جداً، وأحياناً لم تحصل على أي إجابات صحيحة تقريباً.
لماذا يهم هذا؟
فكر في الذكاء الاصطناعي كطالب جديد في مدرسة عالمية.
- قبل هذه الورقة: كانت المدرسة تمتلك كتباً مدرسية باللغة الإنجليزية فقط. كان الطالب بارعاً في الإنجليزية لكنه لا يستطيع قراءة الـ 300 لغة الأخرى.
- بعد هذه الورقة: أصبح لدى المدرسة أخيراً كتباً مدرسية بـ 306 لغات. أصبح لدينا الآن طريقة عادلة لمعرفة أي الطلاب (نماذج الذكاء الاصطناعي) بارعون حقاً في قراءة العالم بأكمله، ومن منهم لا يزال يعاني مع اللغات الأصغر.
الخلاصة:
تقدم هذه الورقة البحثية ساحة لعب ضخمة وعادلة لاختبار مدى فهم الذكاء الاصطناعي للغات العالم. وهي توضح لنا أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، إلا أنه لا يزال أمامه طريق طويل ليفهم الجميع في كل مكان وبشكل متساوٍ. إنها بمثابة جرس إنذار بأننا بحاجة لبناء "أدمغة" أفضل للغات التي تم تهميشها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.