How Reliable Are Bengali LLM Benchmarks? A Cross-Lingual Contamination and Robustness Audit of Open-Weight Language Models
تقدم هذه الورقة وتتحقق من إطار عمل منهجي لتدقيق موثوقية معايسات النماذج اللغوية الكبيرة باللغة البنغالية عبر اكتشاف تلوث البيانات عبر اللغات وقياس المتانة ضد الاضطرابات، مما يكشف أن النتائج الأولية التجريبية تظهر أداءً يكاد لا يتجاوز مستويات الصدفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تقييم مدى براعة طالب جديد في حل المسائل الرياضية. أعطيته اختباراً، فحصل على درجة عالية، فاعتبرته عبقرياً. ولكن ماذا لو كان قد حفظ مفتاح الإجابات سراً قبل الاختبار؟ أو ماذا لو رأى نفس المسائل بلغة أخرى وقام فقط بتخمين الإجابات بناءً على ذلك؟ هذا هو العالم المعقد لاختبار الذكاء الاصطناعي (AI). يبني العلماء "نماذج لغوية كبيرة" (LLMs) — وهي برامج حاسوبية فائقة الذكاء يمكنها القراءة والكتابة والدردشة بلغات عديدة. ولرؤية ما إذا كانت هذه البرامج ذكية حقاً أم أنها مجرد جيدة في الحفظ، يقدم لها الباحثون اختبارات معيارية تسمى "المعايير المرجعية" (benchmarks).
ومع ذلك، هناك مشكلة مخادعة تسمى "التلوث" (contamination). الأمر يشبه إذا ترك معلم بالخطأ مفتاح الإجابات على مكتبه ووجده الطالب قبل الامتحان. يحصل الطالب على درجة كاملة، لكنه لم يتعلم المادة فعلياً؛ بل قام فقط بحفظ الإجابات. وهذا أمر بالغ الأهمية لأننا إذا وجدنا الاختبارات "ملوثة"، فلن نتمكن من الوثوق في النتائج. قد نعتقد أن الذكاء الاصطناعي بارع في لغة مثل البنغالية (التي يتحدث بها مئات الملايين من الناس) بينما هو في الواقع قد رأى النسخة الإنجليزية من الاختبار من قبل.
الآن، لنلقِ نظرة على دراسة جديدة تعمل كعمل المحققين، حيث تحقق فيما إذا كانت اختبارات الذكاء الاصطناعي للغة البنغالية عادلة أم أنها مليئة بالتسريبات الخفية.
العمل التحقيقي: تدقيق اختبارات الذكاء الاصطناعي للغة البنغالية
يتساءل الباحثون في هذه الورقة سؤالاً مهماً للغاية: هل الدرجات التي نراها لنماذج الذكاء الاصطناعي في الاختبارات البنغالية حقيقية، أم أنها متضخمة بسبب التعرض المسبق؟
لقد ركزوا على اللغة البنغالية لأنها لغة ضخمة بدأت مؤخراً فقط في الحصول على اختباراتها الخاصة بالذكاء الاصطناعي. العديد من هذه الاختبارات هي مجرد ترجمات مباشرة لاختبارات إنجليزية شهيرة. وقد قلق الفريق من أنه إذا كان نموذج الذكاء الاصطناعي قد رأى النسخة الإنجليزية من سؤال ما أثناء تدريبه، فقد يتمكن من تخمين الإجابة البنغالية بشكل صحيح دون فهم اللغة البنغالية فعلياً. وهذا ما يسمى "التلوث عبر اللغات" (cross-lingual contamination).
ولحل هذا الغموض، بنى الباحثون "إطار عمل للتدقيق" خاصاً بهم — وهو مجموعة من الأدوات للتحقق من التعرض المسبق. وقد استخدموا ثلاث طرق رئيسية:
- فحص "الاحتمالية" (Likelihood): نظروا في مدى "المفاجأة" التي شعر بها الذكاء الاصطناعي تجاه أسئلة الاختبار. إذا كان النموذج قد رأى السؤال من قبل، فلن يكون متفاجئاً؛ بل سيكون واثقاً جداً. أما إذا كان يراه للمرة الأولى، فسيكون أكثر تردداً.
- اختبار "ملء الفراغات": حاولوا خداع الذكاء الاصطناعي عن طريق إخفاء أحد الإجابات الخاطئة في سؤال متعدد الخيارات، وسؤال النموذج عن تخمين الكلمة المفقودة. إذا استطاع الذكاء الاصطناعي تخمين الكلمة المفقودة بدقة، فمن المرجح أنه حفظ الاختبار كاملاً.
- البحث عن "الحقيقة المطلقة" (Ground Truth): بالنسبة لبعض النماذج المفتوحة تماماً (حيث يمكننا رؤية البيانات التي تدربت عليها بالضبط)، فقد بحثوا حرفياً في بيانات التدريب لمعرفة ما إذا كانت أسئلة الاختبار موجودة هناك.
كما اختبروا أيضاً "المتانة" (robustness). وهذا يشبه تغيير صياغة سؤال ما قليلاً — مثل تبديل رقم أو إضافة جملة سخيفة وغير ذات صلة — لمعرفة ما إذا كان الذكاء الاصطناعي سيظل يجيب بشكل صحيح. إذا انهارت درجة الذكاء الاصطناعي عند تغيير السؤال قليلاً، فهذا يشير إلى أن الذكاء الاصطناعي لم يكن "يفكر" حقاً؛ بل كان يحفظ النمط بدقة فقط.
ما وجدوه (حتى الآن)
لم يكتفِ الباحثون بالحديث عن النظرية فحسب؛ بل أجروا بالفعل اختباراً "تجريبياً" صغيراً ليروا ما إذا كانت أدواتهم التحقيقية تعمل. استخدموا نموذج ذكاء اصطناعي أصغر (يسمى Qwen2.5-1.5B) واختبروه على 500 سؤال من اختبار فهم المقروء باللغة البنغالية يسمى BoolQ-bn.
إليك ما كشف عنه الاختبار التجريبي:
- الدرجة كانت بالكاد أفضل من رمي العملة المعدنية: حصل النموذج على دقة بلغت 0.568. وبما أن هذا اختبار يعتمد على أسئلة (نعم/لا)، فإن التخمين العشوائي سيمنحك 0.50. لقد تفوق النموذج بنحو 7 نقاط فقط على التخمين العشوائي. وهذا يشير إلى أن هذا الحجم من النماذج لا يمتلك بعد فهماً قوياً لفهم المقروء باللغة البنغالية.
- اختبار "التعرض المسبق" كان غير حاسم: حاولوا معرفة ما إذا كان النموذج قد حفظ الإجابات باستخدام أدوات الاحتمالية الخاصة بهم، لكنهم كانوا بحاجة إلى مجموعة "ضبط" (control set) من الأسئلة (أسئلة لم يسبق للنموذذ رؤيتها بالتأكيد) للمقارنة بها. هذا الجزء لا يزال قيد الاستكمال.
- اختبار "التشتيت": أضافوا جملة مشتتة للأسئلة لمعرفة ما إذا كان النموذج سيصاب بالارتباك. انخفضت درجة النموذج قليلاً إلى 0.558، لكن الفرق لم يكن ذا دلالة إحصائية (أي أن الرياضيات تقول إن الأمر قد يكون مجرد ضجيج عشوائي). وهذا يعني أن الاختبار التجريبي كان صغيراً جداً للحكم بيقين ما إذا كان النموذج هشاً أم لا.
الصورة الكبيرة
الاستنتاج الرئيسي من هذه الورقة ليس حكماً نهائياً بشأن ما إذا كان الذكاء الاصطناعي في اللغة البنغالية يظهر تعرضاً مسبقاً أم لا. بدلاً من ذلك، الورقة هي مخطط لكيفية اكتشاف ذلك.
لقد بنى الباحثون مجموعة أدوات كاملة ومفتوحة المصدر يمكن لأي شخص استخدامها لتدقيق هذه الاختبارات. لقد أدرجوا جميع المعايير المرجعية المتاحة للغة البنغالية، ووضعوا بروتوكولاً للتحقق من التلوث، وأظهروا أنه من الممكن إجراء هذه الاختبارات المكلفة باستخدام موارد حاسوبية مجانية (مثل Google Colab).
إنهم يقومون حالياً بإجراء عملية تدقيق كاملة على العديد من النماذج والمعايير المرجعية. لقد أثبت الاختبار التجريبي أن النظام يعمل، لكن النتائج الكاملة لا تزال قيد الحساب. تجادل الورقة بأنه ما لم نقم بإجراء عمليات التدقيق هذه، فلن نتمكن من التأكد مما إذا كانت الدرجات العالية التي نراها للذكاء الاصطناست في اللغة البنغالية هي ذكاء حقيقي أم أنها مجرد نتيجة لرؤية النماذج للإجابات الإنجليزية من قبل.
باختصار، هذه الورقة هي دعوة للعمل: "دعونا نتوقف عن التخمين حول ما إذا كان الذكاء الاصطناعي ذكياً في اللغة البنغالية، ونبدأ في استخدام هذه الأدوات التحقيقية لإثبات ذلك". إنهم يتأكدون من أنه عندما نقول إن ذكاءً اصطناعياً بارع في لغة ما، فذلك لأنه يفهم اللغة حقاً، وليس لأنه حفظ الاختبار.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.