Who Benchmarks the Benchmarks? A Case Study of LLM Evaluation in Icelandic
تنقد هذه الورقة مدى صلاحية معايير نماذج اللغات الكبيرة الحالية للغة الآيسلندية، حيث تُظهر أن البيانات الاصطناعية أو المترجمة آلياً غير المتحقق منها تسبب عيوباً جسيمة، وتجادل بضرورة استخدام طرق تقييم مُتحقق منها بشرياً في سياقات اللغات ذات الموارد المنخفضة والمتوسطة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم تحاول تصحيح مقال لطالب جديد. ولكن بدلاً من قراءة المقال بنفسك، تطلب من روبوت ترجمة المقال إلى لغتك، ثم تقييمه، ثم إخبارك بمدى أدائه.
هذه الورقة هي في الأساس تقرير درجات حول كيفية اختبارنا للذكاء الاصطناعي (النماذج اللغوية الكبيرة) حالياً في اللغة الآيسلندية، وهي لغة يتحدث بها عدد قليل نسبياً من الناس. المؤلفون، وهم خبراء في اللغة الآيسلندية والذكاء الاصطناعي، يرفعون راية حمراء كبيرة: العديد من الاختبارات التي نستخدمها معطلة، وهذه الاختبارات المعطلة تعطينا صورة خاطئة عن مدى ذكاء هذه الأنظمة من الذكاء الاصطناعي حقاً.
إليك تفصيل نتائجهم باستخدام بعض التشبيهات اليومية:
1. مشكلة "النسخ واللصق" (الترجمة الآلية)
حالياً، ولأن إنشاء اختبارات من الصفر أمر صعب ومكلف، يقوم العديد من الباحثين بأخذ اختبارات إنجليزية شهيرة (مثل اختبار علوم للصف الخامس) ويقومون فقط بتشغيلها عبر مترجم آلي لجعلها باللغة الآيسلندية.
- التشبيه: تخيل أنك تريد اختبار معرفة طالب في التاريخ الآيسلندي. بدلاً من كتابة اختبار في التاريخ الآيسلندي، تأخذ اختباراً عن التاريخ الأمريكي، وتمرره عبر "ترجمة جوجل"، ثم تقدمه للطالب.
- النتيجة: قد تكون الترجمة مليئة بالأخطاء الغريبة. فكلمة "turkey" (الطائر) قد تُترجم لتصبح "Turkey" (الدولة/تركيا). أو قد يتغير اسم عالم مشهور إلى اسم محلي عشوائي.
- ما وجدته الورقة: وجد المؤلفون أن العديد من هذه الاختبارات "المترجمة" مليئة بالأخطاء لدرجة أنها عديمة الفائدة. الأمر يشبه إعطاء اختبار رياضيات حيث الأرقام مكتوبة بلغة لا يفهمها الطالب. إذا أجاب الذكاء الاصطناعي بشكل صحيح، فقد يكون ذلك مجرد تخمين لأن السؤال كان غير منطقي، وليس لأنه يفهم الآيسلندية حقاً.
2. مصنع "الأخبار المزيفة" (البيانات الاصطناعية)
بعض الاختبارات لا يتم ترجمتها فحسب؛ بل يتم إنشاؤها بالكامل بواسطة أنظمة ذكاء اصطناعي أخرى. يُطلب من الذكاء الاصطناعي "تأليف 1000 سؤال عن آيسلندا".
- التشبيه: هذا يشبه طلب كتابة كتاب تاريخ خاص بالطالب، ثم استخدام هذا الكتاب لتقييمه. قد يضع الطالب حقائق تبدو منطقية لكنها خاطئة تماماً.
- ما وجدته الورقة: عندما تقوم أنظمة الذكاء الاصطعي بتوليد هذه الأسئلة، فإنها غالباً ما "تهلوس" (تختلق أشياء). قد تنشئ سؤالاً عن شخص لم يوجد أبداً أو حقيقة مستحيلة علمياً. وجد المؤلفون أن بعض هذه الاختبارات التي صنعها الذكاء الاصطناعي كانت معيبة بنسبة تقارب 100%.
3. فجوة "المتحدث الأصلي"
كانت الاختبارات الأكثر نجاحاً في الورقة هي تلك التي كتبها أو راجعها بشر حقيقيون يتحدثون الآيسلندية.
- التشبيه: هذا يشبه وجود معلم آيسلندي حقيقي يكتب الاختبار. هو يعرف الثقافة المحلية، واللغة العامية، والقواعد الصحيحة، والتاريخ. هو لا يعتمد على روبوت ليخمن معنى جملة ما.
- ما وجدته الورقة: كانت الاختبارات التي صنعها البشر أكثر دقة ونقاءً. أما الاختبارات التي صنعتها الآلات (أو تمت ترجمتها بواسطتها) فكانت مليئة بـ "لغة الترجمة" (صياغات ركيكة لا يمكن لأي إنسان حقيقي أن يقولها).
4. لماذا يهم هذا؟ (قاعدة "المدخلات الرديئة تؤدي لمخرجات رديئة")
يجادل المؤلفون بأننا إذا استمررنا في استخدام هذه الاختبارات المعطلة، فإننا نخدع أنفسنا بشأن جودة الذكاء الاصطناعي.
- التشبيه: تخيل أنك تدرب كلباً. إذا استخدمت جهاز "نقرة" (clicker) معطلاً يصدر صوتاً في كل مرة يجلس فيها الكلب، حتى لو كان الكلب واقفاً فقط، سيعتقد الكلب أنه يفعل شيئاً صحيحاً. في النهاية، سيصاب الكلب بالارتباك ولن يتعلم الجلوس فعلياً.
- النتيجة الحقيقية: إذا تم تدريب أو تقييم نماذج الذكاء الاصطناعي بناءً على هذه الاختبارات المعطلة، فقد تتعلم "التلاعب بالنظام". قد تتعلم رصد أخطاء الترجمة الغريبة والإجابة بناءً على تلك الأخطاء بدلاً من فهم اللغة فعلياً. هذا يجعل الذكاء الاصطناعي يبدو أذكى مما هو عليه، ولكنه سيفشل في المهام الفعلية في العالم الحقيقي.
الخلاصة الرئيسية
تطرح الورقة سؤالاً بسيطاً: "من يراقب الأشخاص الذين يصنعون الاختبارات؟"
حالياً، الإجابة هي غالباً "لا أحد"، أو "روبوت". يدعو المؤلفون إلى تغيير:
- التوقف عن ترجمة الاختبارات بشكل أعمى. إذا قمت بترجمة اختبار، يجب على متحدث أصلي بشري مراجعته للتأكد من معناه.
- إشراك بشر حقيقيين. يجب أن يكون المتحدثون الأصليون جزءاً من العملية لضمان أن الاختبارات تعكس الثقافة واللغة الحقيقية، وليس مجرد ترجمات روبوتية.
- الجودة فوق الكمية. من الأفضل الحصول على اختبار صغير ومثالي بدلاً من اختبار ضخم ومعطل.
باختاً: لا يمكننا الوثوق بلوحة النتائج إذا كان الحكام هم روبوتات لا تتحدث اللغة. نحن بحاجة إلى خبراء بشريين لضمان أن الاختبارات عادلة ودقيقة قبل أن نعلن أن الذكاء الاصطناعي عبقري.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.