Multi-lingual Functional Evaluation for Large Language Models
تقدم هذه الورقة معايير مرجعية وظيفية متعددة اللغات (CL-GSM Symbolic و CL-IFEval) عبر خمس لغات لتوضيح أن التقييمات متعددة اللغات الثابتة غالباً ما تبالغ في تقدير أداء النماذج ومتانتها مقارنة بالتقييمات العملية القائمة على المهام.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف موظفًا جديدًا لشركة عالمية. تريد أن تعرف ما إذا كان بإمكانه أداء الوظيفة فعليًا بلغات مختلفة، وليس فقط ما إذا كان بإمكانه اجتياز اختبار كتابي باللغة الإنجليزية.
هذه الورقة البحثية تشبه "شهادة تقييم" لعملية التوظيف هذه، ولكن بدلاً من الشخص، فإن "الموظف" هو ذكاء اصطناعي (نموذج لغوي كبير).
إليك قصة ما وجده الباحثون، مشروحة ببساة:
١. الطريقة القديمة: فخ "الاختيار من متعدد"
لفترة طويلة، كنا نختبر نماذج الذكاء الاصطعي باستخدام المعايير الثابتة (Static Benchmarks). فكر في هذه المعايير كأنها اختبارات اختيار من متعدد معيارية (مثل اختبارات الـ SAT أو مسابقات المعلومات العامة).
- كيف تعمل: يقرأ الذكاء الاصطناعي سؤالاً بالفرنسية أو الإسبانية ويختار الإجابة الصحيحة من قائمة.
- المشكلة: وجد الباحثون أن هذه الاختبارات تشبه الغش. قد يقوم الذكاء الاصطناعي بحفظ الإجابات على الأسئلة الموجودة في بنك الأسئلة أثناء تدريبه. يحصل على درجة عالية، لكنه لا يفهم في الواقع كيفية استخدام اللغة في العالم الحقيقي. إنه يشبه طالباً حفظ نموذج الإجابة لكنه لا يستطيع إجراء محادثة.
٢. الطريقة الجديدة: الاختبار "الوظيفي"
ابتكر المؤلفون اختبارين جديدين هما CL-GSM Symbolic و CL-IFEval. فكر في هذه الاختبارات كأنها اختبارات قيادة عملية أو محاكاة للعمل الميداني.
- كيف تعمل: بدلاً من سؤال "كم يساوي ٢+٢؟"، يعطون الذكاء الاصطناعي نموذجاً يحتوي على أجزاء متحركة.
- مثال: "اشترت سالي {عدد} تفاحات حمراء و {عدد} تفاحات خضراء. كم المجموع؟"
- يجب على الذكاء الاصطناعي تجاهل الألوان (العنصر المشتت) والتركيز على الرياضيات (الوظيفة).
- اللمسة المميزة: قاموا بترجمة هذه الاختبارات إلى خمس لغات: الفرنسية، والإسبانية، والهندية، والعربية، ولغة اليوروبا (وهي لغة يتحدث بها سكان نيجيريا).
٣. المفاجأة الكبرى: الفجوة بين "الضجيج الإعلامي والواقع"
أجرى الباحثون الاختبارات ووجدوا انفصالاً هائلاً بين درجات "الاختيار من متعدد" ودرجات "الاختبار العملي".
- الوهم: في الاختبارات القديمة، بدا الذكاء الاصطناعي كأنه عبقري في جميع اللغات.
- الواقع: عند وضعه للعمل في الاختبارات الوظيفية الجديدة، انهار أداء الذكاء الاصطناعي في العديد من اللغات.
- في الإنجليزية والفرنسية والإسبانية، انخفضت مهارات الرياضيات لدى الذكاء الاصطناعي بنسبة تتراوح بين ١٧٪ إلى ٢٤٪ عند الانتقال من الاختبار القديم إلى الجديد.
- الأمر يشبه طالباً يحصل على درجة 'A' في الامتحان الكتابي، لكنه يفشل في المختبر العملي لأنه لا يستطيع خلط المواد الكيميائية.
٤. انقسام "الموارد"
تسلط الورقة الضوء على واقع قاسٍ بشأن الذكاء الاصطناعي: إنه يحب اللغات الغنية ويعاني مع اللغات الفقيرة.
- اللغات عالية الموارد (الإنجليزية، الفرنسية، الإسبانية): الذكاء الاصطناعي جيد هنا، فقد اطلع على الكثير من البيانات على الإنترنت.
- اللغات منخفضة الموارد (اليوروبا): الذكاء الاصطناعي يكاد يكون أعمى هنا. في الاختبارات الوظيفية الجديدة، كان أداء الذكاء الاصطناعي في لغة اليوروبا منخفضاً بشكل حاد (أحياناً أقل من ١٥٪ دقة).
- التشبيه: تخيل مكتبة. قسم اللغة الإنجليزية عبارة عن مكتبة ضخمة ومضاءة جيداً بها ملايين الكتب. أما قسم اليوروبا فهو مجرد كتيب واحد مغبر في زاوية مظلمة. الذكاء الاصطناعي هو طالب قرأ مكتبة الإنجليزية من الغلاف إلى الغلاف، لكنه لم يرَ هذا الكتيب قط.
٥. الذكاء الاصطناعي "الهش"
النتيجة الأكثر أهمية تتعلق بـ المتانة (Robustness).
- بعض نماذج الذكاء الاصطناعي تشبه الزجاج: تبدو مثالية حتى تضغط عليها بسؤال مختلف قليلاً، ثم تتحطم.
- وجد الباحثون أن الذكاء الاصطناعي قد يكون بارعاً في اتباع التعليمات باللغة الإنجليزية، ولكنه يفشل تماماً في اتباع نفس التعليمات بالضبط باللغة العربية أو الهندية.
- فشل "البداية/النهاية": في اختبار محدد، فشل الذكاء الاصطناعي في اتباع قاعدة بسيطة ("ابدأ جملتك بحرف كبير") في لغة اليوروبا، رغم أنه يستطيع فعل ذلك ببراعة في الإنجليزية. إنه يشبه روبوتاً يمكنه الرقص على أنغام الجاز، لكنه يتجمد إذا طلبت منه الرقص على أنغام السالسا.
ملخص: ماذا يعني هذا بالنسبة لنا؟
هذه الورقة هي بمثابة جرس إنذار.
- لا تثق في الضجيج الإعلامي: مجرد كون الذكاء الاصطناعي يقول إنه "متعدد اللغات" ويحقق درجات عالية في الاختبارات القياسية، لا يعني أنه يستطيع حقاً فعل الأشياء بتلك اللغات.
- "فقاعة الإنجليزية": الذكاء الاصطناعي حالياً جيد جداً في الإنجليزية، لكنه لا يزال هشاً وغير موثوق به للغاية في العديد من اللغات الأخرى، خاصة تلك التي تمتلك موارد رقمية أقل (مثل اليوروبا).
- الحل: نحن بحاجة للتوقف عن اختبار الذكاء الاصطناعي عبر الاختبارات الثابتة، والبدء في اختباره عبر مهام وظيفية من العالم الحقيقي لنرى ما إذا كان بإمكانه التعامل مع الوظيفة فعلياً.
باخت aside (باختصار): الذكاء الاصطناعي طالب ممتاز حفظ الكتاب المدرسي، ولكن عندما تطلب منه حل مشكلة من الحياة الواقعية بلغة أخرى، فإنه غالباً ما ينسى كيف يفكر. نحن بحاجة إلى اختبارات أفضل لمعرفة من هو المستعد حقاً للعالم الواقعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.