La Leaderboard: A Large Language Model Leaderboard for Spanish Varieties and Languages of Spain and Latin America
تقدم الورقة البحثية "La Leaderboard"، وهي أول مبادرة مفتوحة المصدر ومدفوعة من المجتمع لتقييم 50 نموذجاً لغوياً كبيراً توليدياً عبر 66 مجموعة بيانات تغطي تنوعات اللغة الإسبانية ولغات إسبانيا وأمريكا اللاتينية، وذلك بهدف وضع معايير للتقييم وتعزيز التنوع اللغوي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة من الكتب المكتوبة بلغات عديدة. لفترة طويلة، كانت الكتب "الأذكى" في المكتبة مكتوبة باللغة الإنجليزية فقط. إذا أردت معرفة أي كتاب هو الأفضل، فستسأل أمين مكتبة يتحدث الإنجليزية فقط. وإذا سألت عن كتاب باللغة الإسبانية، أو الباسكية، أو الكتالونية، فقد يخمن أمين المكتبة فحسب، أو والأسوأ من ذلك، قد يترجم أسئلتك الإنجليزية بشكل سيء، مما يجعله يفقد النكات المحلية، والإشارات الثقافية، والطرق الفريدة للتحدث.
"لا ليدربورد" (La Leaderboard) هو دليل مكتبة جديد، بناه المجتمع، صُمم لإصلاح هذا الأمر. إنه أول "لوحة نتائج" مفتوحة المصدر مخصصة لاختبار مدى قدرة الذكاء الاصطناعي على فهم والتحدث بالعديد من تنوعات اللغة الإسبانية واللغات الأخرى في إسبانيا (مثل الباسكية، والكتالونية، والجاليكية).
إليك تفصيل لكيفية عمله، باستخدام بعض التشبيهات من الحياة اليومية:
1. المشكلة: فخ "المقاس الواحد للجميع"
فكر في نماذج الذكاء الاصطناعي الحالية كأنها مترجم عالمي درس بجد في اللغة الإنجليزية، لكنه اكتفى بقراءة خاطفة للغات الأخرى.
- المشكلة: معظم اختبارات الذكاء الاصطناعي تشبه اختبار قيادة كُتب باللغة الإنجليزية ثم تُرجم بشكل سيء إلى الإسبانية. قد تكون الأسئلة منطقية من الناحية القواعدية، لكنها تفتقر إلى فهم إشارات المرور المحلية، واللغة العامية، والسياق الثقافي.
- النتيجة: قد يحصل الذكاء الاصطناعي على درجة مثالية في اختبار مترجم، لكنه قد يفشل فشلاً ذريعاً عندما يسأله شخص حقيقي من مكسيكو سيتي أو بوينس آيرس عن قوانين محلية أو دعابة معينة.
2. الحل: "اختبار تذوق" للذكاء الاصطناعي
قرر مبتكرو "لا ليدربورد" التوقف عن استخدام الاختبارات المترجمة. بدلاً من ذلك، نظموا اختبار تذوق ضخماً.
- المكونات: لقد جمعوا 66 "وصفة" مختلفة (مجموعات بيانات). بعضها تم التبرع به من قبل الباحثين، وبعضها تم إعداده خصيصاً لهذا الحدث.
- القائمة: تغطي القائمة كل شيء، من النصائح الطبية (مثل طبيب يشخص مريضاً) إلى الأسئلة القانونية (مثل محامٍ يرافع في قضية)، والفكاهة (هل يستطيع الذكاء الاصطناعي فهم نكتة؟)، وفهم القراءة.
- اللغات: الاختبار ليس باللغة "الإسبانية" فحسب. إنه بلهجات محددة من إسبانيا، والمكسيك، والأرجنتين، وتشيلي، وأوروغواي، بالإضافة إلى الباسكية، والكتالونية، والجاليكية. الأمر يشبه اختبار طباخ ليس فقط على "الطعام الإيطالي"، بل تحديداً على البيتزا النابولية مقابل الباستا الرومانية.
3. المتسابقون: نماذج الذكاء الاصطناعي
لقد دعوا 50 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي لخوض الاختبار.
- العمالقة الكبار: بعضهم من العمالقة المشهورين من شركات التكنولوجيا الكبرى (مثل Llama من Meta أو Gemma من Google). هؤلاء يشبهون الرياضيين المحترفين الذين تدربوا على كل الرياضات في العالم.
- الأبطال المحليون: آخرون هم نماذج أصغر ومتخصصة بناها باحثون أوروبيون وإسبان (مثل Salamandra أو EuroLLM). هؤلاء يشبهون الأبطال المحليين الذين يعرفون شوارع الحي بشكل أفضل من أي شخص آخر.
- النتائج: تُظهر لوحة النتائج من الفائز. ومن المثير للدهشة أن العمالقة الكبار غالباً ما يبدون جيدين، لكن الأبطال المحليين يتفوقون عليهم أحياناً في مجالات محددة، مما يثبت أنك لست بحاجة دائماً إلى محرك عملاق لتفوز في سباق محلي.
4. اللمسة "الصديقة للبيئة"
عادةً ما يكون اختبار الذكاء الاصطناعي مثل حرق كميات هائلة من الفحم لإضاءة شمعة واحدة. إنه يستهلك كميات هائلة من الكهرباء والوقت.
- الابتكار: قرر الفريق أن يكونوا أكثر ذكاءً. بدلاً من مطالبة الذك de الاصطناعي بقراءة قائمة طويلة من الأمثلة قبل الإجابة (مثل طالب يذاكر بجهد قبل الامتحان)، طلبوا منهم غالباً الإجابة دون أي أمثلة (zero-shot) أو مع عدد قليل جداً منها.
- الفائدة: هذا يوفر كمية هائلة من الطاقة (مثل إطفاء الأنوار عند مغادرة الغرفة) ويجعل من السهل على الباحثين الأصغر حجماً إجراء اختباراتهم الخاصة دون الحاجة إلى حاسوب خارق.
5. لماذا هذا مهم؟
فكر في الذكاء الاصطناعي كموظف جديد ينضم إلى شركة عالمية.
- إذا اختبرته باللغة الإنجليزية فقط، فقد يبدو ذكياً، لكنه سيفشل عند التحدث مع الفريق في مدريد، أو مكسيكو سيتي، أو سان سالفادور.
- يضمن "لا ليدربورد" أن يكون الذكاء الاصطناعي واعياً ثقافياً. فهو يتحقق مما إذا كان الذكاء الاصطناعي يدرك أن "النكتة" في الأرجنتين قد تختلف عن "النكتة" في إسبانيا، أو أن مصطلحاً قانونياً في المكسيك له معنى محدد.
الخلاصة
"لا ليدربورد" هو مشروع يقوده المجتمع يقول: "نريد ذكاءً اصطناعياً يتحدث لغتنا، ويفهم ثقافتنا، ويحترم تنوعنا".
الأمر لا يتعلق فقط بمن هو الذكاء الاصطناعي "الأذكى" في العالم؛ بل يتعلق بمن هو الأكثر نفعاً واحتراماً من حيث تقديم المساعدة لـ 600 مليون شخص يتحدثون الإسبانية واللغات الأخرى في شبه الجزيرة الإيبيرية. ومن خلال جعل لوحة النتائج هذه مفتوحة للجميع، يأملون في إلهام المجتمعات الأخرى (مثل تلك التي تتحدث الفرنسية، أو العربية، أو اللغات الأصلية) لبناء لوحات نتائج خاصة بها، لضمان عدم تخلف أحد عن ركب ثورة الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.