Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish
تقدم هذه الورقة معياراً شاملاً متعدد اللغات لتقييم سبعة من النماذج اللغوية الكبيرة المتطورة في اللغات الكانتونية واليابانية والتركية عبر أربع مهام متنوعة، مما يكشف أنه بينما تتصدر النماذج المملوكة الرائدة في الأداء، لا تزال هناك تحديات كبيرة في التعامل مع التعقيد الصرفي والفروق الثقافية الدقيقة، لا سيما بالنسبة للنماذج مفتوحة المصدر الأصغر حجماً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الذكاء الاصطناعي كمكتبة ضخمة وذكية للغاية. لفترة طويلة، كانت هذه المكتبة مليئة بالكتب المكتوبة باللغة الإنجليزية فقط. كان أمناء المكتبة (نماذج الذكاء الاصطناعي) مطلعين بشكل مذهل في اللغة الإنجليزية، قادرين على الإجابة على أي سؤال، أو تلخيص أي قصة، أو ترجمة أي نص بكل سهولة.
ولكن ماذا يحدث عندما تطلب من هؤلاء الأمناء مساعدة شخص يتحدث الكانتونية، أو اليابانية، أو التركية؟ هل يقومون بالتخمين فحسب؟ هل يبدون كآلات؟ أم أنهم تعلموا أخيراً التحدث بهذه اللغات بنفس الطلاقة والفهم الثقافي؟
هذه الورقة البحثية هي بمث heavy تقرير درجات مُعطى لسبعة من أذكى "أمناء مكتبة" الذكاء الاصطناعي في العالم. وضعهم المؤلفون تحت اختبار صارم لمعرفة مدى جودة تعاملهم مع لغات هي إما:
- منخفضة الموارد: مثل الكانتونية، حيث لا توجد كتب رقمية متاحة بكثرة ليدرسها الذكاء الاصطناعي.
- غنية صرفياً: مثل التركية، حيث تكون الكلمات أشبه بقطع "الليغو" التي تتشابك بطرق معقدة لتكوين كلمات ضخمة وجديدة.
المتسابقون
اختبرت الورقة سبعة نماذج مختلفة من الذكاء الاصطناعي، تتراوح بين "النخبة الفائقة" (مثل GPT-4o و Claude 3.5) و"الفئة المتوسطة" من النماذج مفتوحة المصدر (مثل LLaMA 3.1) و"المبتدئين" (نماذج أصغر مثل Mistral 7B).
التحديات الأربعة (الامتحان)
كان على أمناء المكتبة خوض أربعة أنواع مختلفة من الاختبارات في كل لغة:
- اختبار المعلومات العامة (الأسئلة والأجوبة في النطاق المفتوح): "من كانت أول طيارة في تركيا؟" أو "في أي شهر يقع هذا المهرجان في قوانغتشو؟"
- الهدف: هل يمكن للذكاء الاصطناعي العثور على الحقيقة الصحيحة دون اختلاق أشياء من عنده؟
- تقرير الكتاب (التلخيص): قراءة مقال إخباري طويل وكتابة ملخص قصير وواضح.
- الهدف: هل يمكن للذكاء الاصطناعي الحفاظ على النقاط الرئيسية دون فقدان نكهة اللغة؟
- المترجم (من الإنجليزية إلى لغة أخرى): أخذ جملة إنجليزية وتحويلها إلى لغة تركية أو يابانية أو كانتونية تبدو طبيعية.
- الهدف: هل يبدو الأمر وكأن إنساناً كتبه، أم أنها ترجمة آلية حرفية؟
- الدردشة الثقافية (الحوار): كان هذا هو الجزء الأصعب. كان على الذكاء الاصطناعي الدردشة مع مستخدم باستخدام العامية المحلية، أو صيغ الاحترام (كما في اليابانية)، أو الاصطلاحات اللغوية.
- الهدف: إذا ألقى مستخدم نكتة بالكانتونية، هل يفهم الذكاء الاصطناعي مغزاها؟ إذا طلب مستخدم نصيحة بالتركية، هل يبدو الذكاء الاصطناعي محترماً؟
النتائج: من نجح؟
🏆 النخبة الفائقة (GPT-4o, GPT-4, Claude 3.5)
هذه النماذج تشبه العلماء متعددي اللغات. لقد قدموا أفضل أداء في جميع المجالات.
- كان GPT-4o هو نجم العرض، خاصة مع الكانتونية. لم يكتفِ بالترجمة فحًسب؛ بل فهم "الأجواء". عرف متى يستخدم العامية ومتى يكون رسمياً.
- جاء Claude 3.5 خلفه مباشرة، مظهراً مهارات استنتاج مذهلة.
- العقبة: حتى هؤلاء العمالقة تعثروا قليلاً. ففي التركية، أخطأوا أحياناً في نهايات الكلمات المعقدة التي تشبه قطع "الليغو". وفي الكانتونية، زلوا أحياناً واستخدموا كلمات صينية قياسية بدلاً من اللهجة المحلية.
🥈 الفئة المتوسطة (LLaMA 3.1, Mistral Large 2)
هؤلاء هم الطلاب المجتهدون. لقد حققوا نتائج جيدة بشكل مفاجئ في اليابانية والتركية، وكادوا يلحقون بالنخبة. ومع ذلك، عندما تعلق الأمر بـ الكانتونية، فقد واجهوا صعوبات. الأمر يشبه طالباً درس بجد لاختبار الرياضيات لكن لم تتوفر له كتب كافية لاختبار التاريخ. نظرًا لوجود بيانات أقل للكانتونية في تدريبهم، فقد بدا كلامهم غالباً وكأنهم يتحدثون "الصينية القياسية" بدلاً من اللهجة المحلية.
🥉 المبتدئون (LLaMA-2 13B, Mistral 7B)
هذه النماذج تشبه الخريجين الجدد الذين لم يروا الكثير من العالم بعد. لقد عانوا بشكل كبير.
- غالباً ما قدموا إجابات خاطئة في أسئلة المعلومات العامة.
- كانت ملخصاتهم مربكة.
- في الدردشة الثقافية، كانوا غير مدركين للسياق الاجتماعي. قد يستخدمون نبرة غير رسمية أو فظة عند التحدث إلى جدة في اليابان، أو يفشلون تماماً في فهم مثل تركي.
الاستنتاجات الكبرى
- الحجم مهم (لكن البيانات أهم): النماذج الأكبر تفوز عموماً، ولكن إذا كانت اللغة "منخفضة الموارد" (مثل الكانتونية)، فحتى أكبر النماذج تحتاج إلى بيانات تدريب محددة لتتألق حقاً.
- الثقافة صعبة: يمكنك تعليم الذكاء الاصطناٍ قواعد اللغة، لكن تعليم الثقافة يشبه تعليم سمكة ركوب دراجة هوائية. النماذج العليا أصبحت أفضل في فهم النكات المحلية واللباقة، لكنها لا تزال ترتكب أخطاءً لا يرتكبها البشر أبداً.
- الروبوتات مقابل البشر: وجدت الورقة أن البرامج الحاسوبية المستخدمة لتقييم هذه الاختبارات (مثل درجات BLEU) غالباً ما فشلت. فقد تعطي درجة منخفضة لترجمة مثالية لمجرد أن الكلمات كانت مختلفة قليلاً. المحكمون البشريون كانوا ضروريين لالتقاط الفروق الدقيقة، والفكاهة، والاحترام الثقافي الذي تغفله الآلات.
الخلاصة
نحن نحرز تقدماً مذهلاً. أمناء مكتبة الذكاء الاصطناعي يتعلمون التحدث بلغات أكثر من أي وقت مضى. ومع ذلك، لا تزال هناك "فجوة رقمية". بينما يحصل المتحدثون بالإنجليزية على أفضل خدمة، لا يزال المتحدثون بلغات مثل الكانتونية والتركية واليابانية ينتظرون مساعديهم الرقميين ليفهموا حقاً ثقافاتهم الفريدة وقواعدهم المعقدة.
لقد نشر المؤلفون بيانات الاختبار الخاصة بهم لمساعدة الجميع على بناء ذكاء اصطناعي أفضل وأكثر شمولاً للعالم أجمع، وليس فقط للنصف المتحدث بالإنجليزية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.