Multilingual Large Language Models do not comprehend all natural languages to equal degrees
تتحدى هذه الدراسة الافتراض القائل بأن اللغة الإنجليزية هي اللغة المثلى للنماذج اللغوية الكبيرة من خلال إثبات أنه، بينما تتفوق هذه النماذج على المعايير البشرية بدرجة أقل عبر جميع اللغات المختبرة، فإنها غالباً ما تحقق دقة استيعاب أعلى في بعض اللغات الرومانسية مقارنة باللغة الإنجليزية نتيجة عوامل مثل التجزئة (tokenization)، وتكوين بيانات التدريب، والمسافة اللغوية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك أمين مكتبة آلياً فائق الذكاء ومتعدد اللغات يُدعى "LLM". هذا الروبوت قد قرأ كل ما هو متاح تقريباً على الإنترنت، ويمكنه الإجابة على الأسئلة بعشرات اللغات. لسنوات، افترضنا أنه إذا سألت هذا الروبوت سؤالاً باللغة الإنجليزية، فسيكون في ذروة أدائه، مثل طاهٍ يطبخ طبق توقيعه الخاص. وافترضنا أنه بالنسبة للغات الأخرى، خاصة تلك التي يتحدث بها عدد أقل من الناس، سيكون الروبوت متعثراً بعض الشيء، مثل طاهٍ يحاول طبخ طبق لم يره إلا في صورة ضبابية.
لكن هذه الدراسة الجديدة تشبه "لحظة استيقاظ من الحلم" لهذا الروبوت. فقد قرر الباحثون اختبار "استيعاب" الروبوت (قدرته على فهم قصة حقاً والإجابة على سؤال حولها) عبر 12 لغة مختلفة، من الإنجليزية والإسبانية إلى اليابانية والعربية. وقارنوا إجابات الروبوت بإجابات القراء البشر الحقيقيين.
إليك ما وجدوه، مشروحاً من خلال بعض التشبيهات البسيطة:
1. الروبوت جيد، لكنه ليس مثالياً كالبشر
التشبيه: تخيل طالباً يجري اختباراً في الاستيعاب القرائي. يحصل الطلاب البشر على ما يقرب من 100% من الإجابات الصحيحة. أما الروبوت، حتى الأكثر تقدماً، فيحصل على حوالي 70-90% فقط.
النتيجة: بغض النظر عن اللغة التي تستخدمها، لا يزال الروبوت عاجزاً عن الوصول إلى مستوى الفهم البشري. إنه ليس عقلاً مثالياً؛ بل هو باحث عن الأنماط بارع جداً. ومع ذلك، فإن الفجوة بين الروبوت والبشر ليست متساوية في كل مكان؛ ففي بعض اللغات، يكون الروبوت قريباً بشكل مدهش من المستويات البشرية، وفي لغات أخرى، يتعثر.
2. أسطورة "الإنجليزية هي الملك" قد انتهت
التشبيه: لفترة طويلة، اعتقدنا أن الإنجليزية هي "اللغة الأم" للروبوت وقاعدة انطلاقه. اعتقدنا أنه إذا سألناه بالإنجليزية، فسيكون حاد الذهن، ولكن إذا سألناه بالفرنسية أو اليابانية، فسيتعين عليه القيام بـ "ترجمة" ذهنية أولاً، مما يجعله أبطأ وأقل دقة.
النتيجة: قلبت الدراسة السيناريو تماماً. كانت الإنجليزية في الواقع في منتصف القائمة! لم تكن الأفضل.
- الرابحون المفاجئون: كان أداء الروبوت أفضل في الإسبانية والإيطالية. كان الأمر يشبه اكتشاف أن طاهياً يدعي أنه فرنسي هو في الواقع خبير في المطبخ الإيطالي.
- الخاسرون: عانى الروبوت أكثر مع اليابانية واليونانية، رغم أنها لغات عالمية رئيسية.
3. لماذا فازت الإسبانية وخسرت الإنجليزية؟
التشبيه: فكر في دماغ الروبوت كمكتبة حيث تُخزن الكتب في "كتل" تسمى الرموز (tokens).
- مشكلة الرموز: تخيل أنك تحاول قراءة كتاب حيث يتم تقسيم كل كلمة إلى قطع صغيرة وغريبة. في الإنجليزية، غالباً ما يضطر الروبوت إلى تقطيع الكلمات إلى قطع صغيرة كثيرة (رموز) لفهمها. أما في الإسبانية والإيطالية، فتتدفق الكلمات معاً بشكل طبيعي أكثر لطريقة "تقطيع" النصوص الخاصة بالروبوت.
- النتيجة: لأن الروبوت يستطيع معالجة الإسبانية والإيطالية بكفاءة أكبر (عدد أقل من "القطع" التي يجب إدارتها)، فإنه يفهم القصة بشكل أفضل. ومن المفارقات أن الإنجليزية "فوضوية" قليلاً بالنسبة لآليات الروبوت الداخلية.
4. انحياز "WEIRD" (فقاعة الدول الغربية)
التشبيه: تخيل أن الروبوت قد تم تدريبه في الغالب على كتب كتبها أشخاص أثرياء ومتعلمون في دول غربية (مجموعة يسميها الباحثون WEIRD: غربية، متعلمة، صناعية، غنية، ديمقراطية).
النتيسة: قد تعتقد أن هذا يعني أن الروبوت رائع في اللغات الغربية. لكن الدراسة تظهر أنه مجرد كون اللغة "غربية" (مثل الإنجليزية أو الألمانية) لا يضمن فهم الروبوت لها بشكل مثالي.
- المشكلة الحقيقية: يعاني الروبوت أكثر مع اللغات التي تستخدم نصوصاً غير لاتينية (مثل اليابانية أو الصينية أو العربية) و تتوفر عنها بيانات أقل. الأمر يشبه أن الروبوت يرتدي نظارات مضبوطة تماماً للخطوط اللاتينية، لكنها ضبابية قليلاً للخطوط الأخرى. إذا كانت اللغة "غير لاتينية" و"قليلة الموارد" في آن واحد، فإن الروبوت يحاول فعلياً قراءة خريطة في الظلام.
5. الاستقرار: الروبوت هو روبوت، والبشر هم بشر
التشبيه: تخيل أنك تسأل نفس السؤال لإنسان وروبوت 10 مرات.
- الإنسان: أحياناً تكون متعباً، أو مشتتاً، أو تمر بيوم "سيء"، لذا قد تجيب بشكل مختلف في كل مرة.
- الروبوت: إذا سألت الروبوت نفس السؤال 10 مرات، فإنه عادة ما يعطي نفس الإجابة تماماً في كل مرة.
النتيجة: من حيث الاتساق (الاستقرار)، كانت الروبوتات في الواقع أكثر استقراراً من البشر في معظم اللغات. البشر يتشتتون؛ أما الروبوتات فتتبع برمجتها فحسب. ومع ذلك، فإن هذا الاتساق لا يعني أنهم على صواب—يمكنهم أن يكونوا مخطئين بشكل ثابت!
الخلاصة الكبرى
هذه الدراسة هي بمثابة جرس إنذار. لا يمكننا الافتراض ببساطة أنه بما أن الروبوت يتحدث الإنجليزية، فإنه يفهم العالم.
- "لغز اللغات الرومانسية": من المثير للدهشة أن الروبوت يفهم الإسبانية والإيطالية بشكل أفضل من الإنجليزية.
- الخطر: إذا اعتمدنا على هذه الروبوتات في أمور مهمة (مثل المشورة الطبية أو المساعدة القانونية) في لغات مثل اليابانية أو اليونانية، فقد نحصل على إجابات أقل موثوقية مما نعتقد.
- المستقبل: نحن بحاجة إلى التوقف عن افتراض أن الإنجليزية هي "المعيار الذهبي" وإدراك أن "دماغ" الروبوت يتشكل بطريقة بنائه وما "أكله" من بيانات، وليس فقط بعدد المتحدثين باللغة.
باختة: الروبوت هو متعدد لغات بارع، لكن لديه لهجة مفضلة (الإسبانية/الإيطالية) ونقطة عمياء (النصوص غير اللاتينية). إنه ليس البديل البشري المثالي الذي كنا نأمله، وهو بالتأكيد ليس عبقرياً يقتصر على الإنجليزية فقط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.