From FusHa to Folk: Exploring Cross-Lingual Transfer in Arabic Language Models
تتقصى هذه الورقة البحثية الانتقال عبر اللغات في نماذج اللغة العربية بين اللغة العربية الفصحى ولهجاتها، كاشفةً أنه في حين أن هذا الانتقال ممكن، إلا أنه يعتمد على التوزيع الجغرافي ويتأثر بالتداخل السلبي عندما يتم تدريب النماذج على جميع اللهجات في آن واحد.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل اللغة العربية كأنها تجمع عائلي ضخم وصاخب. على رأس الطاولة يجلس اللغة العربية الفصحى الحديثة، وهو بمثابة "العم الرسمي". هو يتحدث النسخة المهذبة والمنضبطة من اللغة المستخدمة في الأخبار والمدارس والوثائق الرسمية؛ هو الشخص الذي يتعلمه الجميع في المدارس.
ولكن، يتوزع حول الغرفة أبناء العم والخالات والأعمام الذين يتحدثون لهجاتهم المحلية (مثل المصرية، أو السعودية، أو المغربية، أو الشامية). هم يدردشون، ويمزحون، ويرسلون لبعضهم البعض رسائل نصية بهذه النكهات المحلية. بالنسبة لشخص غريب، قد يبدون وكأنهم يتحدثون لغات مختلفة، لكن بالنسبة للعائلة، فجميعهم عرب.
المشكلة؟ أن "الحواسيب الذكية" (نماذج الذكاء الاصطناعي) التي نبنيها، مدربة في الغالب على "العم الرسمي" (الفصحى). ثم نتوقع من هذه الحواسيب أن تفهم وتتحدث بطلاقة مع جميع أبناء العم، رغم أن أصواتهم تختلف تماماً.
هذه الورقة البحثية تسأل: هل يفهم الحاسوب أبناء العم حقاً، أم أنه مجرد يخمن؟
إليك تفصيل تحقيقهم، باستخدام بعض التشبيهات البسيطة:
١. الطريقتان لاختبار الحاسوب
استخدم الباحثون "اختبارين" مختلفين لمعرفة مدى جودة تعامل الحاسوب المدرب على الفصحى مع اللهجات.
الاختبار (أ): "الاختبار المفاجئ" (الاستقصاء - Probing)
تخيل إعطاء الحاسوب سلسلة من المهام القصيرة والمحددة، مثل "استخرج اسم الشخص في هذه الجملة" أو "هل هذه الجملة سعيدة أم حزينة؟".- اختبروا الحاسوب في ثلاث مهام: تحليل المشاعر (هل هي سعيدة أم حزينة؟)، التعرف على الكيانات المسماة (من أو ما الذي تم ذكره؟)، وأجزاء الكلام (هل هذه اسم أم فعل؟).
- النتيجة: الحاسوب بارع في مهام "القواعد" (الأسماء والأفعال) لأن البنية متشابهة عبر جميع اللهجات. لكنه يعاني في مهام "المشاعر" (السخرية، العامية المحلية، والاصطلاحات) لأن هذه الأمور ثقافية وعميقة وخاصة بكل ابن عم.
الاختبار (ب): "اختبار المرآة" (تشابه التمثيل - Representation Similarity)
بدلاً من سؤال الحاسوب عن الإجابات، نظر الباحثون داخل "عقل" الحاسوب. سألوا: "عندما تقرأ جملة بالعامية المصرية، هل تبدو أفكارك الداخلية مشابهة لما تكون عليه عندما تقرأ نفس الجملة بالفصحى؟"- استخدموا أداة رياضية تسمى CKA (فكر فيها كدرجة تشابه من ٠ إلى ١).
- النتيجة: عقل الحاسوب يبدو متشابهاً إلى حد ما، لكنه ليس مرآة مثالية. كلما ابتعدت اللهجة عن الفصحى، ابتعدت "أفكار" الحاسوب عنها أكثر.
٢. عامل "الجغرافيا"
اكتشف الباحثون نمطاً رائعاً: المسافة تفرق.
تخيل خريطة للعالم العربي.
- استُخدمت اليمن كنقطة "مرتكز" (أقرب شيء للفصحى الأصلية).
- اللهجات من الدول القريبة جغرافياً من اليمن (مثل السعودية أو عمان) كانت أسهل بكثير للحاسوب المدرب على الفصحى.
- اللهجات البعيدة (مثل المغرب أو الجزائر في شمال أفريقيا) كانت أصعب بكثير.
الأمر يشبه لعبة "التليفون المقطوع" (الهمس). إذا همست برسالة لشخص يجلس بجانبك مباشرة، ستصل إليه بدقة. أما إذا حاولت الهمس لشخص في الطرف الآخر من الغرفة، فستتشوه الرسالة. الحاسوب يعمل بنفس الطريقة؛ "المسافة الجغرافية" بين اللهجة والفصحى تتنبأ بمدى قدرة الحاسوب على فهمها.
٣. مشكلة "متعدد المواهب" (Jack-of-All-Trades)
اختبر الباحثون أيضاً نماذج "متعددة اللهجات" — وهي حواسيب مدربة على جميع أبناء العم في وقت واحد، على أمل أن تكون المترجم العائلي المثالي.
- المفاجأة: أحياناً، كانت نماذج "متعددة المواهب" هذه تؤدي بشكل أسوأ من النماذج المتخصصة.
- التشبيه: تخيل طباخاً يحاول تعلم كيفية طبخ كل طبق إقليمي في العالم في آن واحد. قد ينتهي به الأمر بصنع "حساء عام" يصلح للجميع، ولكنه سيء جداً لأي شخص يريد طبقاً أصيلاً ومحدداً.
- الحكم: إذا كانت اللهجة تمتلك كمية ضخمة من البيانات (مثل المصرية أو السعودية)، فإن النموذج المتخصص (المدرب على تلك اللهجة فقط) يكون عادةً أفضل. ولكن إذا كانت اللهجة تمتلك بيانات قليلة جداً (مثل بعض لهجات الخليج أو الشام الأصغر)، فإن نموذج "متعدد المواهب" يكون مفيداً أكثر لأنه لا يملك بيانات كافية ليتعلم بمفرده.
٤. الخلاصة الكبرى
تخلص الورقة إلى أنه بينما يمكن للحواسيب المدربة على الفصحى فهم اللهجات، إلا أن هذا الانتقال غير متكافئ.
- يعمل بشكل جيد مع اللهجات القريبة جغرافياً من الفصحى ومع المهام المتعلقة بالقواعد.
- يفشل مع اللهجات البعيدة والمهام التي تتضمن تفاصيل ثقافية عميقة (مثل السخرية أو العامية).
- "لعنة تعدد اللغات": محاولة إجبار نموذج واحد على التحدث بكل اللهجات ببراعة غالباً ما يضر بأداء اللهجات الرئيسية، تماماً كما أن محاولة التحدث بكل لغات العالم قد تجعل لغتك غير متقنة في أي منها.
باختصار: لا يمكنك تعليم الحاسوب "العربية الفصحى" وتتوقع منه أن يفهم فوراً سوقاً شعبياً مغربياً أو تغريدة سعودية. أنت بحاجة إما لتعليمه خصيصاً لتلك المنطقة، أو قبول حقيقة أنه سيكون مرتبكاً بعض الشيء، خاصة إذا كانت تلك المنطقة بعيدة عن المركز "القياسي".
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.