Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "لا هنا ولا هناك: ديناميكيات التمثيل عبر اللغات للنصوص المختلطة لغوياً في المشفرات متعددة اللغات."

1. بيان المشكلة

تُستخدم النماذج اللغوية متعددة اللغات (MLMs) مثل mBERT و XLM-R على نطاق واسع لتحليل النصوص المختلطة لغوياً (مثل الهندية-الإنجليزية: النصوص المختلطة بين الهندية والإنجليزية). ومع ذلك، هناك فجوة كبيرة في فهم كيف تمثل هذه النماذج داخلياً المدخلات المختلطة لغوياً بالنسبة للغاتها المكونة (الإنجليزية والهندية).

• السؤال الجوهري: هل تشكل التمثيلات المختلطة لغوياً جسراً متماسكاً بين اللغتين، أم أنها تشغل حيزاً منفصلاً وهامشياً؟
• الفجوة: تركز الأبحاث الحالية على المحاذاة أحادية اللغة عبر اللغات أو أداء المهام النهائية، تاركة العلاقة الآلية بين التمثيلات المختلطة لغوياً ولغاتها المصدر غير مستكشفة بشكل كافٍ.
• المقايضة: من غير الواضح ما إذا كان تكييف النماذج على البيانات المختلطة لغوياً يحسن الفهم المختلط لغوياً على حساب تدهور المحاذاة أحادية اللغة الأصلية (مثل الإنجليزية-الهندية).

2. المنهجية

أ. بناء مجموعة البيانات

قام المؤلفون ببناء مجموعة نصوص متوازية ثلاثية اللغات موحدة تحتوي على 21,139 ثلاثية جمل متوافقة:

1. الإنجليزية (EN): لغة إنجليزية أحادية اللغة.
2. الهندية (HI): لغة هندية أحادية اللغة بخط ديفاناغاري.
3. المختلطة لغوياً (CM): نص مختلط بين الهندية والإنجليزية بالخط الروماني (هينجليش).

• المصادر: دمج من مجموعات بيانات CM-En Parallel و PHINC و LinCE. تم توليد ترجمات الهندية المفقودة عبر Google Translate والتحقق منها باستخدام IndicTrans2.

ب. النماذج التي تم تقييمها

قيمت الدراسة المشفرات متعددة اللغات القياسية ومتغيراتها المكيفة للخلط اللغوي:

• الأساسي (Base): mBERT، XLM-R.
• المكيف (Adapted): Hing-mBERT، Hing-RoBERTa (تم تدريبهما على L3Cube-HingCorpus).
• المكيف بالخط المختلط (Mixed-Script Adapted): متغيرات تم تدريبها على بيانات تحافظ على الهندية بخط ديفاناغاري إلى جانب الهينجليش بالخط الروماني.

ج. تقنيات التحليل

استخدم المؤلفون أدوات التفسير الآلي لسبر أغوار التمثيلات الداخلية:

1. الاسترجاع عبر اللغات: قياس دقة المحاذاة باستخدام تشابه حاصل الضرب النقطي للجمل المتوازية (EN$\leftrightarrow$HI، EN$\leftrightarrow$CM، HI$\leftrightarrow$CM).
2. محاذاة النواة المركزية (CKA) و SVCCA: تحليل التشابه على مستوى الطبقات لتتبع كيفية تطور المحاذاة عبر طبقات الـ Transformer.
3. الأهمية على مستوى الرمز (Token-Level Saliency): استخدام درجات الأهمية النسبية (RI) لتحديد أي رموز اللغة (الإنجليزية مقابل الهندية) تقود قرار النموذج.
4. الارتياب القائم على الإنتروبيا: قياس مدى قدرة التكييف مع الإنجليزية أو الهندية على تقليل الإنتروبيا (الارتياب) للتمثيل المختلط لغوياً.

د. الحل المقترح: محاذاة ما بعد التدريب ثلاثية اللغات

لمعالجة عدم المحاذاة الملحوظ، قدم المؤلفون مرحلة محاذاة ما بعد التدريب ثلاثية اللغات:

• الهدف: دالة خسارة مشتركة ($L_{align}$) تقلل المسافة الجيبية التمام (cosine distance) بين تضمينات [CLS] للجمل المتوازية بالإنجليزية والهندية والمختلطة لغوياً.
• الصيغة: $L = L_{base} + \lambda \cdot L_{align}$، حيث تشجع $L_{align}$ اللغات الثلاث على احتلال مناطق متقاربة في فضاء التضمين في آن واحد.
• المقياس: تقديم درجة المحاذاة عبر اللغات (CLAS) لقياس المحاذاة المتوازنة، مع مراعاة متوسط الدقة، والتحيز الاتجاهي، والتباين عبر الأزواج.

3. النتائج الرئيسية

أ. ديناميكيات التمثيل في النماذج القياسية

• الارتباط الضعيف: في النماذج العادية، تكون التمثيلات المختلطة لغوياً (CM) "مرتبطة بشكل فضفاض" بكل من الإنجليزية والهندية، حيث تشغل حيزاً طرفياً.
• مقايضة التكييف: يؤدي التدريب المسبق المستمر على البيانات المختلطة لغوياً إلى تحسين كبير في محاذاة الإنجليزية–CM، ولكنه يقلل من محاذاة الإنجليزية–الهندية. يسحب النموذج التمثيلات الإنجليزية نحو المنوال (manifold) المختلط لغوياً، مما يكسر الجسر أحادي اللغة الأصلي.
• الاعتماد على الخط: يحسن الحفاظ على الهندية بخط ديفاناغاري أثناء التكييف من محاذاة HI–CM بشكل كبير مقارنة بالتدريب المعتمد على الخط الروماني فقط.

ب. رؤى التفسير

• هيمنة الإنجليزية: تعالج النماذج النصوص المختلطة لغوياً بشكل أساسي من خلال فضاء دلالي تهيمن عليه الإنجليزية. تتلقى الرموز الإنجليزية درجات أهمية أعلى بكثير من الرموز الهندية.
• الإشارات المتكاملة: بينما تقود الإنجليزية التمثيل، توفر الهندية بالخط الأصلي إشارات تكميلية تقلل من الارتياب التمثيلي. يؤدي التكييف مع كلتا اللغتين إلى تحقيق أدنى مستويات الإنتروبيا، مما يشير إلى أن الخط الأصلي ضروري لتثبيت المعنى المختلط لغوياً.
• التحول عبر الطبقات: في النماذج المكيفة، ينتقل ذروة المحاذاة من الطبقات الوسطى (النموذجي في النماذج العادية) إلى الطبقات المبكرة بالنسبة لـ EN–CM، بينما تضعف محاذاة EN–HI.

ج. فعالية المحاذاة ثلاثية اللغات

• المحاذاة المتوازنة: نجح هدف المحاذاة ثلاثي اللغات المقترح في استعادة محاذاة الإنجليزية–الهندية المتدهورة مع الحفاظ على محاذاة قوية للإنجليزية–CM.
• تحسن CLAS: حققت الطريقة مكاسب كبيرة في درجة المحاذاة عبر اللغات (على سبيل المثال، ارتفعت CLAS لنموذج mBERT من 14.20 إلى 50.97).
• المكاسب في المهام النهائية: أظهرت النماذج ذات المحاذاة ثلاثية اللغات تحسناً في الاتساق عبر اللغات (القوة عبر مجموعات اختبار CM و EN و HI) في المهام النهائية:
  • تحليل المشاعر: تحسين درجات الاتساق بنسبة ~36% لنموذج mBERT.
  • كشف خطاب الكراهية: مكاسب كبيرة في الاتساق، خاصة عند الضبط الدقيق على البيانات الهندية.

4. المساهمات الرئيسية

1. المتن المتوازي ثلاثي اللغات: إنشاء مجموعة نصوص متوازية منهجية (EN, HI, CM) مكنت من أول درة ميكانيكية لديناميكيات التمثيل المختلط لغوياً.
2. التحليل الآلي: اكتشاف أن التكييف المختلط لغوياً يخلق مقايضة بين المحاذاة المختلطة لغوياً والمحاذاة أحادية اللغة، وأن النماذج تعتمد بشدة على الدلالات الإنجليزية بينما تستخدم الخط الأصلي لتقليل الارتياب.
3. هدف المحاذاة ثلاثي اللغات: طريقة مبتكرة لما بعد التدريب تجبر على المحاذاة المتزامنة للغات الثلاث، مما يمنع تدهور الجسور أحادية اللغة.
4. مقياس جديد: تقديم CLAS لقياس المحاذاة المتوازنة عبر اللغات.
5. التحقق التجريبي: إثبات أن تثبيت التمثيلات المختلطة لغوياً في لغاتها المكونة يحسن المتانة في مهام تحليل المشاعر وخطاب الكراهية.

5. الأهمية

تغير هذه الورقة البحثية بشكل جذري فهم كيفية تعامل النماذج متعددة اللغات مع النصوص المختلطة لغوياً. إنها تتحدى الافتراض بأن التكييف المختلط لغوياً مفيد دائماً، وتكشف أنه يمكن أن يؤدي إلى "إلغاء تعلم" المحاذات أحادية اللغة.

• الأثر النظري: تثبت أن النص المختلط لغوياً ليس لغة ثالثة متميزة، بل يعتمد على "أساس توأم" لمكوناته، حيث تعمل الإنجليزية كمرساة أساسية بينما يوفر الخط الأصلي إزالة الغموض الضرورية.
• الأثر العملي: تقدم استراتيجية المحاذاة ثلاثية اللغات طريقة خفيفة وفعالة لتحسين النماذج متعددة اللغات دون الحاجة إلى مجموعات بيانات تدريب مسبق ضخمة وجديدة. وهي تضمن بقاء النماذج قوية عبر جميع تنوعات اللغات (أحادية اللغة والمختلطة)، وهو أمر بالغ الأهمية للتطبيقات الواقعية في المجتمعات متعددة اللغات.

القيود: تركز الدراسة على الهندية-الإنجليزية؛ والعمل المستقبلي يجب أن يعمم على أزواج لغوية أخرى. بالإضافة إلى ذلك، تعتمد مجموعة البيانات على الترجمة الآلية، مما قد يؤدي إلى تحولات دلالية طفيفة.