Automatically Detecting Code-Switching Between Nigerian Pidgin English and English

في المشاهد اللغوية الصاخبة والمتعددة اللغات في نيجيريا، نادراً ما تكون اللغة مجرىً واحداً ثابتاً؛ بل هي تيار ديناميكي يتدفق فيه لسانان غالباً معاً في الجملة الواحدة. هذه الممارسة، المعروفة باسم "التبديل اللغوي" (code-switching)، تحدث عندما ينتقل المتحدث بسلاسة بين الإنجليزية القياسية و"البيجين النيجيري" (Nigerian Pidgin English)، وهي لغة كريول حيوية يستخدمها الملايين كجسر عبر المجموعات العرقية المتنوعة. وبالنسبة للحواسيب، التي تعتمد على قواعد صارمة وفئات واضحة لفهم النصوص، يمثل هذا التدفق لغزاً كبيراً. فغالباً ما تكافح الأدوات التقليدية لتحديد أين تنتهي لغة وتبدأ الأخرى، خاصة عندما تفتقر اللغة الثانية، وهي "البيجين"، إلى قواعد إملائية موحدة وتتنوع بشكل واسع حسب المناطق. وبدون وسيلة لتحديد هذه التحولات بدقة، لا تستطيع الحواسيب معالجة المحادثات الغنية مختلطة اللغات التي تحدد الحياة اليومية للملايين بشكل فعال، مما يترك جزءاً هائلاً من التواصل البشري غير مرئي للتكنولوجيا الرقمية.

ولحل هذه المشكلة، شرع باحثون في جامعة بانجور في بناء نوع جديد من الخرائط لهذه النصوص المختلطة اللغوية. بدأوا بجمع مجموعة ضخمة من الكتابات الواقعية، حيث جمعوا قصصاً من ثلاثين كتاباً مختلفاً، وآلاف التعليقات من منتدى عبر الإنترنت، ومئات المقالات الإخبارية. وقد ضمن هذا المزيج المتنوع التقاط النطاق الكامل لكيفية تحدث الناس وكتابتهم، بدءاً من البنية الرسمية للتقارير الإخبارية وصولاً إلى التبادلات السريعة والعفوية لمستخدمي الإنترنت. ثم أنشأ الفريق مجموعة بيانات "الحقيقة الأرضية" (ground truth)، وهي دليل مرجعي تم التحقق منه بشرياً، حيث قام خبراء بشريون بتحديد كل نقطة ينتقل فيها المتحدث من الإنجليزية إلى البيجين أو العكس يدوياً. وقد عملت هذه الخريطة التي تحقق منها البشر كمعيار ذهبي يتم اختبار جميع نماذج الكمبيوتر بناءً عليه.

قام الباحثون بعد ذلك بتدريب أنواع مختلفة من البرامج الحاسوبية لتعلم كيفية رصد هذه التحولات بمفردها. فقد جربوا الأدوات المعتادة في مجال الذكاء الاصطناعي، مثل نماذج التعلم العميق التي تحاول محاكاة الطريقة التي تعالج بها الأدمغة البشرية تسلسلات الكلمات. كما اختبروا المصنفات الإحصائية التقليدية التي تبحث عن أنماط في مجموعات الحروف. ومع ذلك، كانت الأداة الأكثر إثارة للدهشة وفعالية هي شيء مختلف تماماً: نموذج قائم على الضغط (compression-based model). وببساطة، يعمل هذا النوع من البرامج من خلال تعلم الأنماط الإحصائية لكيفية تتابع الحروف وراء بعضها البعض في لغة معينة، تماماً مثل شخص قرأ كتاباً لمرات عديدة لدرجة أنه يستطيع التنبؤ بالكلمة التالية دون تفكير. وقد استخدم الباحثون طريقة محددة تسمى "التنبؤ بالمطابقة الجزئية" (Prediction by Partial Matching)، والتي تسمح للحاسوب بتحليل النص حرفاً بحرف، وبناء خريطة احتمالية لما سيأتي بناءً على السياق المباشر.

وعندما وضع الفريق هذه البرامج المختلفة للاختبار مقابل خريطتهم التي تحقق منها البشر، كانت النتائج كاشفة. فقد عانت نماذج التعلم العميق، التي تتطلب غالباً كميات هائلة من البيانات لتعمل بشكل جيد، لمواكبة الأمر، وحققت درجات دقة أقل من المتوقع. وأدت النماذج الإحصائية التقليدية أداءً أفضل، حيث وصل نوع معين من مصنفات "الغابة العشوائية" (random forest classifier) إلى دقة بلغت 89 بالمائة. ومع ذلك، فإن النماذج القائمة على الضغط، التي لا تحتاج إلى مجموعات بيانات ضخمة للتعلم، قدمت أداءً يضاهي أفضل النماذج التقليدية، حيث حققت أيضاً دقة بلغت 89 بالمائة. وما جعل هذه النماذج القائمة على الضغط مثيرة للإعجاب بشكل خاص هو سرعتها وكفاءتها؛ فبينما استغرقت النماذج الأخرى وقتاً أطول في التدريب والمعالجة، استطاعت النماذج القائمة على الضغط تعلم أنماط اللغة ثم تحليل النصوص الجديدة في ثوانٍ معدودة، وبأقل قدر من القدرة الحوسبية.

كما كشفت الدراسة عن تفاصيل مثيرة للاهتمام حول اللغات نفسها. فمن خلال تحليل النص، وجد الباحثون أن "البيجين النيجيري" يميل إلى استخدام مفردات أكثر تكثيفاً، حيث يعتمد بكثافة على مجموعة أصغر من الكلمات عالية التكرار مقارنة بالمفردات الأوسع والأكثر تنوعاً للإنجليزية القياسية. وقد ساعد هذا الاختلاف في البنية نماذج الكمبيوتر على التمييز بين الاثنين، حيث كانت الأنماط الإحصائية لتسلسل الحروف في "البيجين" متميزة بما يكفي ليتم التعرف عليها حتى بدون قاموس ضخم. وأظهرت "مصفوفات الارتباك" (confusion matrices)، التي توضح بالضبط أين ارتكبت النماذج أخطاءها، أن النماذج القائمة على الضغط كانت جيدة بشكل خاص في تحديد "البيجين"، حيث حددت مقاطع "البيجين" بدقة تقارب 93 بالمائة، رغم أنها أخطأت أحياناً في اعتبار بعض النصوص الإنجليزية "بيجين".

في نهاية المطاف، يثبت هذا البحث أنك لا تحتاج دائماً إلى أكثر أنواع الذكاء الاصطناعي تعقيداً واستهلاكاً للبيانات لحل المشكلات اللغوية الصعبة. فبالنسبة للغات ذات الموارد المنخفضة مثل "البيجين النيجيري"، والتي تفتقر إلى الأرشيفات الرقمية الهائلة المتاحة للغات العالمية الكبرى، يمكن للمناهج الإحصائية الأبسط أن تكون فعالة بقدر الشبكات العصبية الأكثر تقدماً. لقد أثبتت النماذج القائمة على الضغط أنها بديل قوي وسريع وفعال، قادر على تقسيم النصوص المختلطة اللغات بدقة عالية. ومن خلال توفير مجموعة بيانات جديدة تم التحقق منها يدوياً وإثبات جدوى هذه النماذج خفيفة الوزن، فتح الباحثون باباً أمام أدوات مستقبلية يمكنها أخيراً فهم ومعالجة المحادثات الغنية مختلطة اللغات لملايين الأشخاص، مما يجعل التكنولوجيا الرقمية أكثر شمولاً لمتحدثي اللغات المتنوعة والمتطورة.