Code-Mixed Corpora for Indian Social Media: Baselines and Insights for Hinglish Language Identification
تقدم هذه الورقة نموذجاً مرجعياً خفيف الوزن يعتمد على تقنيات TF-IDF على مستوى الحرف والانحدار اللوجستي لتحديد لغة "الهينجليش" (Hinglish) على مستوى الرمز، والذي حقق دقة بلغت 95.92% على مجموعة بيانات COMI-LINGUA، متفوقاً بذلك على النماذج متعددة اللغات بنسبة 7% تقريباً مع تقديم تحليل نقدي للأخطاء وخارطة طريق لتقنيات اللغة الشاملة في المستقبل في الهند.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل الإنترنت كأنه ساحة مدينة عالمية صاخبة ومزدحمة. في هذه الساحة، يتجاذب الناس من بلدان مختلفة أطراف الحديث، لكن الكثير منهم يتحدثون لهجة هجينة فريدة من نوعها. في الهند، تُسمى هذه اللهجة "هينجليش" (Hinglish)، وهي مزيج حيوي من الهندية والإنجليزية التي غالباً ما تُكتب باستخدام الأبجدية الرومانية (نفس الحروف التي نستخدمها في الإنجليزية). إنها لغة الميمز (memes)، ومجموعات الواتساب، وتعليقات وسائل التواصل الاجتماعي. ومع ذلك، فإن تعليم الحواسيب فهم هذا المزيج يشبه محاولة تعليم روبوت فرز كومة من قطع "الليجو" المختلطة، حيث تكون بعض القطع مطلية بكلمات هندية، وبعضها بالإنجليزية، وكثير منها مجرد كلمات مشوهة أو مكتوبة بطرق إملائية مختلفة من قبل أشخاص مختلفين. يسمى هذا المجال من الدراسة "معالجة اللغات الطبيعية" (NLP)، وتسمى المهمة المحددة المتمثلة في معرفة أي كلمة تنتمي إلى أي لغة في جملة مختلطة "تحديد اللغة" (LID). هذا الأمر مهم لأنه إذا لم تتمكن الحواسيب من فهم كيف يتحدث الناس الحقيقيون بالفعل، فلن تتمكن من بناء أدوات مفيدة مثل المترجمات أو محركات البحث التي تعمل للجميع، خاصة في مكان متنوع لغوياً مثل الهند.
تتناول هذه الورقة البحثية المشكلة الصعبة المتمثلة في تعليم الحواسيب تمييز الفرق بين الكلمات الهندية والإنجليزية عندما تكون مختلطة معاً في نص "هينجليش". لاحظ الباحثون أن نماذج الذكاء الاصطناعي الضخمة والمتطورة التي يستخدمها الجميع حالياً (مثل mBERT و XLM-R) تعاني في الواقع من هذه المهمة المحددة. فهذه النماذج الكبيرة، التي تدربت في الغالب على كتب نظيفة ومن لغة واحدة، ترتبك بسبب واقع وسائل التواصل الاجتماعي الفوضوي، حيث تتغير التهجئة باستمرار وتنتقل الكلمات بين اللغات في منتصف الجملة. ولحل هذه المشكلة، لم يقم المؤلف ببناء وحش أكبر أو أكثر تعقيداً؛ بل بنى أداة بسيطة وخفيفة الوزن. لقد استخدم مجموعة بيانات تسمى COMI-LINGUA، والتي تحتوي على أكثر من 100,000 مثال مصنف من قبل خبراء لـ "الهينجليش"، لتدريب نظام مباشر. ينظر هذا النظام إلى قطع صغيرة من الحروف (n-grams للكلمات) ويستخدم تقنية رياضية أساسية تسمى "الانحدار اللوجستي" (Logistic Regression) للتخمين ما إذا كانت الكلمة هندية أم إنجليزية.
كانت النتائج فعالة بشكل مفاجئ. حقق النموذج البسيط دقة بلغت 96.06% على مجموعة التحقق و95.92% على مجموعة الاختبار، مع درجة F1 كليّة (macro-F1) بلغت 0.9509. وهذا أفضل بنسبة 7% تقريباً من أداء تلك النماذج متعددة اللغات الضخمة والمعقدة. يقترح المؤلف أنه بالنسبة لهذه المهمة المحددة، ليس من الضروري استخدام نهج "المطرقة الثقيلة"؛ بل إن "المشرط" الدقيق والمصمم جيداً يعمل بشكل أفضل. ومع ذلك، وجد أيضاً أن النظام ليس مثالياً. فمن خلال تحليل الأخطاء، اكتشف ثلاثة أشياء رئيسية لا تزال تسبب الارتباك للحاسوب: الكلمات القصيرة التي تبدو متشابهة في كلتا اللغتين (مثل "is" أو "me")، والكلمة الهندية نفسها التي تُكتب بطرق إملائية مختلفة عديدة (مثل "acha" أو "achha" أو "achaa")، والكلمات الإنجليزية المستعارة في الجمل الهندية (مثل "party" أو "school") التي تربك النظام عندما يكون النص المحيط بها هندياً. وتخلص الورقة إلى أنه بينما تعد النماذج البسيطة القائمة على الحروف نقطة انطلاق قوية وقابلة للتكرار، فإن العمل المستقبلي يحتاج إلى التركيز على فهم سياق الجملة بأكملها والتعامل مع هذه الاختلافات الإملائية الفوضوية لإتقان "الهينجليش" حقاً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.