Recent Advancements and Challenges of Turkic Central Asian Language Processing
تستعرض هذه الورقة الحالة الراهنة لمعالجة اللغات الطبيعية للغات التركية في آسيا الوسطى (الكازاخية، والأوزبكية، والقيرغيزية، والتركمانية)، مع تسليط الضوء على التقدم الأخير في جمع مجموعات البيانات وتطوير النماذج، مع معالجة تحديات ندرة الموارد المستمرة وتحديد اتجاهات البحث المستقبلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم تكنولوجيا اللغة (مثل Siri أو ترجمة Google أو مصححات الإملاء) كمكتبة ضخمة تعج بالحركة. في هذه المكتبة، تشبه بعض اللغات "الأعمال السينمائية الضخمة الأكثر مبيعاً" التي تمتلك آلاف النسخ، والاقتباسات السينمائية، والنوادي المعجبة؛ واللغة الإنجليزية هي "العمل السينمائي الضخم" الأسمى.
ثم تأتي اللغات التركية في آسيا الوسطى (الكازاخية، والأوزبكية، والقيرغيزية، والتركمانية). في هذه المكتبة، تبدو هذه اللغات مثل المخطوطات اليدوية النادرة. فهي يتحدث بها حوالي 80 مليون شخص، لكنها تمتلك نسخاً قليلة جداً، ولا توجد لها اقتباسات سينمائية، ويواجه أمناء المكتبة (باحثو الذكاء الاصطناعي) صعوبة في العثور على صفحات كافية لتعليم الحواسيب كيفية القراءة بها.
هذه الورقة هي تقرير حالة عن هذه المخطوطات النادرة. وهي تسأل: ماذا نملك؟ وما الذي ينقصنا؟ وكيف يمكننا بناء مكتبة أفضل لهذه اللغات؟
إليك تفصيل نتائجهم، باستخدام بعض التشبيهات من الحياة اليومية:
1. "التشابه العائلي" (السمات اللغوية)
تخيل هذه اللغات الأربع كأشقاء في عائلة كبيرة. جميعهم يتحدثون بنفس اللكنة ويتبعون نفس قواعد العائلة (القواعد النحوية).
- القواعد: جميعها تضع الفعل في نهاية الجملة (مثل قول "أنا التفاحة آكل" بدلاً من "أنا آكل التفاحة").
- التعقيد: هي لغات "إلصاقية" (Agglutinative). تخيل البناء بقطع "الليغو" (LEGO). في الإنجليزية، قد يكون لديك كلمة منفصلة لـ "un-happi-ness". أما في هذه اللغات، فأنت تقوم بتركيب العديد من القطع الصغيرة (اللواحق) على كتلة واحدة كبيرة (جذر الكلمة) لتغيير المعنى. هذا يجعل الأمر صعباً على الحواسيب لأن عليها اكتشاف كيفية تفكيك هذه القطع لفهم المعنى.
- مشكلة الكتابة: بعض الأشقاء يكتبون بالأحرف اللاتينية (مثل الأوزبكية)، بينما لا يزال آخرون يستخدمون السيريلية (الحروف الروسية، مثل الكازاخية). الأمر يشبه محاولة تعليم طفل القراءة بينما يستخدم أحد أشقائه قلماً أحمر والآخر قلماً أزرق. هذا يربك الحاسوب.
2. "فجوة الموارد" (توافر البيانات)
نظر المؤلفون في مقدار "بيانات التدريب" (النصوص، والصوت، والصور) الموجودة لكل لغة. وقد قاموا بترتيبها مثل لوحة صدارة في ألعاب الفيديو:
- 🥇 الكازاخية (النجم الصاعد): تمتلك هذه اللغة أكبر قدر من البيانات. إنها تشبه شركة ناشئة متنامية حصلت للتو على استثمار كبير. لديهم مكتبات ضخمة من النصوص، والتسجيلات الصوتية، وحتى مجموعات بيانات للغة الإشارة والخط اليدوي. إنهم قريبون من امتلاك مجموعة أدوات كاملة.
- 🥈 الأوزبكية (الطموحة): هي في المركز الثاني. تمتلك الأوزبكية قدراً جيداً من البيانات، خاصة في أشياء مثل تحليل المشاعر في المراجعات، لكنها لا تزال تحاول اللحاق بالكازاخية.
- 🥉 القيرغيزية والتركمانية (المتأخرتان): هاتان اللغتان في وضع صعب. الأمر يشبه محاولة خبز كعكة باستخدام بضع فتات من الدقيق فقط. هناك القليل جداً من البيانات المتاحة. بالنسبة للتركمانية، يكاد يكون وجودها معدوماً. الباحثون يعتمدون بشكل أساسي على "كشط" (Scraping) أي نصوص عشوائية يجدونها على الإنترنت، وهي ليست دائماً عالية الجودة.
3. لماذا المكتبة فارغة جداً؟ (أسباب الندرة)
لماذا لا تمتلك هذه اللغات المزيد من البيانات؟ تشير الورقة إلى ثلاثة مسببات رئيسية:
- الظل الروسي: لعقود من الزمن، كانت الروسية هي اللغة المهيمنة في المدارس والحكومة والإعلام في هذه المنطقة. إنه يشبه إذا كان الجميع في بلدة ما يتحدثون الإنجليزية على مائدة الطعام، رغم أن لغتهم الأصلية شيء آخر. لم يكتب الناس كثيراً بلغاتهم الأصلية عبر الإنترنت، لذا لا يوجد تاريخ رقمي للتعلم منه.
- فجوة الإنترنت: لا يمكنك بناء مكتبة رقمية إذا لم يتمكن الناس من الاتصال بالإنترنت. في بعض هذه البلدان، لا يزال الوصول إلى الإنترنت محدوداً. وإذا لم تتمكن من الاتصال بالإنترنت، فلا يمكنك المساهمة في ويكيبيديا، أو كتابة مدونة، أو رفع مقطع فيديو.
يدخل في ذلك أيضاً فراغ التمويل: بناء الذكاء الاصطناعي أمر مكلف، ويتطلب مالاً ومدارس متخصصة. وبينما تظهر بعض المراكز التكنولوجية، لا توجد برامج حكومية مخصصة تحديداً لتعليم الحواسيب هذه اللغات.
4. "شفرات الغش" (كيف يصلح الباحثون الأمر)
بما أنهم لا يستطيعون مجرد الانتظار حتى يبدأ ملايين الأشخاص في الكتابة بهذه اللغات، يستخدم الباحثون حِيلاً ذكية:
- التعلم بنقل المعرفة (استراتيجية "الأخ الأكبر"): بما أن اللغة التركية (وهي لغة ذات صلة) تمتلك مكتبة ضخمة من البيانات، يقوم الباحثون بتعليم الحاسوب باستخدام التركية أولاً، ثم يطلبون منه "ترجمة" تلك المعرفة إلى الكازاخية أو الأوزبكية. إنه يشبه تعليم طفل قيادة شاحنة من خلال السماح له بالممارسة في سيارة صغيرة أولاً.
- تعزيز البيانات (استراتيجية "آلة التصوير"): إذا كان لديك كومة صغيرة من النصوص، يمكنك استخدام الذكاء الاصطناعي لإعادة كتابتها بطرق مختلفة لتبدو وكأنك تملك المزيد منها. إنه يشبه أخذ صورة واحدة واستخدام الفلاتر لإنشاء 100 نسخة مختلفة قليلاً لتدريب الحاسوب.
- نقل الحروف (Transliteration): بما أن بعض اللغات تستخدم أبجديات مختلفة (اللاتينية مقابل السيريلية)، يعلم الباحثون الحاسوب قراءة كليهما كما لو كانا لغة واحدة، مما يقلل من الفوارق بين النصوص.
5. المشهد التقني الحالي
- الكازاخية: تمتلك أدوات تعمل في التعرف على الكلام (الاستماع)، والترجمة، وتحديد الأسماء في النصوص. وهي الأكثر تقدماً.
- الأوزبكية: لديها بعض أدوات الكلام والترجمة، لكنها ليست مصقولة مثل أدوات الكازاخية بعد.
- القيرغيزية والتركمانية: تمتلك معظمها أدوات أساسية فقط. إذا طلبت من الحاسوب ترجمة جملة أو التعرف على الكلام في هاتين اللغتين اليوم، فمن المرجح أن يعطيك إجابة غير مفهومة.
الخلاصة
تخلص الورقة إلى أنه بينما حققنا تقدماً كبيراً مع الكازاخية، فإن اللغات الثلاث الأخرى لا تزال في "منطقة الإنشاءات".
ولإصلاح ذلك، نحتاج إلى:
- مزيد من البيانات: يحتاج الناس إلى الكتابة، والتحدث، والنشر عبر الإنترنت بلغاتهم الأصلية.
- أدوات أفضل: يجب أن نتوقف عن معاملة هذه اللغات كـ "أفكار ثانوية" ونبني نماذج محددة لها.
- العمل الجماعي: بما أن هذه اللغات متشابهة جداً، فإن مساعدة إحداها (مثل الكازاخية) يمكن أن تساعد الأخريات (مثل القيرغيزية) من خلال حيل "نقل المعرفة" (الأخ الأكبر).
باخت-القول: التكنولوجيا موجودة للتحدث بهذه اللغات، ولكن في الوقت الحالي، الحواسيب صامتة في الغالب. نحن بحاجة إلى تغذيتها بمزيد من البيانات وتعليمها قواعد العائلة حتى تتمكن أخيراً من الانضمام إلى المحادثة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.