Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources
تقدم هذه الورقة "مركز سواباشا للموارد" (Swa-bhasha Resource Hub)، وهو منصة متاحة للجمهور توفر مجموعة شاملة من البيانات والخوارزميات لعملية تحويل النصوص من السنغالية المكتوبة بالأحرف الرومانية إلى السنغالية الأصلية التي تم تطويرها بين عامي 2020 و2025، إلى جانب تحليل مقارن للأدوات الحالية للنهوض بمعالجة اللغات الطبيعية للغة السنغالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل لغة السينهالا كأنها حديقة جميلة ومعقدة. لعقود من الزمن، حاول الناس في سريلانكا دخول هذه الحديقة باستخدام مجموعة مختلفة من المفاتيح: لوحة مفاتيح اللغة الإنجليزية. ولأنهم لم يمتلكوا لوحة مفاتيح بالسينهالا في متناول أيديهم، بدأوا بكتابة أصوات السينهالا باستخدام الحروف الإنجليزية. وقد أطلقوا على ذلك اسم "سينجليش" (Singlish) (السينهالا المكتوبة بالأحرف اللاتينية).
اعتبر "السينجليش" بمثابة شفرة سرية أو لهجة من الأخطاء المطبعية. إنها سريعة ومريئة، لكنها فوضوية. كلمة واحدة تُكتب كـ "Adaraya" قد تعني "حب" أو "إغاثة"، اعتماداً على السياق. الأمر يشبه لو كتبت كلمة "bat" وكان يمكن أن تعني الحيوان، أو أدوات الرياضة، أو فعلاً، والحاسوب ليس لديه أدنى فكرة عما تقصده دون قراءة الجملة بأكملها.
هذه الورقة هي تقرير أداء وصندوق أدوات من فريق من الباحثين (فريق Swa-bhasha) الذين قضوا سنوات في بناء جسر لمساعدة الحواسيب على فهم هذه الشفرة الفوضوية وتحويلها مرة أخرى إلى لغة سينهالا سليمة وجميلة.
إليك ما بنوه، مشروحاً ببساطة:
1. المشكلة: لعبة "الضياع في الترجمة"
لاحظ الفريق أنه بينما تبرع الحواسيب في ترجمة الإنجليزية إلى الفرنسية، فإنها تعاني مع ترجمة "السينجليش" إلى السينهالة.
- الفوضى: يكتب الناس بطرق مختلفة. البعض يحذف الحروف المتحركة (يكتبون "klna" بدแทน "kalana")، والبعض يستخدم قواعد الإملاء الإنجليزية، والبعض الآخر يخلط بين الكلمات الإنجليزية والسينهالا في نفس الجملة.
- الغموض: الصداع الأكبر هو أن كلمة واحدة مكتوبة يمكن أن تحمل معانٍ متعددة. يجب على الحاسوب أن يكون محققاً ليعرف أي معنى يناسب القصة.
2. صندوق الأدوات: كيف أصلحوا الأمر
لم يبنِ الفريق مجرد أداة واحدة؛ بل بنوا ورشة عمل كاملة تضم آلات مختلفة، تصبح أكثر ذكاءً مع كل جيل.
روبوت كتاب القواعد (Swa Bhasha 1.0):
- كيف كان يعمل: تخيل روبوتاً يتبع دليل تعليمات صارماً. إذا رأى حرف "k"، يعرف أنه يحتاج إلى حرف متحرك بعده. يستخدم بحثاً "ضبابياً" (مثل مصحح إملائي يتوقع الكلمة) ليجد أقرب تطابق في القاموس.
- النتيجة: كان جيداً، لكنه واجه صعوبات عندما خرق الناس القواعد (مثل حذف الحروف المتحركة).
المحقق الهجين (Swa Bhasha 2.0 و نموذج N-gram):
- كيف كان يعمل: دمجوا "روبوت كتاب القواعد" مع "محقق إحصائي". نظر هذا المحقق في ملايين الجمل ليتعلم الأنماط. استخدم هيكل "Trie" (هيكل شجري ذكي) لاقتراح الكلمات، تماماً مثل خاصية الإكمال التلقائي في الهاتف ولكن للغة السينهالا.
- النتيجة: كان أفضل بكثير في تخمين الكلمة الصحيحة، لكنه ظل يرتبك أمام الجمل المعقدة جداً.
القارئ الخارق (BERT و Transformers):
- كيف كان يعمل: هذا هو "القارئ الخارق" للفريق. بدلاً من مجرد النظر في الكلمات الفردية، يقرأ الجملة بأكملها دفعة واحدة، مستوعباً السياق كما يفعل البشر. استخدموا نموذج ذكاء اصطناعي قوياً يسمى BERT (وهو بمثابة عقل قرأ الإنترنت الكامل من النصوص بالسينهالا).
- الحيلة: عندما يرى الذكاء الاصطناعي كلمة محيرة، يضع "قناعاً" فوقها ويسأل: "بناءً على الكلمات التي قبل وبعد هذه الكلمة، ما هي الكلمة التي تناسب هذا المكان بشكل أفضل؟"
- النتيجة: كان هذا هو البطل. لقد حل مشاكل الغموض بشكل أفضل من أي طريقة سابقة، محققاً دقة تقترب من المثالية في الاختبارات.
متخصص خلط اللغات (Code-Mixing):
- كيف كان يعمل: غالباً ما يخلط الناس بين الإنجليزية والسينهالا في جملة واحدة (مثلاً: "I went to the kade [المحل]"). بنى الفريق نموذجاً خاصاً يعمل كمترجم يتحدث اللغتين بطلاقة، ويتعامل مع هذا الخلط دون ارتباك.
3. المكتبة: البيانات التي جمعوها
لا يمكنك تعليم طفل القراءة بدون كتب، ولا يمكنك تعليم الذكاء الاصطناعي بدون بيانات. أدرك الفريق أنه لا توجد "كتب مدرسية" جيدة للسينجليش، لذا كتبوا كتبهم الخاصة.
- مكتبة "Swa-Bhasha": جمعوا أكثر من 7 ملايين كلمة وآلاف الجمل من الحياة الواقعية (مثل تعليقات يوتيوب ووسائل التواصل الاجتماعي). هذا يشبه جمع كل ملاحظة فوضوية كتبها شخص من سريلانكا لتعليم الحاسوب كيف يكتب الناس في الواقع.
- اختبار "الغموض": أنشأوا اختباراً خاصاً حيث يكون للكلمة الواحدة معنيان. اختبروا ذكاءهم الاصطناعي على هذا الاختبار ليروا ما إذا كان بإمكانه اختيار المعنى الصحيح بناءً على القصة.
- مجموعة "خلط اللغات": جمعوا أمثلة لأشخاص يخلطون بين الإنجليزية والسينهالا، وهو عادة شائعة تم تجاهلها سابقاً من قبل الباحثين.
4. النتائج: من فاز بالسباق؟
اختبر الفريق أدواتهم مقابل طرق أخرى (مثل أدوات جوجل أو الأنظمة القديمة القائمة على القواعد).
- الطريقة القديمة: كانت الأنظمة القديمة القائمة على القواعد تشبه معلماً صارماً؛ فقد فشلت عندما خرق الطلاب القواعد.
- الطريقة الجديدة: كانت نماذج "القارئ الخارق" (المعتمدة على BERT) تشبه مرشداً حكيماً. لقد فهموا السياق وحصلوا على الإجابات الصحيحة في كل مرة تقريباً.
- النتيجة: في الاختبارات، حقق أفضل نموذج لديهم درجة 91% (درجة BLEU) وارتكب أخطاء قليلة جداً، بينما ارتكبت النماذج القديمة الكثير من الأخطاء.
5. ما الخطوة التالية؟
يعمل الفريق حالياً على ميزة النص التنبؤي. تخيل لوحة مفاتيح لا تكتفي فقط بترجمة ما كتبته، بل تخمن ما ستكتبه تالياً، حتى لو كنت تكتب بأسلوب شخصي وفوضوي. إنهم يستخدمون تقنية تعلم خاصة (Meta-Learning) لتمكين لوحة المفاتيح من تعلم عاداتك الخاصة في الكتابة بسرعة، دون الحاجة لتخزين بياناتك الخاصة على خادم.
ملخص
بنى فريق Swa-bhasha جسراً بين الطريقة غير الرسمية والفوضوية التي يكتب بها السريلانكيون باستخدام لوحات المفاتيح الإنجليزية، وبين خط السينهالا الرسمي والجميل. بدأوا بكتب قواعد بسيطة، ثم انتقلوا إلى المحققين الإحصائيين، وأخيراً بنوا "قارئاً خارقاً" من الذكاء الاصطناعي يفهم السياق. كما بنوا المكتبات الضخمة من البيانات اللازمة لتعليم هذه الأنظمة. إن عملهم يثبت أنه مع الأدوات المناسبة، يمكن حتى للغات ذات الموارد المحدودة مثل السينهالا أن تفهمها الحواسيب بشكل مثالي، حتى عندما يكتبها الناس على عجل.
ملاحظة هامة: تركز الورقة حصرياً على تكنولوجيا ترجمة النصوص والبيانات المستخدمة لتدريبها. وهي لا تدعي وجود تطبيقات طبية، أو استخدامات سريرية، أو منتجات مستقبلية محددة تتجاوز أدوات البحث والشيفرة مفتوحة المصدر التي أصدروها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.