🤖 machine learning

Neural Grammatical Error Correction for Romanian

تقدم هذه الورقة أول متن لغوي لتصحيح الأخطاء النحوية (GEC) للغة الرومانية، وتثبت أن التدريب المسبق لنموذج "ترانسفورمر" ضخم على بيانات مُولدة اصطناعياً يحسن الأداء بشكل كبير في هذا السياق منخفض الموارد.

المؤلفون الأصليون: Teodor-Mihai Cotet, Stefan Ruseti, Mihai Dascalu

نُشر 2026-04-28

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Teodor-Mihai Cotet, Stefan Ruseti, Mihai Dascalu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم طفل كيف يتحدث ويكتب ببراعة في لغة ليست شائعة جدًا في عالم الحواسيب، مثل اللغة الرومانية.

معظم الأدوات "الذكية" (مثل التصحيح التلقائي أو التدقيق الإملائي) تشبه المعلمين الذين قضوا حياتهم كلها في مدارس ناطقة بالإنجليزية. إنهم خبراء في الإنجليزية، ولكن عندما يتعلق الأمر بالرومانية، فهم يشبهون السياح الذين يحملون كتيب عبارات أساسي — يمكنهم رصد خطأ إملائي بسيط، لكنهم لا يفهمون "روح" أو قواعد اللغة المعقدة.

تصف هذه الورقة كيف قام فريق من الباحثين من بوخارست ببناء "معلم خارق" لقواعد اللغة الرومانية. إليكم كيف فعلوا ذلك، مقسمًا إلى ثلاث خطوات بسيطة:

1. بناء "الكتاب المدرسي المرجعي" (المتن - Corpus)

لتعليم شخص ما، تحتاج أولاً إلى كتاب مدرسي رائع. لقد أنشأ الباحثون متن RONACC.

فكر في هذا كـ مجموعة من صور "قبل وبعد". لقد أخذوا جملًا حقيقية من البرامج التلفزيونية والإذاعية الرومانية — حيث يتحدث الناس بشكل طبيعي أو يرتكبون أخطاءً — وجعلوا الخبراء يصححونها. أدى ذلك إلى إنشاء "متن ذهبي": 10,000 زوج من الجمل، حيث تكون إحدى الجمل هي النسخة "الفوضوية" والأخرى هي النسخة "المثالية". إنه مفتاح الإجابة النهائي للطالب ليدرس منه.

2. طريقة تدريب "الأخبار المزيفة" (البيانات الاصطناعية)

المشكلة هي أن 10,000 جملة ليست كافية لجعل الكمبيوتر "ذكيًا" حقًا. الأمر يشبه محاولة تعلم لغة كاملة من خلال قراءة كتاب واحد فقط.

لحل هذه المشكلة، استخدم الباحثون خدعة ذكية: لقد لعبوا لعبة "الفراغات" (Mad Libs) مع ويكيبيديا. أخذوا ملايين الجمل المثالية من ويكيبيديا و"أفسدوها" عمدًا. قاموا باستبدال الكلمات، وحذف الحروف، وتخريب ترتيب الكلمات لمحاكاة الأخطاء البشرية.

القياس: تخيل أنك تريد تعليم رياضي محترف كيف يتفاعل عند التعثر. بدلًا من الانتظار حتى يتعثر فعليًا في مباراة حقيقية (وهو أمر نادر)، تقوم بإعداد مسار تدريبي يحتوي على عوائق مبطنة وتعثرات وهمية. من خلال التدرب على هذه الأخطاء "الزائفة"، يصبح الرياضي سريعًا للغاية في التعرف على الأخطاء الحقيقية والتعافي منها عندما تبدأ المباراة الفعلية.

3. "الدماغ" (نموذج المحول - Transformer)

استخدم الباحثون تقنية تسمى المحول (Transformer). فكر في "المحول" كطالب شديد الانتباه. عندما ينظر إلى جملة، فإنه لا ينظر إلى كلمة واحدة في كل مرة فحسب؛ بل ينظر إلى الجملة بأكملها في وقت واحد، ملاحظًا كيف ترتبط كل كلمة بالكلمات الأخرى.

لقد اختبروا نوعين من "الأدمغة":

الدماغ الصغير: طالب صغير وسريع، درس فقط "الكتاب المدرسي الذهبي".
الدماغ الكبير: طالب أكبر بكثير وأكثر قوة، درس أولًا "الأخبار المزيفة" (جمل ويكيبيديا المكسورة) ثم درس بعد ذلك "الكتاب المدرسي الذهبي".

النتيجة: من الفائز؟

فاز الدماغ الكبير بفارق ساحق! من خلال التدرب على الأخطاء "الزائفة" أولًا، طور "إحساسًا فطريًا" بكيفية تدفق اللغة. وعندما جلس أخيرًا لدراسة الكتاب المدرسي الروماني الحقيقي، كان بالفعل خبيرًا في رصد الأنماط.

لماذا يهم هذا؟

معظم التقدم في الذكاء الاصطناعي يحدث في اللغة الإنجليزية لأن الإنجليزية تمتلك كميات هائلة من البيانات. توفر هذه الورقة "مخططًا" للغات أخرى. فهي تظهر أنه حتى لو لم تكن تملك جبلًا من البيانات المثالية، يمكنك استخدام البيانات "الزائفة" وحيل التدريب الذكية لبناء أداة قوية تساعد الناس على التواصل بوضوح أكبر بلغتهم الأم.

ملخص تقني: التصحيح النحوي العصبي للغة الرومانية

بيان المشكلة

يعد التصحيح النحوي (GEC) مهمة صعبة في معالجة اللغات الطبيعية (NLP)، حيث يتضمن تصحيح الأخطاء الإملائية، وعلامات الترقيم، واختيار الكلمات، والأخطاء النحوية. وبينما تم إحراز تقدم كبير في اللغة الإنجليزية، فإن الموارد للغات غير الإنجليزية — وخاصة اللغات ذات الموارد المحدودة مثل الرومانية — نادرة. وتقتصر الأدوات الرومانية الحالية بشكل كبير على أدوات التدقيق الإملائي البسيطة القائمة على القواعد، مما يجعلها تفتقر إلى القدرة على التعامل مع الفروق اللغوية المعقدة أو الأخطاء السياقية.

المساهمات الرئيسية

يعالج المؤلفون فجوة الموارد من خلال ثلاث مساهمات رئيسية:

متن RONACC: تقديم أول متن (Corpus) للتصحيح النحوي باللغة الرومانية، ويتكون من حوالي 10,000 زوج من الجمل. وهي مصنفة إلى ثلاث مجموعات: عبارات NAC (عبارات منطوقة بدون أفعال)، وجمل NAC (جمل منطوقة)، وجمل W (جمل مكتوبة تحتوي على أخطاء شائعة).
تكييف مجموعة أدوات ERRANT: تكييف النسخة الألمانية من مجموعة أدوات ERRANT (مجموعة أدوات ترميز الأخطاء) لتناسب اللغة الرومانية. وهذا يسمح بالاستخراج والتصنيف الآلي للتعديلات باستخدام وسوم أجزاء الكلام (POS tags) الخاصة بتبعية اليونيفرسال (Universal Dependencies - UD).
خط إنتاج البيانات الاصطناعية: منهجية لتعزيز الموارد المحدودة للتدريب عن طريق توليد 10 ملايين جملة تحتوي على أخطاء اصطناعية من ويكيبيديا، والتي يمكن تطبيقها على أي لغة باستخدام معلم وسوم أجزاء الكلام (POS tagger) فقط.

المنهجية

ركز الباحثون على نهج عصبي باستخدام بنية Transformer، مع تجربة تكوينين رئيسيين:

Transformer-tiny: نموذج صغير (حوالي 1.5 مليون معلمة) تم تدريبه حصريًا على المتن الذهبي (RONACC).
Transformer-base: نموذج أكبر (حوالي 94 مليون معلمة) يستخدم عملية تدريب من مرحلتين:
- التدريب المسبق (Pretraining): التدريب على 10 ملايين جملة مولدة اصطناعيًا. تم إدخال الأخطاء عبر استبدال الكلمات (باستخدام مجموعة الارتباك الخاصة بالمدقق الإملائي)، والحذف، والإدراج، والتبديل، بالإضافة إلى الاضطرابات على مستوى الحروف.
- الضبط الدقيق/إعادة التدريب (Finetuning/Retraining): تم تكييف النموذج بعد ذلك مع المتن الذهبي باستخدام إما الضبط الدقيق (مواصلة التدريب مع الحفاظ على المعلمات) أو إعادة التدريب (إعادة ضبط معلمات المحسن).

فك التشفير والتقييم:

فك التشفيد (Decoding): استخدم البحث الشعاعي (Beam Search) بحجم 8 بالتزامن مع نموذج لغة 5-gram من نوع Kneser-Ney الممهد لإعادة الترتيب.
التقييم: تم قياس الأداء باستخدام درجة $F_{0.5}$ ، التي تعطي الأولوية لـ الدقة (Precision) على الاستدعاء (Recall). وهذا أمر بالغ الأهمية في التصحيح النحوي، حيث يفضل المستخدمون نظامًا نادرًا ما يقترح تغييرات خاطئة على نظام قد يغفل عن العديد من الأخطاء.

النتائج

تُظهر النتائج التجريبية فعالية التدريب المسبق في بيئات الموارد المحدودة:

أداء خط الأساس (Baseline): حقق نموذج Transformer-tiny درجة $F_{0.5}$ بلغت 44.38.
أفضل أداء: حقق نموذج Transformer-base باستخدام استراتيجية الضبط الدقيق درجة $F_{0.5}$ بلغت 53.76، مما يمثل تحسنًا كبيرًا عن خط الأساس.
تحليل المجموعات: حقق النموذج أفضل أداء في جمل W ( $F_{0.5} = 62.7$ )، ويرجع ذلك على الأرجح إلى التشابه اللغوي بين البيانات الاصطناعية المستمدة من ويكيبيديا والأخطاء المكتوبة. وكان أقل فعالية في جمل NAC، حيث غالبًا ما تكون الأخطاء غير اصطلاحية أو تتضمن لغة منطوقة غير رسمية.
معالجة الأخطاء: أظهر النموذج قوة في تصحيح الإملاء والقضايا الصرفية الرومانية المحددة (مثل تعريف الأسماء)، لكنه واجه صعوبة في التعامل مع اللغة المنطوقة غير الرسمية للغاية والاستبدالات الاصطلاحية المعقدة.

الأهمية

توفر هذه الورقة إطارًا تأسيسيًا لمعالجة اللغات الطبيعية باللغة الرومانية. ومن خلال إصدار متن RONACC، ومجموعة أدوات ERRANT المكيفة، وطريقة توليد البيانات الاصطناعية بموجب رخصة Apache 2، مكن المؤلفون الباحثين المستقبليين من تطوير أنظمة تصحيح نحوي أكثر تطورًا للغة الرومانية. وتثبت الدراسة أنه حتى مع وجود بيانات "ذهبية" محدودة، فإن التدريب المسبق واسع النطاق على بيانات تالفة اصطناعيًا يعد استراتيجية فعالة للغاية لتحسين التصحيح العصبي للأخطاء في اللغات ذات الموارد المحدودة.