💬 NLP

SiniticMTError: A Machine Translation Dataset with Error Annotations for Sinitic Languages

تقدم هذه الورقة البحثية SiniticMTError، وهي مجموعة بيانات جديدة دقيقة التفاصيل تتميز بتعليقات توضيحية لنطاق الخطأ، ونوعه، وشدته للأمثلة المترجمة آلياً عبر عدة لغات صينية (الماندارين، والكانتونية، والوو، والهوكين)، والمصممة للنهوض بتقدير جودة الترجمة والتوليد المدرك للأخطاء مع تسليط الضوء على القيود الحالية للنماذج اللغوية الكبيرة في اكتشاف مثل هذه الأخطاء.

المؤلفون الأصليون: Hannah Liu, Junghyun Min, En-Shiun Annie Lee, Ethan Yue Heng Cheung, Shou-Yi Hung, Elsie Chan, Shiyao Qian, Runtong Liang, Kimlan Huynh, Wing Yu Yip, York Hay Ng, TSZ Fung Yau, Ka Ieng Charlotte Lo, Y

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Hannah Liu, Junghyun Min, En-Shiun Annie Lee, Ethan Yue Heng Cheung, Shou-Yi Hung, Elsie Chan, Shiyao Qian, Runtong Liang, Kimlan Huynh, Wing Yu Yip, York Hay Ng, TSZ Fung Yau, Ka Ieng Charlotte Lo, You-Wei Wu, Richard Tzong-Han Tsai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك روبوت ترجمة ذكيًا للغاية ومتعدد اللغات. إنه بارع في الترجمة بين اللغات الكبيرة والشائعة مثل الإنجليزية والماندارين. ولكن عندما تطلب منه الترجمة إلى لغات إقليمية أصغر مثل الكانتونية، والو (لهجة شنغهاي)، والهوكين، يبدأ في التعثر. قد ينجح في إيصال الفكرة العامة، لكنه يخطئ في التفاصيل، فيبدو كلامه غريبًا أو حتى يخترع كلمات لا تنتمي للسياق.

تقدم هذه الورقة أداة جديدة تسمى SINITICMTERROR. فكر فيها كـ "خريطة أخطاء" أو "دليل تدريبي للأخطاء" مصمم خصيصًا لتعليم الذكاء الاصطناي كيف يرصد ويصلح أخطاء الترجمة الخاصة به في هذه اللغات الصينية غير المخدومة جيدًا.

إليك تفصيل لما قام به الباحثون، باستخدام تشبيهات من الحياة اليومية:

1. المشكلة: "السائح الواثق بزيادة"

تخيل سائحًا يعرف القليل من لغة محلية. يمكنه طلب الطعام والسؤال عن الاتجاهات، ولكن إذا سألته عن وصف الطقس، فقد يقول: "السماء جميلة جدًا" (وهي جملة صحيحة قواعديًا ولكنها تبدو غريبة في تلك الثقافة، حيث يُكتفى بقول "الطقس لطيف").

نماذج الذكاء الاصطناعي الحالية تشبه ذلك السائح. فهي طليقة بما يكفي لتبدو طبيعية، لكنها غالبًا ما ترتكب أخطاءً "سخيفة" ودقيقة:

إضافة أشياء ليست موجودة: مثل إضافة السائح لجملة "أعتقد أن" بينما لم تتضمن الجملة الأصلية ذلك.
استخدام الكلمة الخاطئة: مثل ترجمة "جميلة" لوصف تقرير عن الطقس بينما تتوقع اللغة المحلية كلمة "جيد".
إغفال الجوهر: ترك كلمات حاسمة بالكامل.

بالنسبة للغات مثل الكانتونية، والو، والهوكين، فإن هذه الأخطاء شائعة بسبب عدم وجود بيانات عالية الجودة كافية لتدريب الذكاء الاصطناعي بشكل صحيح.

2. الحل: "خريطة الأخطاء" (SINITICMTERROR)

قام الباحثون ببناء مجموعة بيانات ضخمة حيث أخذوا آلاف الجمل، وجعلوا ذكاءً اصطناعيًا يترجمها، ثم استعانوا بـ متحدثين أصليين ("خبراء محليين") لمراجعة الترجمات باستخدام قلم أحمر.

لم يكتفوا بالقول "هذا خطأ"، بل أنشأوا سجلًا مفصلاً لكل خطأ على حدة:

أين الخطأ؟ (تحديد الكلمات بدقة).
ما نوع الخطأ؟ (هل أضاف الذكاء الاصطناعي كلمة؟ هل نسي كلمة؟ هل استخدم قواعد خاطئة؟).
ما مدى سوء الخطأ؟ (هل هو خطأ مطبعي بسيط، أم أنه غير المعنى تمامًا؟).

التشبيه: تخيل معلمًا يصحح مقال طالب. بدلًا من مجرد إعطائه درجة "جيد"، يقوم المعلم بتحديد كل جملة، ويكتب "خطأ قواعدي هنا"، "رسمي أكثر من اللازم هنا"، "لقد أغفلت تفصيلًا رئيسيًا هناك". إن SINITICMTERROR هو ورقة التصحيح المفصلة تلك، ولكن للذكاء الاصطناعي.

3. اللغات: "اجتماع عائلي"

تركز الورقة على أربعة فروع محددة لعائلة اللغات "السينيتية" (الصينية):

الماندارين: القريب الكبير والشائع الذي يعرفه الجميع.
الكانتونية: القريب الغني والمعبّر الذي يتحدث به سكان غوانغدونغ وهونج كونج.
الو (شانغهاي): القريب المتطور من شنغهاي.
الهوكين: القريب القديم المليء باللهجات والذي يتحدث به سكان فوجيان، تايوان، وجنوب شرق آسيا.

وجد الباحثون أنه بينما تتحسن الماندارين، لا تزال الفروع الثلاثة الأخرى تعاني. غالبًا ما يعامل الذكاء الاصطناعي هذه اللغات كنسخ "مكسورة" من الماندارين، بدلًا من كونها لغات فريدة لها قواعدها الخاصة. على سبيل المثال، تمتلك الكانتونية العديد من "الأدوات" الصغيرة في نهاية الجمل لإظهار الحالة الشعورية، والذكاء الاصطناعي يستمر في إسقاطها أو استخدام الأدوات الخاطئة.

4. الاختبار: "هل يمكن للذكاء الاصطناعي أن يصحح لنفسه؟"

لم يكتفِ الباحثون بصنع الخريطة فحسب؛ بل اختبروا ما إذا كانت نماذج الذكاء الاصطناعي فائقة الذكاء الحالية (مثل GPT-4 أو Gemini) يمكنها استخدام هذه الخريطة للعثور على الأخطاء.

النتيجة: كانت كارثية نوعًا ما. حتى أكثر نماذج الذكاء الاصطناعي ذكاءً لم تنجح إلا في رصد حوالي 30% إلى 40% فقط من الأخطاء.

الاستعارة: الأمر يشبه طلب تصحيح اختبار من طالب عبقري في الرياضيات في مادة لم يدرسها من قبل. يمكنه رؤية أن "شيئًا ما" خاطئ، لكنه لا يستطيع تحديد "ما هو بالضبط" أو "مدى سوء الأمر". غالبًا ما يفتقدون الفروق الثقافية الدقيقة التي يلاحظها المتحدث الأصلي فورًا.

5. لماذا هذا مهم؟

هذه مجموعة البيانات تُعد نقطة تحول لسببين:

إنها "صالة ألعاب رياضية للتدريب": الآن، يمكن للمطورين استخدام "خريطة الأخطاء" هذه لتدريب نماذج الذكاء الاصطنا_هم لتصبح أفضل في رصد الأخطاء، تمامًا مثل المدرب الذي يستخدم لقطات المباراة ليوضح للاعب أين أخطأ في ركل الكرة.
إنها تمنح "صوتًا" للغات "الصغيرة": من خلال معاملة هذه اللغات بنفس الاهتمام الصارم الموجه للإنجليزية أو الماندارين، تجادل الورقة بأن هذه اللغات تستحق تكنولوجيا أفضل. وهي تسلط الضة على أن الذكاء الاصطناعي الحالي منحاز نحو اللغات "الكبيرة" ويحتاج لتعلم احترام تفاصيل اللغات "الصغيرة".

باختصار

تقول الورقة: "الذكاء الاصطناي يتحسن في الترجمة، لكنه لا يزال متعثرًا مع اللغات الصينية الإقليمية. لقد بنينا 'أطلس أخطاء' مفصلاً ليوضح بالضبط أين يتعثر، وأثبتنا أن حتى أذكى نماذج الذكاء الاصطناي لا يمكنها إصلاح هذه الأخطاء دون مساعدة بشرية. الآن، لدينا الخريطة لتعليمهم كيف يمشون بشكل صحيح."

إليك ملخص تقني مفصل للورقة البحثية بعنوان "SINITICMTERROR: مجموعة بيانات للترجمة الآلية مع تعليقات توضيحية للأخطاء للغات السينيتية (Sinitic)."

1. بيان المشكلة

على الرغم من التقدم الكبير في الترجمة الآلية (MT) المدفوع بالنماذج اللغوية الكبيرة (LLMs) والأنظمة الخاضعة للإشراف، إلا أن التقدم لا يزال محدودًا للغات السينيتية ذات الموارد المنخفضة. وبينما تحظى اللغة الصينية المندرينية بدعم جيد، تعاني المتغيرات السينيتية الرئيسية الأخرى — وتحديدًا الكانتونية (Yue)، ووو الصينية (Wu)، والهوكين (Min Nan) — من:

ندرة البيانات: نقص في مجموعات البيانات المتوازية واسعة النطاق وعالية الجودة.
نقص التقييس: عدم اتساق أنظمة الكتابة والخطوط (على سبيل المثال، غالبًا ما تكون الكانتونية المكتوبة غير رسمية).
ضعف أداء النماذج: غالبًا ما يكون أداء النماذج التي خضعت للضبط الدقيق ضعيفًا، وكثيرًا ما تنتج النماذج اللغوية الكبيرة ضجيجًا أو "لغة ترجمة" (صياغات غير طبيعية) لهذه اللغات.
فجوة التقييم: هناك غياب حرج لمجموعات البيانات ذات التعليقات التوضيحية البشرية دقيقة التفاصيل لتقييم جودة الترجمة (QE) وكشف الأخطاء لهذه الأزواج اللغوية المحددة.

2. المنهجية

يقدم المؤلفون SINITICMTERROR، وهي مجموعة بيانات جديدة دقيقة التفاصيل مصممة لسد هذه الفجوات. تتضمن المنهجية أربع مراحل رئيسية:

أ. بناء البيانات واختيار النماذج

تتكون مجموعة البيانات من ثلاثيات: المصدر (الإنجليزية/المندرينية) $\leftarrow$ الترجمة الآلية (MT) $\leftarrow$ المرجع.

بيانات المصدر: مشتقة أساسًا من FLORES+ (امتداد لـ FLORES-200) للترجمة من الإنجليزية إلى المندرينية والكانتونية ووو. بالنسبة للهوكين، تم الحصول على البيانات من قاموس وزارة التعليم (من المندرينية إلى الهوكين).
توليد الترجمة الآلية: تم اختيار نماذج مختلفة بناءً على القدرة والقابلية لإعادة الإنتاج لكل لغة:
- المندرينية والكانتونية: NLLB-200 (600 مليون معلمة). تم اختياره بعد مقارنة عدة نماذج (بما في ذلك Llama 3، Qwen، Aya) لقدرته على توليد الكانتونية بأقل درجات (الأكثر عرضة للخطأ) في مقاييس SacreBLEU/ChrF++ مع الحفاظ على الطلاقة.
- وو الصينية: Qwen2.5 Max (النموذج اللغوي الكبير الوحيد المتاح للجمهور والذي يتمتع بقدرات مستقرة في لغة وو).
- الهوكين: Taigi-LLaMA-2-Chat-7B (نموذج متخصص تم تدريبه على الهوكين التايواني).

ب. إطار التعليقات التوضيحية

تتبع التعليقات التوضيحية إطار مقاييس الجودة متعددة الأبعاد (MQM) وتكييف AfriCOMET.

الدقة: يحدد المعلقون نطاقات الخطأ (error spans) المحددة داخل مخرجات الترجمة الآلية.
التصنيفات:
- أنواع الأخطاء (9 فئات): خطأ في الترجمة، حذف، إضافة، عدم ترجمة، قواعد، إملاء، طباعة، غير مفهوم، وسجل لغوي (Register).
- الشدة (مستويان): جسيم (تغيير كبير في المعنى) وبسيط (مشكلات في الطلاقة/القابلية للقراءة).
العملية: قام متحدثون أصليون يتقنون الإنجليزية بإجراء التعليقات التوضيحية باستخدام أداة TRANSLATIONCORRECT. تضمنت العملية دراسات تجريبية متعددة المراحل (4 جولات للكانتونية/وو) لضمان الاتفاق بين المعلقين وتدقيق الإرشادات.

ج. التقييم المرجعي

قيم المؤلفون أداء نماذج لغوية كبيرة مختلفة (سواء مفتوحة المصدر مثل Gemma، Phi، Qwen، أو مغلقة المصدر مثل GPT-4o، Gemini) في مهمة الكشف التلقائي عن الأخطاء.

المقاييس: دقة النطاق (SP)، دقة الأخطاء الجسيمة (MP)، ومعاملات الارتباط (Pearson'est $r$ ، Spearman's $\rho$ ، Kendall's $\tau$ ) بين درجات MQM المستمدة من النماذج اللغوية الكبيرة والمراجع البشرية.
البروتوكول: تم استخدام بروتوكول "الوسم إلى النطاق" (tag-to-span) لضمان المحاذاة الدقيقة بين مناطق الخطأ المعلنة من قبل النموذج وإزاحات الحروف.

3. المساهمات الرئيسية

مجموعة بيانات SINITICMTERROR: أول مورد واسع النطاق محكم بشريًا يوفر أنواع أخطاء على مستوى النطاق وشدتها للغات الكانتونية، ووو الصينية، والهوكين، مكملًا للموارد المندرينية الموجودة.
- النطاق: 2,009 جملة مندرينية، 1,402 جملة كانتونية، 68 جملة وو (تجريبية)، و154 جملة هوكين (تجريبية).
تحليل الأخطاء: رؤى لغوية مفصلة حول أنماط الفشل المحددة للترجمة الآلية في اللغات السينيتية، بما في ذلك:
- الكانتونية: وتيرة عالية من أخطاء الطباعة والحذف؛ وتواجه صعوبة في الأدوات الوظيفية وتراكيب الأفعال المتسلسلة.
- المندرينية: تهيمن عليها أخطاء الترجمة الخاطئة والقواعد.
- لغة الترجمة (Translationese): غالبًا ما تحتفظ مخرجات الترجمة الآلية ببنية الجمل الإنجليزية، مما يؤدي إلى صياغات غير طبيعية في اللغات الصينية.
- خلط اللغات: حالات تخرج فيها النماذج كلمات يابانية أو ماندرينية في سياقات هوكين أو كانتونية.
التقييم المرجعي: وضعت النتائج المرجعية التي تظهر أن النماذج اللغوية الكبيرة الحديثة (حتى GPT-4o وGemini) تعاني في الكشف الدقيق عن الأخطاء في اللغات السينيتية ذات الموارد المنخفضة، حيث تحقق دقة نطاق منخفضة (0.25–0.45) وارتباطًا ضعيفًا مع الأحكام البشرية.

4. النتائج والإحصائيات الرئيسية

توزيع الأخطاء:
- تُظهر الكانتونية كثافة نطاق خطأ أعلى بكثير (6.38 نطاق/جملة) مقارنة بالمندرينية (1.93 نطاق/جملة)، مما يشير إلى أداء أسوأ بكثير للنماذج.
- المندرينية: الأخطاء الأكثر شيوعًا هي الترجمة الخاطئة (61.2%)، والحذف (14.2%)، والقواعد (7.1%).
- الكانتونية: الأخطاء الأكثر شيوعًا هي الترجمة الخاطئة (33.8%)، والطباعة (26.3%)، والحذف (21.6%).
- وو/هوكين: تظهر التجارب الأولية معدلات عالية من الترجمة الخاطئة وأخطاء السجل اللغوي (Register).
الشدة: الأخطاء البسيطة أكثر تكرارًا من الأخطاء الجسيمة عبر جميع اللغات، مما يشير إلى أن النماذج غالبًا ما تنتج مخرجات طليقة ولكنها منحرفة دلاليًا بشكل طفيف.
النماذج اللغوية الكبيرة (Baselines):
- دقة النطاق: تراوحت بين 28.1% و59.7% عبر النماذج.
- الارتباط: ظل ارتباط درجات MQM على مستوى الجزء مع الأحكام البشرية دون 0.5 (على سبيل المثال، حقق GPT-4o معامل $r=0.43$ للإنجليزية-المندرينية ولكن $r=0.19$ فقط للإنجليزية-الكانتونية).
- الاستنتاج: تفتقر النماذج اللغوية الكبيرة الحالية إلى التدريب المتخصص المطلوب للتحليل الدقيق للأخطاء في هذه البيئات ذات الموارد المنخفضة.

5. الأهمية

مورد للغات الطبيعية ذات الموارد المنخفضة (Low-Resource NLP): تسد SINITICMTERROR فجوة حرجة في النظام البيئي لمعالجة اللغات الطبيعية للغات السينيتية، متجاوزة المندرينية لتشمل المتغيرات التي يتحدث بها أكثر من 170 مليون شخص مجتمعين.
التدريب والتقييم: تتيح مجموعة البيانات ضبط النماذج لـ التوليد الواعي بالأخطاء وتقدير جودة الترجمة (QE)، وتحديدًا للغات التي تفتقر للبيانات.
الرؤى اللغوية: تسلط الورقة الضوء على أن تحديات "الموارد المنخفضة" في اللغات السينيتية ليست مجرد مسأية حجم البيانات، بل تتعلق أيضًا بـ التقييس الكتابي والتباين اللهجي، مما يتطلب إرشادات تعليق توضيحي متخصصة.
الاتجاهات المستقبلية: تعمل مجموعة البيانات كقاعدة للتعلم بنقل المعرفة (Transfer Learning)، مما يسمح لنماذج اللغات عالية الموارد بالتكيف بشكل أكثر فعالية مع المتغيرات السينيتية، كما تدعم المهام اللاحقة مثل كشف اللغة وحكم القبول اللغوي.

باختصار، توفر SINITICMTERROR البنية التحتية اللازمة لتشخيص وفهم وتحسين الترجمة الآلية للهجات الصينية غير الممثلة كفاية، مما يثبت أن نماذج الذكاء الاصطناعي الحالية لا تزال تعاني بشكل كبير مع فروق هذه اللغات دون إشراف بشري مستهدف.