When the Gold Standard Isn't Necessarily Standard: Challenges of Evaluating the Translation of User-Generated Content

بيان المشكلة
يمثل تقييم الترجمة الآلية (MT) للمحتوى الذي ينشئه المستخدمون (UGC) تحديًا فريدًا لأن هذا المحتوى يتميز بلغة غير معيارية متكررة، بما في ذلك الأخطاء الإملائية، واللغة العامية، وتكرار الحروف، والرموز التعبيرية، والتبديل بين اللغات (code-switching). وخلافًا للنصوص التقليدية، لا توجد طريقة واحدة "صحيحة" لترجمة هذه السمات؛ إذ تعتمد الترجمة "الجيدة" كليًا على مستوى المعيارية المطلوب في المخرج. وتفترض ممارسات التقييم الحالية غالبًا وجود معيار ذهبي واحد، ومع ذلك تتباين الترجمات البشرية المرجعية للمحتوى الذي ينشئه المستخدمون بشكل كبير في كيفية تعاملها مع الظواهر غير المعيارية. وهذا التباين يجعل التقييم الآلي (AE) القائم على المراجع غير موثوق، حيث قد تعاقب المقاييس الخيارات الأسلوبية الصالحة التي تحيد عن استراتيجية التطبيع (normalization) الخاصة بمرجع معين. علاوة على ذلك، ليس من الواضح ما إذا كان يمكن توجيه النماذج اللغوية الكبيرة (LLMs) بفعالية للالتزام بإرشادات ترجمة محددة، وما إذا كانت المقاييس الحالية يمكنها تقييم هذه المخرجات الملتزمة بالإرشادات بشكل عادل.

المنهجية
يعالج المؤلفون سؤالين بحثيين: (1) ما الذي يشكل ترجمة "جيدة" للمحتوى الذي ينشئه المستخدمون؟ و(2) كيف يمكن تقييم ترجمة هذا المحتوى بشكل عادل؟

1. التصنيف وتحليل الإرشادات: تحلل الدراسة أربع مجموعات بيانات متوازية للمحتوى الذي ينشئه المستخدمون (RoCS-MT، وFooTweets، وMMTC، وPFSMB) تغطي ترجمات من الإنجليزية إلى الفرنسية، ومن الإنجليزية إلى الألمانية، ومن الفرنسية إلى الإنجليزية. يستخرج المؤلفون إرشادات الترجمة البشرية من هذه المجموعات لاستخلاص تصنيف يتكون من اثني عشر ظاهرة غير معيارية (مثل القواعد، والإملاء، وإطالة الكلمات، واستخدام الحروف الكبيرة، والاختصارات غير الرسمية، والوسوم، والكلمات النابية) وخمسة إجراءات للترجمة:

   • التطبيع (NORMALISE): تصحيح أو حذف السمات غير المعيارية لإنتاج لغة معيارية.
   • النسخ (COPY): الحفاظ على السمة كما هي تمامًا.
   • النقل (TRANSFER): مطابقة السمة مع شكل غير معياري مكافئ في اللغة المستهدفة.
   • الحذف (OMIT): تجاهل السمة تمامًا.
   • التهذيب (CENSOR): استبدال اللغة المسيئة بمصطلحات أخف حدة.
     يكشف التحليل أن هذه المجموعات تمثل طيفًا من المعيارية، حيث تعد RoCS-MT الأكثر توجهًا نحو التطبيع، وPFSMB الأكثر توجهًا نحو الحفاظ على السمات.

2. الإعداد التجريبي: يقيم المؤلفون ستة نماذج لغوية كبيرة مضبوطة بالتعليمات (Gemma-2-9B، وGranite-4.1-8B، وLLaMA-3.1-8B، وMistral-0.3-7B، وQwen-2.5-7B، وTower-0.2-7B) ونموذج أساسي من نوع (encoder-decoder) وهو NLLB-3B. يتم اختبار النماذج تحت ثلاثة ظروف للأوامر (prompting):

   • بدون إرشادات: ترجمة صفرية (zero-shot) افتراضية.
   • إرشادات متطابقة: أوامر تحتوي على الإرشادات الخاصة بمجموعة البيانات المستهدفة.
   • إرشادات غير متطابقة: أوامر تحتوي على إرشادات من مجموعة بيانات مختلفة.

3. التقييم: يتم تقييم جودة الترجمة باستخدام مقاييس تعتمد على المراجع (COMET-22، وBLEU) ومقاييس لا تعتمد على المراجع (COMET-Kiwi). بالإضافة إلى ذلك، يتم إجراء تقييم بشري على RoCS-MT وPFSMB، حيث يقارن المقيّمون المخرجات الافتراضية بالمخرجات الموجهة بالإرشادات بناءً على الجودة العامة والالتزام بالإرشادات.

النتائج الرئيسية

• الحساسية للإرشادات: النماذج اللغوية الكبيرة حساسة للغاية لتعليمات الترجمة الصريحة. بالنسبة لمعظم النماذج (Gemma، وGranite، وMistral، وQwen)، فإن تقديم إرشادات خاصة بالمجموعة يؤدي بشكل كبير إلى تحسين درجات COMET عندما تتوافق الإرشادات مع الفلسفة الكامنة وراء مجموعة البيانات.
• سلوك النماذج:
  • LLaMA-3.1-8B يرفض كثيرًا ترجمة المحتوى الذي يُعتبر مسيئًا أو صريحًا، وهو سلوك يتفاقم بسبب الإرشادات التي تأمر بالحفاظ على الألفاظ النابية.
  • Tower-0.2-7B يظهر حساسية ضئيلة تجاه الإرشادات، ويميل إلى الالتزام بأسلوب الترجمة المتأصل فيه بغض النظر عن الأوامر.
  • Gemma-2-9B وغيره من النماذج تنجح في تكييف أسلوبها ليتوافق مع الإرشادات، رغم أنها تواجه صعوبات أحيانًا في القدرة على الجمع بين التعليمات المتعارضة (مثل تطبيع الإملاء مع نقل تكرار الحروف).
• محدودية المقاييس: المقاييس التي تعتمد على المراجع (COMET، وBLEU) واعية ضمنيًا بالأسلوب؛ فهي تكافئ المخرات التي تتماشى مع إرشادات المرجع وتعاقب عدم التوافق. في المقابل، يظهر المقياس الذي لا يعتمد على المراجع COMET-Kiwi انحيازًا نحو المخرات المعيارية، حيث يعطي درجات أقل للترجمات الموجهة نحو الحفاظ على السمات حتى عندما تتماشى مع الإرشادات المقصودة.
• التقييم البشري: يفضل المقيّمون البشر عمومًا المخرات الناتجة عن الإرشادات المتطابقة على المخرات الافتراضية، لا سيما بالنسبة لمجموعات البيانات الموجهة نحو الحفاظ على السمات مثل PFSMB (نسبة تفضيل 76% للجودة، و90% للالتزام). ويتراوح الاتفاق بين التفضيلات البشرية والمقاييس الآلية بين متوسط وجوهري، وإن ظلت المقاييس متأثرة بمستوى المعيارية الذي يفضله إعداد التقييم.

الأهمية والمساهمات
يجادل البحث بأن "المعيار الذهبي" لترجمة المحتوى الذي ينشئه المستخدمون ليس مطلقًا بل يعتمد على السياق، ويتنوع من النهج شديد التطبيع إلى النهج الموجه نحو الحفاظ على السمات. ويوضح المؤلفون أن التقييم العادل يتطلب أن تكون النماذج والمقاييس على دراية بإرشادات الترجمة المحددة التي تحكم مجموعة البيانات.

تشمل المساهمات الرئيسية ما يلي:

1. تصنيف موحد للظواهر غير المعيارية وإجراءات الترجمة المستمدة من مجموعات البيانات الحالية.
2. أدلة تجريبية على أن النماذج اللغوية الكبيرة يمكن توجيهها لاتباع إرشادات ترجمة محددة، ولكن أداءها والدرجات الناتجة عن التقييم تعتمد بشدة على التوافق بين الأمر، والنموذج، وأسلوب المرجع.
3. دعوة لوضع إرشادات واضحة أثناء إنشاء مجموعات البيانات وتطوير أطر تقييم قابلة للتحكم وواعية بالإرشادات. يقترح المؤلفون أن التقييم المستقبلي يجب أن يستخدم إما مقاييس لا تعتمد على المراجع أو مقاييس تعتمد على المراجع مع نسخ مرجعية متعددة تغطي مستويات مختلفة من المعيارية، بدلاً من الاعتماد على مرجع واحد قد لا يمثل أسلوب الترجمة المطلوب.