Can linguistic complexity predict machine translation quality?- a corpus-based study of complexity-quality nexus in philosophical texts

ملخص تقني: هل يمكن للتعقيد اللغوي التنبؤ بجودة الترجمة الآلية؟ دراسة قائمة على المتون حول العلاقة بين التعقيد والجودة في النصوص الفلسفية

بيان المشكلة
بينما حققت الذكاء الاصطناعية والترجمة الآلية العصبية (NMT) تقدماً كبيراً في جودة الترجمة في المجالات ذات الموارد العالية (مثل النصوص القانونية، والصحفية، والأكاديمية)، إلا أن هناك فجوة ملحوظة في فهم كيفية أداء هذه الأنظمة في المجالات ذات الموارد المنخفضة والمتطلبة معرفياً مثل النصوص الفلسفية. وتحديداً، تفتقر الأدبيات الحالية إلى مقارنات شاملة عبر أنظمة ترجمة آلية متنوعة — بما في ذلك الترجمة الآلية العصبية التقليدية (NMT)، والأنظمة القائمة على النماذج اللغوية الكبيرة (LLM) مثل DeepSeek، والأنظمة المدفوعة بالتعلم العميق مثل DeepL — عند تطبيقها على مواد مصدرية مجردة ومعقدة. علاوة على أن الدراسات السابقة التي ربطت بين التعقيد اللثوي وأخطاء الترجمة كانت محدودة بلغات محددة (مثل اللغات التصريفية) أو أنواع أدبية معينة (مثل الصحافة)، وغالباً ما فشلت في استكشاف "علاقة التعقيد والجودة" في السياقات الأدبية والفلسفية ذات الموارد المنخفضة. تعالج هذه الدراسة السؤال عما إذا كانت مؤشرات التعقيد المعجمي والنحوي يمكن أن تتنبأ بجودة الترجمة الآلية في النصوص الفلسفية من الألمانية إلى الصينية.

المنهجية
يعتمد البحث تصميماً تجريبياً قائماً على المتون باستخدام "الكتابات اللاحقة" (Nachgelassene Schriften) للفيلسوف الألماني ثيودور دبليو أدورنو. ولإزالة التحيز الناتج عن بيانات التدريب المسبقة، اختار المؤلفون نصاً ليس له ترجمة صينية سابقة. تم إنتاج ترجمة مرجعية بواسطة مترجم أكاديمي رفيع المستوى وتم التحقق من صحتها من خلال الترجمة العكسية (مما أسفر عن درجة BLEU قدرها 0.72 مقابل النص الألماني الأصلي) والمواءمة المصطلحية.

يتكون المتن من 254 مقطعاً نصياً (حوالي 59,564 كلمة) تُرجمت إلى الصينية بواسطة ثلاثة أنظمة متميزة:

1. DeepL (مدفوع بالتعلم العميق)
2. DeepSeek (قائم على النماذج اللغوية الكبيرة LLM)
3. NMT (نموذج الترجمة الآلية العصبية القياسي)

تم قياس جودة الترجمة باستخدام درجات BLEU (التقييم الثنائي للغة تحت الدراسة) المحسوبة مقابل الترجمة المرجعية البشرية. كما تم قيال التعقيد اللغوي باستخدام مجموعة من المؤشرات الخاصة باللغة الصينية والمكيفة من أبحاث سابقة حول لغة الترجمة والكتابة بلغة ثانية، والتي صُنفت إلى:

• المؤشرات المعجمية: نسب النوع إلى الرمز (TTR1, TTR2, TTR1C, TTR2C)، متوسط رتب الكلمات (MWR)، ومتوسط رتب الرموز (MCR).
• المؤشرات النحوية: متوسط طول الجمل (MLS)، متوسط طول العبارات (MLC)، متوسط طول وحدات T (MLTU)، وحدات T لكل جملة (T/S)، والعبارات لكل جملة (C/S).

تم بناء ثلاثة نماذج انحدار متعدد لتوقع درجات BLEU:

• النموذج 1: يعتمد حصرياً على التعقيد المعجمي.
• النموذج 2: يعتمد حصرياً على التعقيد النحوي.
• النموذج 3: نموذج مشترك يدمج الميزات المعجمية والنحوية.

النتائج الرئيسية
أسفر التحليل عن النتائج التالية فيما يتعلق بالقدرة التنبؤية للتعقيد اللغوي:

• أداء الأنظمة: حقق DeepL باستمرار درجات BLEU أعلى مقارنة بـ DeepSeek ونموذج NMT القياسي عبر المتن. تتحدى هذه النتيجة الافتراض بأن الأنظمة القائمة على النماذج اللغوية الكبيرة (مثل DeepSeek) تعمل بطبيعتها كبدائل متفوقة لنماذج NMT التقلية في هذا المجال المحدد.
• النموذج 1 (التعقيد المعجمي): أظهر قوة تفسيرية قوية بمعامل تحديد (R-squared) بلغ 0.849. كانت الثراء والتنوع المعجمي (المشار إليهما بالمعاملات الموجبة لـ TTR1، TTR1C، TTR2، MWR، وMCR) منبئات إيجابية مهمة لجودة الترجمة. وعلى العكس من ذلك، أظهر TTR2C معاملًا سالباً، مما يشير إلى أن التكرار المعجمي المفرط أو الحشو يقلل من الجودة.
• النموذج 2 (التعقيد النحوي): أظهر قوة تفسيرية متوسطة بمعامل تحديد (R-squared) بلغ 0.395. وبينما ارتبطت هياكل الجمل الطويلة (MLS) والعبارات (MLC) إيجابياً بالجودة، لم تكن الميزات النحوية الأخرى مثل كثافة العبارات (C/S) ذات دلالة إحصائية. يشير هذا إلى أن التعقيد النحوي وحده يعد متنبئاً أضعف من التعقيد المعجمي.
• النموذج 3 (التعقيد المشترك): حقق أعلى قوة تفسيرية بمعامل تحديد (R-squared) بلغ 0.86. أكد هذا النموذج أن النهج الشمولي الذي يدمج الميزات المعجمية والنحوية يوفر التنبؤ الأكثر شمولاً لنتائج الترجمة. ومن الجدير بالذكر أنه في النموذج المشترك، أظهرت نسبة العبارات التابعة إلى العبارات الرئيسية (T/S) معاملًا سالباً، مما يشير إلى أن ارتفاع الهياكل التابعة قد يزيد من صعوبة الترجمة ويقلل من الجودة.

الأهمية والمساهمات
تدعي الورقة أنها تساهم في مجال تقييم جودة الترجمة الآلية (MTQA) بعدة طرق محددة:

1. توسيع النطاق: تسد فجوة بحثية من خلال فحص العلاقة بين التعقيد والجودة في المجالات المجردة ذات الموارد المنخفضة (النصوص الفلسفية) بدلاً من الأنواع ذات الموارد العالية أو الصحفية.
2. مقارنة الأنظمة: توفر بيانات تجريبية تقارن أداء DeepL وDeepSeek (LLM) وNMT القياسي، مما يقدم رؤى حول كيفية تعامل المناهج الهيكلية المختلفة مع البنى الدلالية والنحوية المعقدة.
3. النمذجة التنبؤية: تثبت الدراسة جدوى نماذج الانحدار في التنبؤ بجودة الترجمة بناءً على التعقيد اللغوي. وتؤكد أن الثراء المعجمي هو عامل أكثر هيمنة من التعقيد النحوي، رغم أن التكامل بينهما يعطي أدق التنبؤات.
4. الإطار المنهجي: من خلال استخدام متن مُشيد بدقة مع ترجمة مرجعية موثقة ومؤشرات تعقيد محددة، تقدم الدراسة إطاراً قابلاً للتكرار لتقييم أداء الترجمة الآلية في المجالات الصعبة وغير المعيارية.

يخلص المؤلفون إلى أنه بينما تظهر أنظمة الترجمة الآلية الحالية إمكانات واعدة، فإن أداءها في النصوص الفلسفية يعتمد بشدة على التنوع المعجمي والبنية النحوية للنص المصدر. وتؤكد الأبحاث على الحاجة إلى تكامل متوازن بين الاعتبارات المعجمية والنحوية لتقييم وتحسين أنظمة الترجمة الآلية، لا سيالما في التطبيقات ذات الموارد المنخفضة والتعقيد العالي.