Do Evaluation Metrics Detect Errors in Classical Chinese to English Translations?
تتقصى هذه الورقة مدى موثوقية مقاييس التقييم الآلي الحالية للترجمة من الصينية الكلاسيكية إلى الإنجليزية، كاشفةً أنه في حين أن جميع المقاييس تعاني من نقاط قصور، فإن MetricX24 هو الأفضل أداءً، مما يسلط الضوء على الحاجة الملحة لمقاييس أكثر قوة وقابلية للتفسير مصممة خصيصاً لأطر الترجمة المتميزة تاريخياً وثقافياً.
المؤلفون الأصليون:Osvaldo Quinjica, Eric Bennett, Xinchen Yang, Andrew Schonebaum, Marine Carpuat
تخيل أنك محقق يحاول حل لغز ما، لكن كل ما تملكه من أدلة مكتوبة بلغة لم تُنطق منذ ألفي عام. هذا هو الواقع اليومي للعلماء الذين يدرسون اللغة الصينية الكلاسيكية، لغة الأباطرة والفلاسفة والشعراء القدامى. اليوم، لدينا عقول حاسوبية فائقة الذكاء تسمى "النماذج اللغوية الكبيرة" (LLMs)، يمكنها قراءة هذه النصوص القديمة وترجمتها إلى الإنجليزية الحديثة. الأمر يشبه امتلاك آلة زمن سحرية تحول المخطوطات المغبرة إلى قصص قابلة للقراءة. لكن هنا تكمن المشكلة: كيف نعرف أن الآلة لا تخترع أشياءً من عندها؟ إذا ترجم الحاسوب كلمة تعني "غراب" على أنها "حمامة"، أو غير رتبة "ملك" إلى "دوق"، فقد تتدمر القصة بأكملها.
وللتحقق مما إذا كان الحاسوب يؤدي عملاً جيداً، يستخدم العلماء "مقاييس التقييم". فكر في هذه المقاييس كقضاة آليين أو مدققي إملائيين يمنحون الترجمة درجة معينة. عادةً، يتم تدريب هؤلاء القضاة على لغات حديثة مثل الفرنسية أو الإسبانية؛ حيث يبحثون عن تطابق الكلمات أو تشابه تراكيب الجمل. لكن اللغة الصينية الكلاسيكية هي حالة استثنائية؛ فهي قصيرة للغاية، وتعتمد بشدة على السياق، وغالباً ما تحذف الفاعل أو المفعول به اللذين تتطلبهما اللغات الحديثة. إن الترجمة التي تبدو مثالية لمتحدث إنجليزي معاصر قد تكون في الواقع كذبة صريحة عما قاله النص القديم. السؤال الكبير هو: هل يمكن لقضاتنا الآليين الحاليين رصد هذه الأخطاء الخاصة باللغات القديمة، أم أنهم مشغولون جداً بالبحث عن قواعد القواعد الحديثة لدرجة تمنعهم من ملاحظة الأخطاء التاريخية؟
تضع هذه الورقة البحثية هؤلاء القضاة الآليين تحت الاختبار. فقد ابتكر الباحثون "امتحاناً" خاصاً لمقاييس الترجمة باستخدام خدعة ذكية تسمى "الأزواج الدنيا" (minimal pairs). تخيل أن لديك ترجمة مثالية لجملة قديمة، ثم تأخذ هذه الجملة وتجري عليها تغييراً واحداً صغيراً ومحدداً — مثل استبدال "الغراب" بـ "الحمامة" أو إزالة اسم الشخص المتحدث. هذا يخلق نسخة "معيبة" تشبه الأصل تماماً ولكنها تحتوي على خطأ محدد. ثم قام الباحثون بتغذية كل من النسخة المثالية والنسخة المعيبة لمختلف مقاييس الترجمة ليروا ما إذا كانت المقاييس ستعطي النسخة المعيبة درجة أقل.
كانت النتائج متباينة، مما كشف أن حتى أذكى القضاة الآليين لديهم "نقاط عمياء". وجدت الدراسة أنه بينما يجيد بعض المقاييس رصد الكوارث الواضحة (مثل ترجمة النص بأكمله إلى الصينية الحديثة بدلاً من الإنجليزية)، إلا أنها غالباً ما تفشل في رصد الأخطاء الدقيقة والخطيرة التي تهم المؤرخين. على سبيل المثال، لم تلاحظ العديد من المقاييس عندما أخطأت الترجمة في الزمن (بتغيير "هو" إلى "كان") أو عندما تم استبدال لقب محدد مثل "دوق" بـ "ملك". هذه هي أنواع الأخطاء التي قد تقود الباحث إلى استنتاج خاطئ حول التاريخ.
من بين جميع المقاييس التي تم اختبارها، كان أحدها المسمى MetricX24 هو الأفضل أداءً بشكل عام؛ فقد كان الأكثر حساسية للأخطاء، حيث عاقب العديد من الترجمات المعيبة بشكل صحيح. ومع ذلك، حتى MetricX24 لم يكن مثالياً؛ إذ لا يزال يغفل عن أنواع معينة من الأخطاء، خاصة تلك المتعلقة بالمعاني الحديثة مقابل المعاني القديمة للكلمات. ومن ناحية أخرى، كانت المقاييس جيدة جداً في أمر واحد: لم تعاقب التغييرات غير الضارة. فإذا استخدمت الترجمة طريقة مختلفة قليلاً لتنسيق اسم ما أو كسرت جملة في مكان آخر لكنه صحيح، فإن المقاييس غالباً ما تتجاوز عنها. وهذا خبر جيد، لأنه يعني أن القضاة ليسوا متشددين للغاية بشأن الأسلوب.
في النهاية، تشير الورقة إلى أننا لا يمكننا الاعتماد فقط على الأدوات الحالية لتقييم الترجمات القديمة. فهذه المقاييس تشبه نظارات مصممة للشوارع الحديثة؛ تعمل جيداً هناك، لكن رؤيتها تصبح ضبابية عندما تحاول التنقل في الأزقة الضيقة والمتعرجة للتاريخ القديم. يقترح المؤلفون أنه لكي نحصل على ترجمات موثوقة للعلوم الإنسانية الرقمية، نحتاج إلى أدوات تقييم جديدة وأكثر ذكاءً، يتم تدريبها خصيصاً لفهم الخصائص الفريدة للغة الصينية الكلاسيكية، بدلاً من مجرد تطبيق قواعد حديثة على نصوص قديمة. وحتى ذلك الحين، سيظل الخبراء البشريون بحاجة إلى مراجعة عمل آلات الزمن الاصطناعية هذه.
ملخص تقني: هل تكتشف مقاييس التقييم الأخطاء في ترجمة الصينية الكلاسيكية إلى الإنجليزية؟
بيان المشكلة بينما أظهرت النماذج اللغوية الكبيرة (LLMs) كفاءة مذهلة في ترجمة اللغات التاريخية مثل الصينية الكلاسيكية (wenyanwen)، إلا أن دمجها في سير عمل العلوم الإنسانية الرقمية يعوقه غياب طرق تقييم موثوقة. إن مقاييس التقييم الآلي الحالية تم التحقق من صحتها بشكل أساسي على اللغات الحديثة، وقد لا تعمم خصائص اللغة الصينية الكلاسيكية الفريدة والثقافية. وتشمل هذه الخصائص الإيجاز الشديد، والاعتماد على السياق، وانتشار حذف المراجع (حذف الفاعل أو المفعول به)، وتعدد المعاني حيث يتحدد المعنى من خلال السياق بدلاً من الصرف. وبناءً على ذلك، تخاطر المقاييس الحالية بإغفال الأخطاء الدقيقة المعتمدة على السياق التي تشوه المعنى التاريخي بينما تبدو فصيحة، أو على العكس من ذلك، معاقبة التباينات التفسيرية المشروعة الضرورية للتفسير الأكاديمي.
المنهجية قدم المؤلفون إطاراً تشخيصياً لاستقصاء مدى حساسية مقاييس تقييم الترجمة الآلية (MT) تجاه أنواع محددة من الأخطاء والتباينات المقبولة في ترجمة الصينية الكلاسيكية إلى الإنجليزية.
بناء البيانات: استُمدت النصوص المصدرية من مشروع النصوص الصينية (CTP)، مع استخدام ترجمات جيمس ليجي كمرجعيات بشرية عالية الجودة. تم توليد الترجمات الآلية الأساسية باستخدام GPT-4o-mini. وأكد تحليل الذاكرة أن النتائج لم تكن مدفوعة بالتداخل مع بيانات التدريب.
تصنيف الأخطاء: من خلال الفحص الفيلولوجي (اللغوي التاريخي) لنتائج النماذج اللغوية الكبيرة، حدد المؤلفون ثماني فئات للأخطاء ذات الصلة بالاستخدام الأكاديمي:
الترجمة غير المقصودة إلى الصينية الحديثة.
حذف المفعول به.
حذف الفاعل.
الترجمة المعجمية الخاطئة.
استبدال الضمائر/ الخطأ في الإسناد.
التعبير الخاطئ عن الزمن.
استبدال الألقاب أو الرتب.
الاستبدال بالمعنى الحديث (استبدال معنى كلاسيكي بآخر حديث). بالإضافة إلى ذلك، تم تحديد ثلاث فئات من التباينات المقبولة: تنسيق الأسماء، وتدوين ملاحظات الأسماء، وتقطيع الجمل/ التفسير الطفيف.
توليد الاضطرابات: قام مسار عمل شبه آلي بتوليد "الأزواج الدنيا" (minimal pairs) لكل ترجمة أساسية. تألفت هذه الأزواج من الترجمة الأصلية ومتغير تم تعديله بأقل قدر ممكن لإدخاء خطأ واحد مستهدف أو تباين واحد بالضبط. تضمنت هذه العملية تعديلات قائمة على القواعد، وإعادة كتابة بواسطة النماذج اللغوية الكبيرة، ومراجعة يدوية من قبل خبراء مدربين على كل من الصينية الحديثة والكلاسيكية.
إعداد التقييم: قيمت الدراسة مجموعة من المقاييس عبر ثلاث عائلات:
النموذج اللغوي الكبير كحكم (LLM-as-a-Judge): GEMBA (باستخدام تعليمات DA وMQM). تم اختبار المقاييس في إعدادات تعتمد على المرجع (المصدر+المرجع+الفرضية، المرجع+الفرضية) وفي إعدادات خالية من المرجع (المصدر+الفرضية).
التحليل الإحصائي: استخدم المؤلفون نموذج التأثيرات المختلطة الخطية (LME) لتحليل فروق الدرجات المعيارية (δ∗) بين الترجمات الأصلية والمضطربة. سمح هذا النهج بقياس حساسية المقياس عبر فئات الأخطاء المختلفة مع مراعاة الملاحظات المتكررة من نفس الجزء المصدر.
النتائج الرئيسية
الصلاحية العامة: نجحت جميع المقاييس في التمييز بين الترجمات المعقولة والأخطاء الكارثية (مثل الكلمات المبعثرة أو الترجمات غير ذات الصلة).
حساسية الخطأ:
عدم التطابق اللغوي: نجحت معظم المقايسات المعتمدة على المرجع في معاقبة الترجمات التي تخرج باللغة الصينية الحديثة بدلاً من الإنجليزية. ومع ذلك، فشلت MetricX24 وXCOMET-QE في اكتشاف ذلك في الإعدادات الخالية من المرجع.
الحذف: اكتشفت المقاييس العصبية (COMET، XCOMET، MetricX24) حذف الفاعل والمفعول به بشكل كافٍ. في المقابل، فشلت المقاييس السطحية (BLEU، chrF) ومتغيرات GEMBA غالباً في معاقبة عمليات الحذف هذه، بل وسجلت أحياناً درجات أعلى للترجمة الخاطئة مقارنة بالأصلية.
الاستبدالات الدلالية: لم يكتشف أي مقياس بشكل موثوق الخطأ في التعبير عن الزمن أو استبدال الألقاب/ الرتب. بالنسبة لاستبدال المعنى الحديث، اكتشف MetricX24-Ref الخطأ فقط. بالنسبة للترجمة المعجمية الخاطئة، أدى متغير XCOMET وMetricX24 أداءً جيداً، بينما فشل COMET والمقاييس السطحية.
أخطاء الضمائر: أظهرت متغيرات MetricX24 أقوى حساسية لاستبدال الضمائر، بينما أظهرت GEMBA حساسية متوسطة فقط.
التباينات المقبولة: تسامحت جميع المقاييس تقريباً مع التباينات المقبولة (تنسيق الأسماء، التدوين، التقطيع)، باستثناء BLEU الذي عاقب تنسيق الأسماء. كان تقطيع الجمل هو النوع الأكثر تسامحاً من التباينات.
أفضل أداء: برز MetricX24 كأفضل أداء إجمالي، حيث أظهر أعلى حساسية للأخطاء في معظم الفئات. ومع ذلك، ظل يعاني من نقاط عمياء فيما يتعلق بالاستبدال بالمعنى الحديث (في الإعدادات غير المرجعية) وأخطاء الزمن.
التحليل الزمني: وُجد تفاعل كبير بين أداء المقياس والفترة التاريخية للنص المصدر (ما قبل تشين/ هان مقابل ما بعد هان). ومع ذلك، يشير المؤلفون إلى أن مجموعة ما بعد هان كانت صغيرة (6.4% من البيانات)، مما أدى إلى تباين أكبر وانخفاض في القوة الإحصائية لتلك المجموعة المحددة.
الأهمية والادعاءات يزعم البحث أنه بينما تتفوق المقاييس العصبية على النماذج الأساسية للتداخل السطحي، فلا يوجد مقياس واحد يمكنه التقاط النطاق الكامل للتمايزات ذات الصلة بالتقييم الأكاديمي للصينية الكلاسيكية بشكل موثوق. تسلط النتائج الضوء على أن المقاييس الحالية لديها نقاط عمياء محددة فيما يتعلق بالأخطاء التي تشوه المعنى التاريخي (مثل الزمن، الألقاب، واستبدالات المعنى الحديث)، وهي أمور حاسمة للباحثين الذين يفتقرون إلى الكفاءة في اللغة المصدر.
يضع المؤلفون إطارهم التشخيصي كإسهام رئيسي. فمن خلال استخدام "الأزوات الدنيا" المستندة إلى خبرة العلماء، يوفرون طريقة قابلة للتوسع لتحويل الحكم الخبير إلى إشارات تقييم دون الحاجة إلى ترميز يدوي ضخم. ويجادلون بأن التقدم في هذا المجال لا يعتمد فقط على مقاييس أفضل، بل أيضاً على موارد تقييم أفضل تستهدف بشكل منهجي التمايزات الدلالية الدقيقة التي غالباً ما تكون ممثلة تمثيلاً ناقصاً في المعايير القياسية. يهدف العمل إلى دعم الترجمة الأكاديمية المعتمدة على الذكاء الاصطناعي الموثوقة وتعزيز فهم كيفية تعميم مقاييس التقييم في السياقات المتميزة تاريخياً وثقافياً.