The Translation Tax Is Not a Scalar: A Counterfactual Audit of English-Source Cue Inheritance in Chinese Multilingual Benchmarks

ملخص تقني: ضريبة الترجمة ليست قيمة عددية ثابتة

بيان المشكلة
يعتمد تقييم النماذج اللغوية الكبيرة (LLMs) في البيئات متعددة اللغات بشكل متكرر على الاختبارات المرجعية المترجمة (مثل MMMLU، وBelebele، وXCOPA). وثمة افتراض سائد، يُطلق عليه اسم "ضريبة الترجمة" (Translation Tax)، يفترض أن الاختبارات المرجعية المترجمة تضخم درجات النماذج بشكل مصطنع لأن النماذج تستغل بقايا الإشارات من المصدر الإنجليزي التي تظل محفوظة عبر الترجمة، بدلاً من إظهار فهم حقيقي للغة. ومع ذلك، تفتقر الأدبيات إلى التكميم الدقيق لهذا الأثر. وتشير المخاوف الحالية بشأن الآثار الناجمة عن الترجمة (مثل Artetxe et al., 2020) وفجوات التمثيل (مثل Sitaram, 2025؛ Wu et al., 2025) إلى أن التحولات في الدرجات الناجمة عن الترجمة معقدة، إلا أنه لا توجد دراسة واحدة قامت بتفكيك هذه التحولات بشكل منهجي بين التضخم المدفوع بالإشارات وبين التدهور الدلالي عبر استراتيجيات تقدير متعددة.

المنهجية
تجري هذه الورقة تدقيقاً مضاداً للواقع (counterfactual audit) للاختبارات المرجعية من الإنجليزية إلى الصينية باستخدام نهج تثليث يعتمد على أربعة مقدِّرات متميزة لعزل "ضريبة الترجمة" (TT). تستخدم الدراسة مجموعة فرعية طبقية مكونة من 228 عنصراً من MMMLU و100 عنصر من Belebele، تم تقييمها عبر تسعة نماذج (المجموعة A: النماذج الرائدة المتمحورة حول الإنجليزية؛ المجموعة B: النماذج المحسنة للصينية؛ المجموعة C: النماذج مفتوحة المصدر متعددة اللغات).

1. المُقدِّر E1 (الترجمة العكسية): يقيس فجوة الدرجات بين العناصر الإنجليزية الأصلية والعناصر التي تمت إعادتها عبر الصينية إلى الإنجليزية. ويعمل هذا كوكيل لبقايا الهيكل الإشاري، ولكن يُعترف به كحد أعلى صاخب بسبب ضوضاء الترجمة العكسية وفقدان الطبيعية.
2. المُقدِّر E2 (التوسيم الأصلي ثنائي اللغة): محاولة معايرة حيث يقوم المقيّمون بتسجيل العناصر بناءً على قابلية تحديد الإشارات، والبقايا الثقافية، والبقايا النحوية. في هذه الدراسة، نُفذ ذلك كمعايرة لنموذج قياس (rubric) مكون من 30 عنصراً ومقيّم واحد باستخدام نموذج لغوي كبير، ليكون بمثابة فحص لتغطية النموذج وليس كمقدر بشري كامل.
3. المُقدِّر E3 (ضبط INCLUDE غير المترجم): يقارن الأداء في النسخة الصينية المترجمة من MMMLU مقابل نسخة INCLUDE الصينية، وهي مجموعة بيانات مستمدة أصلاً من امتحانات إقليمية. يوفر هذا مقارنة لصلاحية خارجية، رغم افتقاره للمطابقة على مستوى العنصر.
4. المُقدِّر E4 (اختبار الإجهاد للتعامل مع الطبيعية عبر النماذج اللغوية الكبيرة المطابقة): حالة مضادة للواقع حيث يتم تثبيت محتوى العنصر (الإجابة، الخيارات، الدلالات) بينما يتم إعادة كتابة الشكل الصيني السطحي بواسطة نموذج لغوي كبير ليكون أكثر "طبيعية". هذا هو المُقدِّر الوحيد الذي يغير الطبيعية السطحية مع تثبيت المحتوى. تضمنت الخطوة المنهجية الحرجة تصحيح خطأ في بناء المطالبة (تكرار تسميات الخيارات) في التشغيل الأولي، مما غير النتائج بشكل كبير.

النتائج الرئيسية
تجد الدراسة أن "ضريبة الترجمة" ليست تصحيحاً عددياً ثابماً (scalar) موحداً، بل هي مجموعة من مخاطر الصلاحية المعتمدة على المُقدِّر والعنصر.

• E1 (الترجمة العكسية): تقديرات النقاط صغيرة (تتراوح بين 0.000 و+0.047). وبينما أظهرت خمس خلايا من أصل ست خلايا (نموذج-اختبار مرجعي) تقديرات موجبة، فإن فترات الثقة لمعظمها شملت الصفر. الخلية الوحيدة التي استبعدت الصفر بصعوبة (MMMLU/gpt-5.4-mini) تم تحديدها على أنها هشة في التحليل (parser-fragile). أدت عملية التمهيد (bootstrapping) المجمعة للعناصر إلى متوسط أثر إيجابي صغير (+0.022، فترة ثقة 95% [0.001, 0.044])، مما يشير إلى وجود ضريبة ترجمة طفيفة ولكنها حساسة للغاية لصحة المحلل (parser).
• E2 (التوسيم): وجدت عملية المعايرة عدم وجود ارتباط بين درجات الإشارات وتحسن الأداء على مستوى العنصر. أظهر نموذج gpt-4o ارتباطاً سالباً، وكانت البيانات تهيمن عليها الدرجات المتساوية، مما جعل هذا المُقدِّر غير حاسم فيما يتعلق باستغلال الإشارات بهذا النطاق.
• E3 (ضبط INCLUDE): أظهرت النماذج المتمحورة حول الإنجليزية (المجموعة A) فجوات قريبة من الصفر بين MMMLU المترجمة وINCLUDE الأصلية. وأظهرت النماذج المحسنة للصينية (المجموعة B) نتائج مختلطة: أدى نموذجان (deepseek-chat، qwen-max) إلى أداء أسوأ بكثير في MMMLU المترجمة مقارنة بـ INCLUDE الأصلية، بينما أظهر نموذج ثالث (glm-4.5) فجوة إيجابية. يشير هذا إلى احتمال وجود تفاعلات بين عائلات النماذج، لكنها مشوشة بالاختلافات في النطاق (أكاديمي مقابل امتحان إقليمي).
• E4 (التعامل مع الطبيعية): بعد تصحيح خطأ المطالبة، وجدت الدراسة عدم وجود تفاعل ذي دلالة إحصائية بين عائلات النماذج. الادعاء السابق في المسودة بوجود تفاعل قوي كان ناتجاً عن الخطأ البرمجي بالإضافة إلى هشاشة المحلل في نموذج glm-4.5. ومع ذلك، استمر أثر الاستجابة للجرعة (dose-response effect): العناصر ذات "بقايا الترجمة" العالية (حيث فشلت النماذج سابقاً في الصينية ونجحت في الإنجليزية) أظهرت تحسناً في الأداء عند جعلها طبيعية (+0.103)، بينما لم تظهر العناصر ذات البقايا المنخفضة أي تحسن (-0.015).

الأهمية والادعاءات
تجادل الورقة بأن "ضريبة الترجمة" لا يمكن معاملتها كقيمة عددية ثابتة تُطرح من درجات الاختبارات المرجعية. بدلاً من ذلك، فإن مخاطر الصلاحية متباينة:

1. الاعتماد على المُقدِّر: تعطي النماذج البديلة (proxies) أحجاماً واتجاهات مختلفة للأثر.
2. الاعتماد على العنصر: تتركز الضريبة في عناصر محددة ذات بقايا ترجمة عالية، وليست موزعة بانتظام عبر الاختبار المرجعي.
3. الاعتماد على النموذج: بينما كانت تأثيرات عائلات النماذج الإجمالية غائبة أو مشوشة بملاءمة النطاق، تلعب هشاشة المحلل وحساسية المطالبة دوراً حاسماً في الدرجات المرصودة.

يخلص المؤلفون إلى أن الاختبارات المرجعية المترجمة تقدم مخاطر صلاحية يُفضل فهمها كمجموعة من الظروف بدلاً من عقوبة ثابتة. كما ينشرون قائمة مراجعة للتقارير لعلماء الاختبارات المرجعية المترجمة مستقبلاً، مع التأكيد على ضرورة الإفصاح عن نطاق المُقدِّر، وهشاشة المحلل، وتباينات المجموعات الفرعية. لا تدعي الدراسة أنها قامت بقياس "ضريبة الترجمة الكامنة" بشكل مباشر، بل توفر إطاراً لتحديد متى وأين قد تضخم إشارات الترجمة الدرجات بشكل مصطنع.