Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation
تبحث هذه الورقة في موثوقية تقييمات النماذج اللغوية الكبيرة متعددة اللغات من خلال إثبات أن أخطاء الترجمة في المعايير المترجمة آلياً تساهم بشكل كبير في انخفاض الدقة، وأن طرق الكشف التلقائي عن الأخطاء تظهر توافقاً غير ضئيل مع التعليقات البشرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك معلم يحاول تقييم فصل من الطلاب الذين يتحدثون لغات مختلفة. لديك اختبار شهير مكتوب باللغة الإنجليزية ("المعيار الذهبي"). لكي تعرف مدى براعة طلابك في اللغة الإسبانية أو الفرنسية أو الألمانية، تأخذ ذلك الاختبار الإنجليزي، وتمرره عبر آلة ترجمة، ثم تعطي النسخ المترجمة لطلابك.
السؤال الكبير الذي تطرحه هذه الورقة هو: ماذا يحدث إذا ارتكبت آلة الترجمة أخطاءً؟
اكتشف المؤلفون، وهم فريق من الباحثين، أن أخطاء الترجمة هذه ليست مجرد أخطاء مطبعية بسيطة؛ بل هي أشبه بـ حفر في الطريق يمكن أن تتسبب في اصطدام حتى أذكى الطلاب، حتى لو كانوا يعرفون الإجابة تماماً باللغة الإنجليزية.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. "المصحح الآلي" مقابل الخبير البشري
أراد الباحثون معرفة: هل يمكننا الوثوق بنماذج ذكاء اصطناٍ آخر لرصد حفر الترجمة هذه، أم أننا بحاجة إلى خبير بشري؟
- التجربة: أخذوا مجموعة من أسئلة الاختبار المترجمة وطلبوا من أربعة "مصححين آليين" مختلفين (نماذج ذكاء اصطناعي مثل GPT-5.2، وMistral، إلخ) تحديد مكان الخطأ في الترجمة بدقة. وقارنوا عمل الروبوتات بـ "معيار ذهبي" وضعه لغويون بشريون محترفون.
- النتيجة: كانت الروبوتات جيدة، لكنها لم تكن مثالية. أحد الروبوتات، وهو GPT-5.2، كان الأفضل في العثور على الحفر، حيث اتفق مع الخبراء البشريين حوالي نصف الوقت. أما الروبوتات الأخرى فكانت أقل دقة بكثير.
- العقبة: غالباً ما ارتبكت الروبوتات بشأن أين بدأ الخطأ وأين انتهى. الأمر يشبه شخصين يحاولان رسم دائرة حول بقعة على قميص؛ قد يتفقان على وجود بقعة، لكن أحدهما يرسم دائرة صغيرة حول المركز، بينما يرسم الآخر دائرة ضخمة تشمل الكم بأكره.
2. "مصدر المشكلة" (من الملام؟)
أحياناً يكون سؤال الاختبار الإنجليزي نفسه غريباً أو مربكاً. وأحياناً تجعل الترجمة الأمر أسوأ. أراد الباحثون معرفة: هل يفشل الطالب لأن السؤال الإنجليزي كان سيئاً، أم لأن الترجمة أفسدت الأمر؟
- التشبيه: تخيل مسألة رياضية تقول "إذا قطعت سيارة 50 ميلاً في ساعتين..."
- مشكلة في المصدر: السؤال الإنجليسي معطل ويقول "إذا قطعت سيارة 50 ميلاً في 2 تفاحة..." (الأصل غير منطقي).
- مشكلة في الترجمة: الإنجليزية سليمة، لكن المترجم يغير "ميلاً" إلى "كيلومتراً" و"ساعات" إلى "دقائق"، مما يجعل المسألة الرياضية مستح المستحيل حلها.
- النتيجة: وجد الباحثون أن أخطاء الترجمة هي المزعج الحقيقي. فحتى عندما كان السؤال الإنجليزي مثالياً وقابلاً للحل، تسببت النسخة المترجمة في جعل طلاب الذكاء الاصطناعي يخطئون في الإجابة بمعدل 6 إلى 11 نقطة مئوية أكثر فقط بسبب أخطاء الترجمة.
3. "انخفاض الدرجة" مقابل "الترتيب"
هذا هو الجزء الأكثر إثارة للدهشة. سأل الباحثون: إذا قمنا بإصلاح جميع أخطاء الترجمة بشكل سحري، فهل سيتغير ترتيب لوحة المتصدرين لنماذج الذكاء الاصطناعي؟
- التشبيه: تخيل سباقاً يبدأ فيه كل عداء خلف خط البداية بـ 10 أمتار بسبب خطأ في الترجمة.
- النتيجة: إذا حركت الجميع للأمام 10 أمتار (أصلحت الترجمة)، فإن الجميع سيصبح أسرع. العداء الذي كان في المركز الأول سيظل في المركز الأول. والعداء الذي كان في المركز العاشر سيظل في المركز العاشر. الترتيب بين الفائزين لا يتغير.
- المشكلة: ومع ذلك، فإن الأوقاز كلها خاطئة. أنت تعتقد أن الفائز ركض سباقاً مدته 10 ثوانٍ، بينما هو في الواقع ركض سباقاً مدته 9 ثوانٍ. أنت تقلل من قدرات الجميع الحقيقية.
- الاستنتاج: تعمل أخطاء الترجمة مثل وزن موحد مرتبط بكل نموذج ذكاء اصطناعي. إنها تسحب درجات الجميع للأسفل بالتساوي. لذا، بينما يظل "لوحة المتصدرين" (من هو رقم 1) ثابتاً، فإن الدرجات الفعلية منحازة ومنخفضة جداً. نحن نقول للعالم: "هذا الذكاء الاصطناعي ذكي بنسبة 80% فقط"، بينما قد يكون في الواقع ذكياً بنسبة 85%، فقط لأن الاختبار تُرجم بشكل سيء.
ملخص الخلاصة
تخلص الورقة إلى أن استخدام معايير الاختبار المترجمة آلياً لاختبار الذكاء الاصطناعي أمر محفوف بالمخاطر.
- الروبوتات ليست مثالية في رصد أخطاء الترجمة بعد.
- تسبب أخطاء الترجمة انخفاضاً حقيقياً وقابلاً للقياس في الأداء (حوالي 6-11 نقطة أقل في الدقة).
- ترتيب نماذج الذكاء الاصطناعي مستقر (الفائز يظل هو الفائز)، لكن الدرجات منخفضة بشكل غير عادل.
الأمر يشبه تحكيم مسابقة طبخ حيث تمت ترجمة المكونات من لغة أخرى. قد يظل أفضل طباخ هو الفائز، لكن الحكام قد يعتقدون أن الطعام مذاقه أسوأ مما هو عليه بالفعل لأن الوصفة تم تحريفها قليلاً أثناء الترجمة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.