ملخص تقني: فك الارتباط بين الأدوار اللغوية في تنفيذ المهام بالنماذج اللغوية الكبيرة متعددة اللغات

1. بيان المشكلة

تُستخدم النماذج اللغوية الكبيرة (LLMs) متعددة اللغات بشكل متزايد في سير العمل حيث لا تتطابق لغة التعليمات، ولغة المحتوى المصدر، ولغة الاستجابة المطلوبة. وبينما وسعت الاختبارات المعيارية الحالية تغطية اللغات وتقييم اتباع التعليمات، إلا أنها عادةً ما تعامل اللغة كمتغير متجانس أو تفشل في عزل الأدوار المحددة للتعليمات والمحتوى والاستجابة ضمن تصميم تقييمي واحد. وبناءً على ذلك، عندما يفشل النموذج، يظل من غير الواضح ما إذا كان الخطأ ناتجاً عن سوء فهم المهمة، أو معالجة المحتوى، أو تحقيق اللغة المستهدفة، أو الالتزام بالقيود، أو التفاعلات بين هذه العوامل. تعالج هذه الورقة الحاجة إلى إطار تشخيصي محكم لتقييم تنفيذ المهام متعدد اللغات كتفاعل مهيكل بين ثلاثة أدوار لغوية متميزة: $(L_{instr}, L_{content}, L_{resp})$.

2. المنهجية: MTM-Bench

قدم المؤلفون MTM-Bench (اختبار التباين الثلاثي متعدد اللغات)، وهو اختبار معياري محكوم مصمم لفك الارتباط بين هذه الأدوار.

بناء الاختبار المعياري

• التصميم: يستخدم الاختبار تصميماً متقاطعاً بالكامل باستخدام الإنجليزية (EN)، والإسبانية (ES)، والصينية (ZH). وهو يحصي جميع التوليفات الثلاثية الممكنة للغات البالغ عددها $3^3 = 27$.
• عائلات المهام: يتكون الاختبار من 2,430 حالة لكل نموذج عبر ثلاث عائلات مهام متميزة، تستهدف كل منها تحدياً محدداً في التنفيذ:
  1. الانعكاس الدلالي (العائلة A): مهام تتطلب من النموذج تحديد موقف ضمني (مثل السخرية أو التهكم) يتناقض مع الصياغة السطية.
  2. استخراج الحالة النهائية (العائلة B): مهام تتضمن نصوصاً إدارية قصيرة تحتوي على تحديثات، تتطلب استخراج القيمة النهائية الصحيحة (مثل وقت معاد جدوله أو جهة اتصال) مع الالتزام بتنسيقات مخرجات صارمة.
  3. نقاء اللغة مع تحقيق التحديث (العائلة C): مهام تتطلب من النموذج وصف تحديث للحالة (مثل تغيير الغرفة) في اللغة المستهدفة، مع توطين الهيكلية بدقة مع السماح بأسماء علم محددة مسبقاً (مثل "Zoom" أو "Teams").
• المتغيرات المحكومة: تمت إعادة كتابة العناصر الأساسية بدلاً من ترجمتها لضمان الاستقرار الدلالي عبر جميع الـ 27 توليفة لغوية. تم تثبيت البيانات الوصفية والأسماء وتنسيقات الإجابة حيثما كانت تحدد المهمة، بينما تم توطين المادة اللغوية وفقاً للموضع اللغوي المحدد.

بروتوكول التقييم

يستخدم التقييم مقاييس مفككة لفصل أنماط الفشل المختلفة:

• الصحة الدلالية (SC): تقيس ما إذا كانت المخرجات تلتقط المعنى المستهدف (على سبيل المثال، القطبية الصحيحة في حالة الانعكاس، أو القيمة النهائية الصحيحة في حالة الاستخراج).
• صحة اللغة (LC): حكم ثنائي حول ما إذا كانت الاستجابة تلتزم بلغة الاستجابة المطلوبة ($L_{resp}$)، مع اعتبار الأرقام والأسماء العلم المسموح بها محايدة لغوياً.
• صحة القيود (CC): تتحقق من قيود المخرجات الصريحة (مثل "المخرجات فقط" أو "جملة واحدة").
• نسبة التلوث (CTR): مقياس مستمر للمواد غير التابعة للغة المستهدفة في المخرجات.
• النجاح المشترك (JS): المقياس التجميعي المعرف بـ $JS = SC \times LC \times CC$، حيث تُعامل المتطلبات الثلاثة كمتطلبات ضرورية مجتمعة.

تم التحقق من صحة التسجيل من خلال تدقيق بشري مستهدف يغطي الحالات الحدية والمخرجات الروتينية، مع معدل تجاوز للمكونات بلغ 18.2% للحالات المستهدفة، مما يشير إلى أن خط المعالجة الآلي يتعامل مع معظم الحالات الروتينية باتساق.

3. المساهمات الرئيسية

1. إعادة صياغة التنفيذ متعدد اللغات: تعيد الورقة صياغة تنفيذ المهام متعدد اللغات كمسألة تقييم قائمة على التوليفات الثلاثية، حيث يتم تغيير لغات التعليمات والمحتوى والاستجابة بشكل مستقل بدلاً من معاملتها كمتغير واحد غير متمايز.
2. اختبار معياري متقاطع بالكامل: تقدم اختباراً معيارياً متقاطعاً بالكامل يغطي 27 توليفة لغوية وثلاث عائلات مهام، ويتم تسجيله ببروتوكول مفكك يعزل الصحة الدلالية، والالتزام باللغة، والامتثال للقيود.
3. التشخيص النوعي للأدوار: يتيح التصميم المتقاطع بالكامل إجراء مقارنات هامشية لا تستطيع الاختبارات المعيارية التجميعية عزلها، مما يكشف أن التدهور ينظم حسب الدور الذي تشغله اللغة، وليس مجرد عدد حالات عدم التطابق.

4. النتائج

قيم المؤلفون 20 نموذجاً من النماذج الرائدة وذات الأوزان المفتوحة (بما في ذلك عائلات Claude، وGPT، وGemini، وDeepSeek، وQwen، وLLaMA) على الاختبار الكامل.

الأداء العام

• النجاح المشترك: تراوح بين 0.537 و0.840 عبر النماذج (بمتوسط 0.745).
• مقاييس المكونات: كانت المقاييس الفردية أعلى (متوسط LC: 0.905، SC: 0.893، CC: 0.880)، مما يشير إلى أن تلبية المتطلبات الثلاثة في آن واحد أصعب بكثير من تلبية كل منها على حدة.
• تباين النماذج: لم يختزل التصنيف العام إلى أي مقياس مكون واحد؛ فالنماذج التي تفوقت في الصحة الدلالية فشلت أحياناً في الالتزام بالقيود، والعكس صحيح.

النتائج الرئيسية حول الأدوار اللغوية

• هيمنة لغة الاستجابة: لغة الاستجابة هي المحور المهيمن للتباين. انخفض النجاح المشترك بشكل كبير عندما كانت لغة الاستجبة هي الإسبانية ($\Delta = -0.108$) أو الصينية ($\Delta = -0.113$) مقارنة بالإنجليزية. في المقابل، كان للتغيرات في لغة التعليمات أو لغة المحتوى تأثيرات ضئيلة ($\Delta < 0.03$).
• عدد عدم التطابق مقابل موضع الدور: تتحدى الورقة فرضية أن عدد عدم التطابق هو متنبئ رتيب للصعوبة. فقد حقق "عدم التطابق في الاستجابة فقط" (عدم تطابق واحد) و"عدم التطابق الكامل" (ثلاثة حالات عدم تطابق) مستويات أداء متشابهة (0.694 مقابل 0.705). وهذا يشير إلى أنه بمجرد اختلاف لغة الاستجابة عن السياق السابق، فإن حالات عدم التطابق الإضافية في التعليمات أو المحتوى تضيف قدرة تفسيرية ضئيلة لصعوبة المهمة.
• الاختناقات الخاصة بالمهام:
  • الانعكاس الدلالي: صحة دلالية عالية ولكنها محدودة بتحقيق لغة الاستجابة، لا سيما بالنسبة للاستجابات الصينية.
  • استخراج الحالة النهائية: صحة لغوية عالية ولكن مع فشل متكرر في الالتزام بالقيود (مثل مخالفة قواعد "المخرجات فقط").
  • نقاء اللغة: التزام عالٍ بالقيود ولكن بصحة دلالية أقل بسبب الصعوبات في تحقيق التحديثات دون حذف أو تشويه المعلومات.

5. الأهمية والادعاءات

تدعي الورقة أن التقييم متعدد اللغات يجب أن يتتبع الدور الذي تلعبه كل لغة بدلاً من دمج التكوينات المختلفة في درجة إجمالية واحدة.

• القيمة التشخيصية: يكشف التصميم المتقاطع بالكامل أن التدهجر ينظم حسب الدور الذي تشغله اللغة. دور لغة الاستجابة هو المصدر الرئيسي للتباين، بينما تلعب أدوار التعليمات والمحتوى أدواراً أصغر وأقل اتساقاً.
• الصعوبة غير الرتيبة: تشير نتيجة أن عدد عدم التطابق ليس متنبئاً رتيباً للصعوبة إلى أن العبء المعرفي أو البنيوي للتنفيذ متعدد اللغات ليس مجرد عبء تراكمي. فالانتقال من سياق أحادي اللغة إلى لغة استجابة مختلفة يمثل العقبة الأساسية.
• القيود: يشير المؤلفون بتواضع إلى أن هذه النتائج محكومة ضمن إعدادات EN/ES/ZH وعائلات مهام محددة (قصيرة، إدارية، وانعكاسية). يجب تفسير النتائج كفحص تشخيصي محكوم وليس كادعاء عالمي حول كل تنفيذ مهام متعدد اللغات أو الأداء على نطاق أوسع. تم تصميم الاختبار للتشخيص النوعي للأدوار بدلاً من تقدير الأداء العام على مستوى المجال.

في الختام، يوضح MTM-Bench أن تنفيذ المهام متعدد اللغات الناجح يتطلب أكثر من مجرد الطلاقة العامة؛ فهو يتطلب القدرة المحددة على تحقيق الإجابات في لغة مستهدفة قد تختلف عن كل من التعليمات ومحتوى المصدر، وهي قدرة تعاني النماذج الحالية معها بشكل غير متناسب مقارنة بفهم أو معالجة أدوار اللغات الأخرى.