Apples to Apples? Towards Comparable Crosslingual Language Model Evaluation
تُظهر هذه الورقة أن المقاييس المعيارية المستخدمة على نطاق واسع لتقييم النماذج اللغوية عبر اللغات تُدخل تحيزات ناتجة عن الاختلافات في التقطيع (tokenization) والخصائص الكتابية، وتقترح أن حساب لوغاريتم الاحتمال السالب على مستوى الجملة عبر المتواليات المتكافئة دلالياً يقدم بديلاً أكثر اتساقاً وإنصافاً لمقارنة النماذج عبر اللغات.
في عالم الذكاء الاصطناعي سريع التطور، تتعلم الحواسيب التحدث والكتابة بعشرات اللغات البشرية. هذه العقول الرقمية، المعروفة باسم النماذج اللغوية، يتم تدريبها على مكتبات ضخمة من النصوص للتنبؤ بالكلمة التالية في الجملة. ومع ازدياد قوة هذه الأنظمة، يواجه الباحثون تحديًا حاسمًا: كيف نعرف ما إذا كان النموذج جيدًا حقًا في لغة معينة، أم أنه جيد فقط في الطريقة التي تُكتب بها تلك اللغة على الكمبيوتر؟ وللإجابة على هذا، يجب على العلماء قياس مدى فهم النموذج لمعنى النص، وليس فقط مدى كفاءته في معالجة الرموز أو الأحرف الخام. تكمن المشكلة في أن الأدوات المستخدمة حاليًا لقياس هذا الفهم غالبًا ما تحتوي على فخاخ خفية؛ إذ يمكن أن تتأثر بعدد الحروف في الكلمة، أو النوع المحدد للخط المستخدم لكتابة اللغة، أو الطريقة التي يجزئ بها الكمبيوتر الجملة إلى قطع صغيرة للمعالجة. وإذا كانت هذه الأدوات منحازة، فقد تجعل النموذج يبدو عبقريًا في لغة ما ومتعثرًا في أخرى، ليس بسبب ذكائه الفعلي، بل بسبب عيوب تقنية في كيفية التعامل مع البيانات. وهذا يجعل من المستحيل تقريبًا مقارنة أداء الذكاء الاصطناعي بشكل عادل عبر اللغات المتنوعة في العالم.
لقد شرع فريق من الباحثين من جامعة جورج تاون وشركة إليثر إيه آي (EleutherAI) في حل هذا اللغز من خلال اختبار الأدوات ذاتها المستخدمة لتقييم هذه النماذج. فقد بنوا تجربة محكومة باستخدام خمسين نموذجًا حاسوبيًا منفصلًا، تم تدريب كل منها حصريًا على لغة واحدة من عشر لغات مختلفة. ولضمان اختبار عادل، قاموا بتدريب هذه النماذج على بيانات متوازية، مما يعني أن النماذج تعلمت من نصوص تعبر عن المعنى ذاته بلغات مختلفة. ثم اختبروا هذه النماذج باستخدام ست طرق قياس مختلفة شائعة الاستخدام في هذا المجال. بعض هذه الطرق تحسب العدد الإجمالي للقطع الصغيرة، أو "التوكنز" (tokens)، التي يستخدمها النموذج لفهم الجملة. بينما تحسب طرق أخرى عدد "البايتات" (bytes)، وهي وحدات التخزين الرقمية، أو عدد الحروف الفردية على الشاشة. كما اختبر الباحثون طريقة تقوم ببساطة بجمع إجمالي الصعوبة التي يواجهها النموذج في التنبؤ بجملة كاملة، دون تقسيم تلك الصعوبة على طول النص.
كشفت النتائج عن حقيقة مذهلة حول كيفية عمل هذه القياسات. فقد وُجد أن الطرق التي تقسم أداء النموذج على عدد "التوكنز" أو "البايتات" أو الحروف كانت معيبة للغاية عند المقارنة بين اللغات المختلفة. فقد انحازت هذه المقاييس باستمرار للغات التي تستخدم بطبيعتها عددًا أقل من الحروف أو البايتات للتعبير عن نفس الفكرة، مثل الصينية، بينما عاقبت اللغات التي تتطلب تسلسلات أطول من الرموز. وفي مثال صارخ، أظهر نموذج تم تدريبه على الإنجليزية فقط أنه يؤدي "بشكل أفضل" في الروسية منها في الإنجليزية عند قياسه بهذه الطرق المعيبة، لمجرد أن الكمبيوتر جزأ النص الروسي إلى قطع أكثر، مما أدى لخفض الدرجة بشكل مصطنع. حدث هذا رغم أن النموذج لم يرَ الروسية من قبل وكان يؤدي فيها بشكل سيء في الواقع. أظهرت الدراسة أن هذه المقاييس الشائعة لم تكن تقيس ذكاء النموذج أو فهمه الفعلي؛ بل كانت تعكس مجرد الخيارات الهندسية التي اتخذت عند إعداد الكمبيوتر لقراءة النص.
في المقابل، ثبت أن الطريقة التي جمعت إجمالي صعوبة الجملة دون تقسيمها على الطول هي النهج الوحيد العادل. هذا المقياس، الذي يسميه الباحثون "الاحتمال اللوغاريتمي السالب على مستوى الجملة" (sentence-level negative log-likelihood)، نظر إلى الجهد الإجمالي الذي بذله النموذج لفهم المعنى الكامل للنص. ولأنه لم يحاول تطبيع الدرجة بناءً على طول النص من حيث الحروف أو التخزين الرقمي، فقد ظل مستقرًا بغضًا عن خط اللغة أو حجم مفردات الكمبيوتر. وعندما اختبر الباحثون هذه الطريقة على نماذج لغوية ضخمة وواقعية، كانت هي المقياس الوحيد الذي حدد بشكل صحيح اللغات التي تعلمتها النماذج بشكل أفضل، وهو ما يتوافق مع التركيبة المعروفة لبيانات تدريبها. بينما استمرت المقاييس الأخرى في إنتاج تصنيفات مشوهة بالتفاصيل التقنية لكيفية تخزين النص ومعالجته.
كما بحث الباحثون فيما إذا كانت هذه القياسات تظل ثابتة عندما يتم التعبير عن المعنى نفسه بطرق مختلفة. ووجدوا أنه بينما تتقلب بعض المقاييس بشكل كبير اعتمادًا على الترجمة أو إعادة الصياغة المستخدمة، ظل المقياس على مستوى الجملة مستقرًا. وهذا يشير إلى أن الاستقرار الظاهري للمقايض الأخرى كان وهمًا ناتجًا عن حساسيتها للتفاصيل السطحية وليس علامة على الموثوقية الحقيقية. وتخلص الدراسة إلى أنه لفهم كيفية عمل الذكاء الاصطناعي حقًا عبر مختلف الثقافات واللغات، يجب على العلماء التوقف عن الاعتماد على المقاييس التي تعد "التوكنز" أو "البايتات" أو الحروف. وبدلاً من ذلك، يجب عليهم استخدام مقاييس تحترم المعنى الإجمالي للنص، مما يضمن أن التقييم يعكس تعلم النموذج الفعلي بدلاً من العيوب التقنية لتمثيله الرقمي. هذا التحول ضروري لبناء أنظمة عادلة وفعالة حقًا للجميع، بغض النظر عن اللغة التي يتحدثونها.
ملخص تقني: "تفاح إلى تفاح؟ نحو تقييم قابل للمقارنة لنماذج اللغات متعددة اللغات"
بيان المشكلة
لا يزال التقييم العادل للنماذج اللغوية (LMs) عبر لغات متنوعة نوعياً يمثل تحدياً جوهرياً في معالجة اللغات الطبيعية (NLP) متعددة اللغات. وبينما تم إحراز تقدم كبير في توسيع نطاق تكنولوجيا اللغة لتشمل العديد من اللغات، لا تزال الفجوات الكبيرة في الأداء قائمة. ويتمثل أحد العوائق الحاسمة أمام القياس الدقيق لهذه الفجوات في عدم وجود إجماع على مقاييس التقييم. تستخدم الدراسات الحالية مجموعة متنوعة من المهام اللاحقة والمقاييس الجوهرية (مثل: الارتياب/Perplexity، وBits-per-Byte، وBits-per-Character) ذات المبررات النظرية المختلفة. ومع ذلك، فإن الاستقصاء التجريبي حول ما إذا كانت هذه النهج تؤدي إلى استنتاجات عابرة للغات ذات معنى يظل محدوداً. وتكمن المشكلة المركزية في أن المقاييس المختلفة غالباً ما تنتج ترتيبات متباينة، وأحياناً متضاربة، لأداء النماذج عبر اللغات، مما يثير التساؤل حول ما يشكل مقارنة "عادلة".
المنهجية
يقترح المؤلفون استقصاءً تجريبياً منهجياً لعزل سلوك المقياس عن العوامل المربكة المتأصلة في النماذج متعددة اللغات. تتضمن منهجيتهم ثلاث تجارب رئيسية:
تقييم أحادي اللغة مضبوط: يستخدم المؤلفون 50 نموذجاً لغوياً أحادي اللغة تم تدريبها على مجموعات بيانات متوازية (PARALLEL-10 و PARALLEL-3) بأحجام مفردات متفاوتة (تتراوح من 8 آلاف إلى 82 ألف رمز/token) ونطاقات نماذج مختلفة (GPT2-small و GPT2-medium). يضمن هذا التصميم أن الاختلافات الملحوظة تعزى إلى اللغات والمقاييس نفسها وليس إلى المعلمات المشتركة أو عدم توازن بيانات التدريب.
مقارنة المقاييس: تتم مقارنة ستة مقاييس جوهرية بشكل منهجي:
البت لكل بايت (Bits-per-Byte - BPB)
البت لكل حرف (Bits-per-Character - BPC)
متوسط الرتبة المقلوبة (Mean Reciprocal Rank - MRR)
الارتياب (Perplexity - PPL)
اللوغاريتم السالب على مستوى الرمز (Token-level Negative Log-Likelihood - Token-NLL)
اللوغاريتم السالب على مستوى الجملة (Sentence-level Negative Log-Likelihood - Sent-NLL)
اختبارات المتانة والتعميم:
بدائل الترجمة: باستخدام أزواج الترجمة (إنجليزي-ألماني) من WMT2019 مع ترجمات مرجعية متعددة، يختبر المؤلفون استقرار المقياس ضد إعادة الصياغة واختلافات الترجمة.
التعميم متعدد اللغات: يتم التحقق من النتائج على تسعة نماذج لغوية كبيرة متعددة اللغات (بما في ذلك BLOOM، وmGPT، وXGLM، وLlama، وQwen، وTeuken) عبر أربع لغات (العربية، الإنجليزية، الروسية، الصينية). يقارن المؤلفون ترتيبات المقاييس مقابل الترتيبات المتوقعة المستمدة من تكوين بيانات التدريب.
المساهمات الرئيسية والنتائج
1. تحديد الانحيازات المنهجية في المقاييس المعيارية
تُظهر الدراسة أن خمسة من أصل ستة مقاييس مستخدمة على نطاق واسع تفرض انحيازات منهجية متجذرة في الخيارات الهندسية (الترميز/tokenization، والترميز النصي/encoding، والخط/orthography) بدلاً من جودة نمذجة اللغة الحقيقية:
المعايرة على المستوى السطحي: المقاييس التي يتم توحيدها (normalization) بناءً على الرموز (PPL، Token-NL) أو الحروف (BPC) أو البايتات (BPB) حساسة للغاية للآثار الناتجة عن التمثيل.
BPB و BPC: يتأثر هذان المقياسان بالترميز النصي. فعلى سبيل المثال، اللغات ذات النصوص اللوغوغرافية (مثل الصينية) أو النصوص التي تتطلب عدداً أكبر من بايتات UTF-8 لكل حرف (مثل الخميرية) تحصل على درجات مواتية أو غير مواتية بشكل مصطنع اعتماداً على المقياس، بغض النظر عن أداء النموذج.
PPL و Token-NLL: يتأثر هذان المقياسان بدقة تقسيم الرموز (tokenization granularity). فاللغات ذات النصوص غير المعروفة غالباً ما يتم تقسيمها إلى وحدات أصغر (مثل البايتات)، مما يزيد من عدد الرموز. وبما أن هذه المقاييس تحسب متوسط الاحتمالية على مستوى الرموز، فإن ارتفاع عدد الرموز يقلل الدرجة اصطناعياً (مما يحسن الأداء الظاهري) حتى لو لم يكن لدى النموذج معرفة حقيقية باللغة.
MRR: يتأثر هذا المقياس بحجم المفردات، حيث تؤدي المفردات الصغيرة إلى خفض سقف الرتبة اصطناعياً، مما يجعل النماذج تبدو وكأنها تؤدي بشكل أفضل.
الارتباط مع العوامل المربكة: يكشف تحليل ارتباط سبيرمان للرتب عن ارتباطات قوية (ρ>0.8) بين هذه المقاييس والعوامل المربكة المحتملة (عدد الرموز، عدد الحروف، عدد البايتات).
2. تفوق اللوغاريتم السالب على مستوى الجملة (Sent-NLL)
على عكس المقاييس المعيارية، فإن اللوغاريتم السالب على مستوى الجملة (Sent-NLL) — الذي يجمع اللوغاريتم السالب على مدى تسلسل مكافئ دلالياً دون المعايرة بوحدات سطحية — يستوفي ثلاثة معايير للمقياس العادل:
المتانة تجاه الخيارات الهندسية: لا يظهر Sent-NLL أي ارتباط معنوي مع عدد الرموز، أو عدد الحروف، أو عدد البايتات. وهو أقل حساسية بكثير لخيارات تقسيم الرموز والترميز النصي.
الاستقرار عبر الترجمات: بينما تعطي المقاييس الأخرى ترتيبات غير متسقة عند استخدام ترجمات مختلفة للنص المصدر، ينتج Sent-NLL ترتيبات لغوية متسقة عبر بدائل الترجمة.
القدرة على التعميم: تتوافق ترتيبات Sent-NLL مع الأداء المتوقع بناءً على تكوين بيانات التدريب في النماذج اللغوية الكبيرة متعددة اللغات. على سبيل المثال، في نماذج BLOOM، يقوم Sent-NLL بترتيب اللغات بشكل صحيح وفقاً لنسب بياناتها، بينما يتم تشويه PPL و Token-NLL بفعل آثار تقسيم الرموز (مثل ترتيب الروسية بشكل مرتفع رغم قلة بيانات تدريبها بسبب الإفراط في التقسيم).
3. الآثار المترتبة على التقييم اللاحق
تناقش الورقة التحديات في تقييم المهام اللاحقة، مشيرة إلى أن الاختبارات المترجمة قد تسبب ضوضاء إذا تباينت جودة الترجمة، كما أن المهام المرتبطة بالثقافة أو اللغة (مثل BLiMP) غالباً ما تفتقر إلى البيانات المتوازية أو مخططات التوصيف المتسقة، مما يجعل المقارنات عابرة للغات أمراً صعباً.
الأهمية والادعاءات
تدعي الورقة أنها تقدم أول دليل تجريبي منهجي عبر مقاييس ولغات وإعدادات ترميز متعددة يثبت أن المقاييس المعيارية غير موثوقة للمقارنة عابرة اللغات.
رفض الحدس: يجادل المؤلفون بأن الاعتماد السابق على الحدس أو التبرير النظري لمقاييس مثل BPB (الذي يُزعم أنه مستقل عن تقسيم الرموز) أو PPL لم يكن كافياً. وتظهر نتائجهم أن هذه المقاييس تفرض انحيازات كبيرة تفضل اللغات ذات التسلسلات الطويلة أو عدد الرموز الأكثر.
التحقق من العمل السابق: تتحقق الدراسة تجريبياً من الافتراضات النظرية الكامنة وراء الأعمال السابقة التي تستخدم Sent-NLL (مثل Mielke et al., 2019; Cotterell et al., 2018)، مما يوفر دليلاً مباشراً على الادعاءات التي كانت تفتقر إليه سابقاً.
طبيعة الانحياز: يوضح المؤلفون أنه بينما لا يخلو Sent-NLL تماماً من العوامل المربكة، فإن أي حساسية متبقية تعكس التعقيد اللغوي المتأصل (مثل كثافة المعلومات) بدلاً من الخيارات الهندسية التعسفية. ويفترضون أن Sent-NLL هو الخيار الأقل انحيازاً بين المقاييس الجوهرية الشائعة، لأنه يعاير بناءً على المعنى وليس وحدات التمثيل.
تفسير التباين: تشير الورقة إلى أن ترتيبات Sent-NLL تظهر تبايناً أكبر عبر مجموعات البيانات مقارنة بالمقاييس المعيارية. ويجادل المؤلفون بأن هذا يمثل نقطة قوة، حيث يعكس الاختلافات الحقيقية في مدى تعلم النموذج لكل لغة، بينما "الاستقرار" في المقاييس الأخرى هو استقرار مصطنع مدفوع بالآثار الهندسية.
يخلص المؤلفون إلى أن تحقيق تقييم عابر للغات قابل للمقارنة يتطلب الابتعاد عن المقاييس المعيارية السطحية نحو نهج يأخذ في الاعها التكافؤ الدلالي، مثل Sent-NLL، لضمان أن ترتيب اللغات يعكس جودة النمذجة بدلاً من عوامل مستوى التمثيل.