Same Meaning, Different Scores: Lexical and Syntactic Sensitivity in LLM Evaluation

1. بيان المشكلة

أدى الانتشار السريع للنماذج اللغوية الكبيرة (LLMs) إلى جعل المعايير القياسية (مثل MMLU وSQuAD) الأداة الأساسية لمقارنة النماذج واختيارها. ومع ذلك، بدأت موثوقية هذه المعايير تثير تساؤلات متزايدة بسبب الحساسية تجاه صياغة المطالبات (Prompt Sensitivity). تشير الأبحاث السابقة إلى أن التغييرات السطحية في مدخلات المطالبات — مثل إضافة سياق غير ذي صلة، أو إعادة ترتيب المقدمات، أو تغيير تسميات خيارات الإجابة — يمكن أن تؤدي بشكل كبير إلى تدهور الأداء أو إزاحة ترتيب النماذج.

لا تزال هناك فجوة حرجة في فهم مصدر هذه الحساسية: هل ينبع التباين في الأداء أساساً من التحولات المعجمية (تغيير اختيار الكلمات) أم من التعديلات النحوية (تغيير البنية القواعدية)؟ تفشل طرق التقييم الحالية غالباً في التمييز بين هذين النوعين، مما قد يؤدي إلى المبالغة في تقدير قدرات التعميم الحقيقية والكفاءة اللغوية المجردة للنماذج اللغوية الكبيرة.

2. المنهجية

أجرى المؤلفون تقييماً منهجياً لـ 23 نموذجاً من أحدث النماذج اللغوية الكبيرة (تتراوح أحجامها بين ~0.3 مليار إلى ~235 مليار معلمة، بما في ذلك النماذج مفتوحة الأوزان والنماذج المملوكة لشركات) عبر ثلاثة معايير متنوعة:

• MMLU: الإجابة على أسئلة متعددة الخيارات (العلوم الإنسانية، العلوم والتقنية، العلوم الاجتماعية).
• SQuAD: استخراج الإجابات من الأسئلة (مقالات ويكيبيديا).
• AMEGA: الالتزام بالإرشادات السريرية (سؤال وجواب طبي حر الشكل).

استخدمت الدراسة مساري اضطراب (Perturbation) يحافظان على المعنى ومبنيين على أسس لغوية لتوليد متغيرات مكافئة شرطياً لمجموعات البيانات:

1. مسار الاضطراب المعجمي:

   • يستخدم نموذج Llama-3.3-70B-Instruct مكمّم (Quantized) لإجراء استبدال موجه للمترادفات.
   • يضمن الملاءمة السياقية والحفاظ على المصطلحات المتخصصة في المجال.
   • بالنسبة لـ SQuAD، يضمن قيد صارم بقاء سلسلة الإجابة المتصلة دون تغيير لعزل الآثار المعجمية عن عملية استخراج الإجابة.
   • يتم تقييد المخرجات عبر مخططات JSON لضمان اتساق التنسيق.

2. مسار الاضطراب النحوي:

   • يستخدم تحليل التبعية (عبر spaCy) لتحديد مكونات جملة المصفوفة (المبتدأ/الفاعل، المفعول به، المتمم).
   • يطبق تحويلات قائمة على القواعد (مثل: من المبني للمعلوم إلى المبني للمجهول، الإزاحة، حركة Wh، والتناوب الداتيفي) فقط عندما تتحقق شروط قواعدية محددة.
   • تقوم مرحلة ثانية من النموذج اللغوي بتنفيذ التحويل باستخدام قوالب خاصة بالعملية لضمان السلامة اللغوية مع الحفاظ على المحتوى القضائي.
   • تُقيد التعديلات في جملة المصفوفة لتجنب تغيير المنطق المتضمن.

بروتوكول التقييم:

• تم اختبار النماذج في بيئة التعلم من الصفر (Zero-shot) مع ضبط درجة الحرارة (Temperature) عند 0 لضمان الحتمية.
• المقاييس: الدقة (MMLU)، التطابق التام/F1/التشابه الدلالي للإجابة (SQuAD)، ودرجة الالتزام بالإرشادات (AMEGA).
• التحليل الإحصائي: اختبار McNemar للقدرة على التمييز داخل النموذج الواحد، واختبار Wilcoxon للرتب الموقعة لتحولات التوزيع، ومعامل Kendall's $\tau$ لاستقرار الترتيب.

3. المساهمات الرئيسية

يحدد البحث ثلاث نتائج رئيسية تتحدى الافتراضات الحالية في تقييم النماذج اللغوية الكبيرة:

1. هيمنة المعجم على البنية النحوية: النماذج اللغوية الكبيرة أكثر حساسية للتباينات المعجمية (استبدال المترادفات) مقارًة بإعادة الصياغة النحوية. يشير هذا إلى أن النماذج تعتمد بشدة على الأنماط اللفظية السطحية بدلاً من الكفاءة القواعدية المجردة.

2. هشاشة لوحات الصدارة (Leaderboards): الاضطرابات التي تحافظ على المعنى كافية لزعزعة استقرار ترتيب النماذج، لا سيما في المهام المعقدة. وتُظهر النتائج أن لوحات الصدارة الثابتة غير موثوقة لاختيار النماذج، حيث يمكن لتغييرات لغوية طفيفة أن تغير النموذج "الأفضل".

3. عدم الرتابة في توسع المتانة (Non-Monotonic Scaling of Robustness): إن افتراض أن "الأكبر هو الأفضل" فيما يتعلق بالمتانة هو افتراض خاطئ. فالعلاقة بين حجم النموذج والاستقرار تعتمد على المهمة:

   • في MMLU، أظهرت النماذج الأكبر هشاشة أكبر (ارتباط إيجابي بين الحجم وانخفاض الأداء).
   • في SQuAD وAMEGA، أظهرت النماذج الأكبر متانة متزايدة (ارتباط سلبي).

4. النتائج

• تدهور الأداء:

  • تسببت الاضطرابات المعجمية في انخفاضات كبيرة وذات دلالة إحصائية في الأداء عبر معظم النماذج والمهام.
    • MMLU: متوسط انخفاض الدقة بلغ 7.72 نقطة مئوية (pp).
    • SQuAD: متوسط انخفاض F1 بلغ 3.38 نقطة مئوية.
  • كانت للـ اضطرابات النحوية آثار متباينة، مع انخفاضات متوسطة أصغر (مثلاً 1.64 نقطة مئوية في MMLU) وأدت أحياناً إلى تحسين النتائج لنماذج معينة.
  • الدلالة: أظهر 22 نموذجاً من أصل 23 انخفاضات في الأداء ذات دلالة عالية جداً ($p < 0.001$) في MMLU بسبب التغييرات المعجمية.

• عدم استقرار الترتيب:

  • MMLU: ظل الترتيب مستقراً نسبياً تحت كلا نوعي الاضطراب (Kendall's $\tau \approx 0.98$ للمعجمي، و $0.99$ للنحوي).
  • SQuAD وAMEGA: كان الترتيب متقلباً للغاية. فعلى سبيل المثال، تحت الاضطراب المعجمي في SQuAD، تراجع GPT-4.1-Nano من المركز 8 إلى 12، بينما تحسن GPT-OSS-120b من المركز 14 إلى 9.
  • انخفض معامل Kendall's $\tau$ لـ SQuAD وAMEGA إلى 0.87–0.93، مما فشل في تلبية عتبة "التكافؤ الصارم" ($\tau > 0.9$) في حالات كثيرة.

• حجم النموذج مقابل المتانة:

  • MMLU: ارتباط إيجابي قوي ($r=0.84$) بين حجم النموذج وانخفاض الأداء. أي أن النماذج الأكبر كانت أقل متانة.
  • SQuAD/AMEGA: ارتباطات سلبية ($r=-0.47$ و $-0.67$ على التوالي). أي أن النماذج الأكبر كانت أكثر متانة في هذه المهام.

5. الأهمية والآثار المترتبة

• إعادة تقييم التعميم: تشير النتائج إلى أن النماذج اللغوية الكبيرة الحالية قد تكون "تفرط في التخصيص" (Overfitting) للأنماط المعجمية المحددة لمجموعات اختبار المعايير، بدلاً من تطوير قدرة حقيقية على الاستنتاج المجرد أو الكفاءة اللغوية.
• تصميم المعايير: لوحات الصدارة الثابتة غير كافية للاختيار عالي الدقة للنماذج. يدعو البحث إلى جعل اختبار المتانة (تقييم الأداء تحت اضطرابات تحافظ على المعنى) جزءاً معيارياً من تقييم النماذج اللغوية الكبيرة.
• منهجيات التدريب: تسلط النت نیز الضوء على الحاجة إلى استراتيجيات تدريب جديدة، مثل تعزيز البيانات بمدخلات مضطربة أو استخدام خسائر الاتساق الدلالي (Semantic Consistency Losses) لمعاقبة النماذج على اختلاف مخرجاتها عند استخدام مدخلات مترادفة.
• قابلية التكرار: أصدر المؤلفون مجموعات البيانات المضطربة والشيفرة البرمجية لتسهيل المزيد من الأبحاث حول التعميم اللغوي واستقرار النماذج.

في الختام، يجادل البحث بأن المجال يجب أن يتجاوز الدرجات الثابتة نحو نموذج تقييم "حقيقي" (Veridical) يعطي الأولوية للاستقرار والمتانة ضد التغيرات اللغوية السطحية.