Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "هل نموذجي مرتبك للسبب الصحيح؟ مقارنة سلوك النماذج اللغوية الكبيرة في الاختبارات المرجعية مع الارتباك على مستوى الرمز (Token)."

1. بيان المشكلة

تعتمد التقييمات الحالية للنماذج اللغوية الكبيرة (LLMs) بشكل كبير على اختبارات أداء المهام (مثل الدقة في مهام التصنيف أو التوليد). ويرى المؤلفون أن هذه المقاييس تعاني من عيبين حرجين:

• الافتقار إلى الرؤية الآلية: الدقة العالية لا تضمن أن النموذج يستخدم الاستدلال اللغوي الصحيح. فقد يحقق النموذج درجات عالية عبر "طرق مختصرة" (shortcuts) أو استدلالات (heuristics) لا علاقة لها بالسمة اللغوية المقصودة (مشكلة "الغرفة الصينية").
• انحياز التأكيد: غالبًا ما يفسر الباحثون المخرجات الصحيحة كدليل على الفهم الحقيقي، حيث يسقطون توقعاتهم الخاصة على سلوك النموذج دون التحقق من عملية اتخاذ القرار الأساسية.

إن طرق الذكاء الاصطناعي القابل للتفسير (XAI) الموجودة، مثل إسناد الميزات (على سبيل المثال، خرائط السطوع/Saliency maps)، غالبًا ما تكون غير مستقرة ويمكن أن تكون مضللة. تسعى الورقة إلى إيجاد طريقة أكثر منهجية واستقرارًا لتحديد ما إذا كان ارتباك النموذج (Perplexity) يتوافق مع رموز (tokens) محورية لغويًا.

2. المنهجية

يقترح المؤلفون إطار عمل للارتباك على مستوى الرمز (PPL) لاختبار فرضيات محددة حول سلوك النموذج دون الاعتماد على تقنيات الإسناد غير المستقرة.

الإعداد التجريبي: الأزواج الدنيا (Minimal Pairs)

تستخدم الدراسة الأزواج الدنيا من النصوص (Prompts). يتكون كل زوج من جملتين متطابقتين باستثناء "رمز محوري" واحد أو بضعة رموز تحدد القواعد النحوية، أو الغموض، أو الصلاحية الدلالية للجملة.

• مثال: "اقترب أندري من الشخص بـ كرسي أخضر" (غامضة) مقابل "اقترب أندري من الشخص الذي كان لديه كرسي أخضر" (غير غامضة).
• يُطلب من النموذج تحديد أي الجملتين هي الصحيحة/الغامضة.

المقاييس

حدد المؤلفون مقياسين أساسيين لتحليل الحالة الداخلية للنموذج، بشكل مستقل عن دقة المهمة النهائية:

1. الدقة (Accuracy): تصنيف ثنائي قياسي (هل يخصص النموذج ارتباكًا (PPL) أقل للتسلسل "الصحيح"؟).
2. مقاييس الارتباك على مستوى الرمز (Token-Level Perplexity Metrics): لقياس لماذا اتخذ النموذج قراره، يقومون بحساب الفرق في الارتباك ($\Delta PPL$) بين النصوص الصحيحة والخاطئة.
   • النسبة البسيطة (Plain Proportion): نسبة الفرق المطلق في الـ PPL المساهم به من قبل الرموز المحورية إلى إجمالي الـ $\Delta PPL$ للتسلسل.
     • الصيغة: $\frac{\sum |PPL_{pivotal}^{correct} - PPL_{pivotal}^{incorrect}|}{\sum |PPL_{all}^{correct} - PPL_{all}^{incorrect}|}$
     • الهدف: القيمة 1.0 تعني أن الرموز المحورية تفسر القرار بأكمله.
   • النسبة المعيارية (Normalized Proportion): مقياس منقح يأخذ في الاعتبار اتجاه التأثير ويتم معيارته مقابل عدد الرموز. وهو يطرح الوسيط النسبي للرموز غير المحورية من متوسط نسبة الرموز المحورية.
     • الهدف: القيمة 1.0 تشير إلى أن الرموز المحورية تقود التحول في الاتجاه الصحيح؛ والقيمة 0 تشير إلى أنها ليست أكثر إخبارًا من الرموز المتوسطة.

النماذج والمهام

• النماذج: أربعة نماذج ذات أوزان مفتوحة: Gemma3-4B، وMistral0.3-7B، وLlama3.2-3B، وQwen2.5-7B.
• المهام:
  1. فحص السلامة (Sanity Check): كلمات nonsense (إدراج كلمة حقيقية واحدة).
  2. الصور النمطية (Stereotypes): مجموعة بيانات CrowS-pairs (كشف التحيز الاجتماعي).
  3. الظواهر اللغوية (Linguistic Phenomena): مجموعة بيانات BLiMP (توافق المرجع/Anaphor agreement، والتحقق من الحيوية/Animacy verification) ومجموعة بيانات DUST (كشف الغموض).

3. النتائج الرئيسية

تكشف التجارب عن انفصال كبير بين دقة المهمة وآليات الاستدلال الأساسية.

• فحص السلامة (الكلمات العبثية/Nonsense Words): تعمل الطريقة كما هو مخطط لها. في هذا الإعداد المنضبط، يفسر الرمز المحوري (الكلمة الحقيقية الوحيدة) الغالبية العظمى من الـ $\Delta PPL$، مما يؤكد قدرة إطار العمل على اكتشاف الاستدلال "الصحيح".
• المهام الرئيسية (اللغوية والصور النمطية):
  • انفصال الدقة عن الاستدلال: غالبًا ما تحقق النماذج دقة عالية في المهام (مثل توافق المرجع، والغموض) ولكنها تفشل في إسناد تحول الارتباك إلى الرموز المحورية الصحيحة.
  • التفسير غير المكتمل: حتى عندما تؤدي النماذج بشكل جيد، فإن الرموز المحورية لا تفسر أبدًا تحول الارتباك بشكل كامل.
    • في DUST (الغموض)، تقود الرموز المحورية التحول بقوة أكبر، وتفسر أحيانًا ما يقرب من 100% من الفرق.
    • في BLiMP (المرجع/الحيوية) والصور النمطية، تفسر الرموز المحورية بحد أقصى حوالي ~50% من الـ $\Delta PPL$.
  • الإشارات البديلة: تساهم الرموز الأخرى، مثل علامات الترقيم (النقط) أو السياق المحيط، بشكل كبير في عملية اتخاذ القرار. على سبيل المثال، في مهمة الصور النمطية، ساهمت النقاط في فرق الـ PPL عبر جميع النماذج.
  • تباين النماذج: تظهر النماذج المختلفة استدلالات (heuristics) مختلفة. فعلى سبيل المثال، ينسب نموذج Mistral قدرة تفسيرية أقل للنقاط في مهمة الصور النمطية مقارنة بـ Gemma أو Llama أو Qwen.

4. المساهمات الرئيسية

1. إطار عمل تفسيري منهجي: تقديم طريقة بسيطة ومستقرة باستخدام الارتباك على مستوى الرمز لاختبار فرضيات محددة حول سلوك النموذج، وتجنب عدم استقرار طرق إسناد الميزات.
2. مقاييس جديدة: تطوير مقاييس "النسبة البسيطة" و"النسبة المعيارية" لقياس مدى دفع رموز محددة لقرارات النموذج.
3. دليل تجريبي على الاعتماد على الاستدلالات (Heuristics): إثبات أن النماذج اللغوية الكبيرة الحالية، حتى عند تحقيق درجات عالية في الاختبارات المرجعية، تعتمد غالبًا على استدلالات أخرى غير الإشارات اللغوية المتوقعة. إنها غالبًا ما تكون "مرتبكة للأسباب الخاطئة".
4. إطلاق الموارد: إصدار الكود والبيانات الخاصة بإطار عمل "Semantic match DUST" للجمهور.

5. الأهمية والآثار المترتبة

• نقد الاختبارات المرجعية: تتحدى الورقة صلاحية الاختبارات المرجعية القياسية كوكلاء للكفاءة اللغوية. فالدقة العالية لا تعني الفهم؛ إذ قد تكون النماذج "صحيحة للأسباب الخاطئة".
• الحاجة إلى تقييم أفضل: تؤكد على ضررية طرق التفسير التي يمكنها التحقق من كيفية وصول النموذج إلى استنتاج، وليس فقط ما هو الاستنتاج.
• أداة تشخيصية: تعمل المقاييس المقترحة كأداة تشخيصية لتحديد متى تعتمد النماذج على الارتباطات الزائفة (مثل علامات الترقيم أو كلمات سياقية معينة) بدلاً من السمات اللغوية المقصودة.
• الاتجاهات المستقبلية: يقترح المؤلفون أن تطوير وتقييم النماذج في المستقبل يجب أن يتجاوز أداء المهام النهائية لضمان توافق النماذج مع التوقعات اللغوية البشرية وآليات الاستدلال.

القيود التي ذكرها المؤلفون

• القابلية للتعميم: النتائج محددة بمجموعات البيانات والنماذج المختبرة؛ والمهام التي يصعب فيها تحديد "الرموز المحورية" (مثل الاستدلال الدلالي المعقد) قد لا تتناسب مع هذا الإطار.
• تعريف الـ PPL: تعتمد النتائج على التعريف المتسلسل للارتباك؛ وقد تؤدي طرق حساب بديلة إلى رؤى مختلفة.
• حساسية المطالبات (Prompt Sensitivity): بينما تم اختبار متغيرات مختلفة من المطالبات، فإن حساسية النتائج لصياغة المطالبة تتطلب مزيدًا من البحث.