How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models

إليك ملخص تقني مفصل لورقة البحث بعنوان "ما مدى نفاق حكم النموذج اللغوي الكبير الخاص بك؟ عدم التماثل بين المستمع والمتحدث في الكفاءة البراغماتية للنماذج اللغوية الكبيرة" من إعداد جوديث سيكر وسينا زاريز.

1. بيان المشكلة

يتم تقييم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في دورين متميزين:

• كجهات مولدة (متحدثون): إنتاج لغة مناسبة سياقياً.
• كجهات حكمة (مستمعون): تقييم مدى ملاءمة أو صحة المخرجات اللغوية (نموذج "النموذج اللغوي كحكم").

غالباً ما تعامل ممارسات التقييم الحالية هذين الدورين كبدائل متبادلة للكفاءة اللغوية العامة. يرى المؤلفان أن هذا الافتراض لم يُختبر بعد، لا سيما في البراجماتية (علم التداولية - دراسة كيفية مساهمة السياق في المعنى). وبالاستناد إلى الأدلة النفسية اللغوية التي تشير إلى أن الفهم والإنتاج اللغي لدى البشر هما مهمتان مرتبطان ولكن غير متطابقين، تبحث الورقة فيما إذا كانت النماذج اللغوية الكبيرة تظهر عدم تماثل مماثلاً. وتحديداً، هل يرتبط النجاح في الحكم على الملاءمة البراجماتية بالقدرة على توليد استجابات مناسبة براجماتياً؟

2. المنهجية

تستخدم الدراسة تصميماً تجريبياً مضبوطاً يقارن أداء النماذج اللغوية الكبيرة عبر ثلاث مهام براجماتية محددة. لكل مهمة، صمم المؤلفون إعدادات متوازية لـ "المتحدث" و"المستمع" باستخدام نفس العناصر الأساسية لتمكين المقارنات المباشرة على مستوى العنصر الواحد.

المهام التجريبية

1. الافتراضات المسبقة الخاطئة (False Presuppositions):

   • المهمة: التعامل مع الأسئلة التي تحتوي على افتراضات مسبقة خاطئة (مثلاً: "هل اكتشف الناخبون أن حزب AfD يدعم أوكرانيا..." حيث يكون المقدم منطياً خاطئاً).
   • المتحدث: توليد استجابة ترفض الافتراض المسبق الخاطئ.
   • المستمع: الحكم على ما إذا كانت الاستجابة المعطاة قد رفضت أو قبلت الافتراض المسبق الخاطئ بشكل صحيح.
   • البيانات: مجموعات بيانات ألمانية ("السيناريوهات الخاطئة" و"الادعاءات الخاطئة").

2. الافتراضات المضادة (Antipresuppositions):

   • المهمة: الالتزام بمبدأ هايم "عظم الافتراض المسبق!" (Maximize Presupposition! - MP!)، حيث يُفضل محفز افتراض أقوى (مثل "الـ" التعريفية) على محفز أضعف (مثل "أداة نكرة") في سياقات معينة.
   • المتحدث: اختيار الأداة الصحيحة (التعريف مقابل التنكير) لإكمال جملة.
   • المستمع: الحكم على ما إذا كانت تكملة الجملة المعطاة مناسبة للسياق.
   • البيانات: نموذج "قصة الفاكهة" الألماني.

3. الاستدلال الاستنباطي (Deductive Reasoning):

   • المهمة: تحديد الصلاحية المنطقية بناءً على مجموعة من المقدمات.
   • المتحدث: توليد الكلمة المفقودة في نتيجة ما لجعلها صالحة منطقياً.
   • المستمع: الحكم على ما إذا كانت النتيجة المذكورة تتبع منطقياً من المقدمات (صواب/خطأ).
   • البيانات: مجموعات بيانات إنجليزية مقتبسة من علم النفس المعرفي.

النماذج التي تم تقييمها

قيمت الدراسة 14 نموذجاً لغوياً كبيراً متعدد اللغات ومعاصراً، بما في ذلك:

• النماذج مفتوحة الأوزان: LLaMA-3 (8B)، Qwen-3 (8B, 14B)، Phi-4 (14B)، OLMo-2 (7B, 13B, 32B)، عائلات Mistral (7B, Mixtral-8x7B)، والنموذج المتخصص في التقييم M-Prometheus-14B.
• النماذج المملوكة (Proprietary): GPT-4o، GPT-4.1، GPT-5، وClaude Sonnet 4.5.

المقاييس

• الدقة الإجمالية (Aggregate Accuracy): مقارنة الأداء العام في دوري المتحدث والمستمع.
• الاحتمال الشرطي ($\Delta_{cond}$): حساب $P(\text{correct generation} | \text{correct judgment}) - P(\text{correct generation} | \text{incorrect judgment})$. يقيس هذا ما إذا كان الحكم الصحيح على عنصر معين يتنبأ بالتوليد الصحيح لنفس العنصر.

3. المساهمات الرئيسية

• الكشف المنهجي عن عدم التماثل: تقدم الورقة أول دليل منهجي على أن التقييم البراجماتي (الاستماع) والتوليد البراجماتي (التحدث) غير متوافقين بشكل ضعيف في النماذج اللغوية الكبيرة الحالية.
• التحليل على مستوى العنصر: على عكس الدراسات السابقة التي نظرت فقط في الدرجات الإجمالية، يحلل هذا العمل العلاقة بين الحكم والتوليد على أساس كل عنصر، مما يكشف أن الأحكام الصحيحة لا تتنبأ بالضرورة بتوليد ناجح.
• نقد "النموذج اللغوي كحكم": تتحدى النتائج صلاحية استخدام النماذج اللغوية الكبيرة كحكام تلقائيين للمهام البراجماتية دون التحقق من قدراتها التوليدية، مما يسلط الضوء على "النفاق" حيث يمكن للنماذج تحديد الأخطاء التي لا تستطيع إنتاجها.

4. النتائج الرئيسية

أ. عدم تماثل قوي بين المستمع والمتحدث

عبر جميع المهام الثلاث، أظهرت أغلبية كبيرة من النماذج أداءً أفضل بكثير كمستمعين منها كمتحدثين.

• الافتراضات المسبقة الخاطئة: كان عدم التماثل أكثر وضووحاً. أظهرت نماذج مثل Mistral-7B و LLaMA-8B دقة متحدث تقترب من الصفر بينما كانت دقة المستمع متوسطة (على سبيل المثال، تحسن Mistral-7B من ~2% إلى ~30%). حتى GPT-4o أظهر فجوة في مجموعة بيانات "الادعاءات الخاطئة" الأكثر صعوبة.
• الافتراضات المضادة: أظهرت العديد من النماذج مفتوحة الأوزان (مثل Qwen-3-14B، Mistral-7B) مزايا كبيرة في دور المستمع ($\Delta > 0.3$). ومن المثير للاهتمام أن بعض النماذج المملوكة رفيعة المستوى (GPT-5، Claude-Sonnet-4.5) أظهرت نمطاً عكسياً (دقة متحدث مثالية ولكن دقة مستمع أقل)، ويرجع ذلك على الأرجح إلى فروق دقيقة في اتباع التعليمات.
• الاستدلال الاستنباطي: كانت النماذج مفتوحة الأوزان (مثل LLaMA-8B، OLMo-2) أفضل بكثير في الحكم على الصلاحية المنطقية منها في توليد استنتاجات صالحة.

ب. ضعف القدرة التنبؤية للأحكام

كشف التحليل الشرطي ($\Delta_{cond}$) أن الأحكام الصحيحة لا تتنبأ بالتوليد الناجح:

• ارتباط سلبي: في مهام الافتراضات المضادة، بالنسبة لمعظم النماذج، كانت العناصر التي حُكم عليها بشكل صحيح أقل عرضة ليتم توليدها بشكل صحيح ($\Delta_{cond}$ كان غالباً سالباً). يشير هذا إلى أن التعرف على الانتهاك لا يساعد النموذج على إنتاج البديل الصحيح.
• الاعتماد على المهمة: لوحظ الاقتران الإيجابي (حيث يتنبأ الحكم الجيد بالتوليد الجيد) فقط في النماذج المملوخة الأكبر حجماً في مهام الافتراضات المسبقة الخاطئة والاستدلال الاستنباطي، لكنه كان غائباً إلى حد كبير في الأنظمة مفتوحة الأوزان وفي مهام الافتراضات المضادة.

ج. مشكلات اتباع التعليمات

عُزي جزء كبير من إخفاقات "المستمع" في النماذج المملوكة (مثل Claude-Sonnet-4.5) إلى إخفاقات اتباع التعليمات (مثل الفشل في إخراج التسمية المطلوبة من كلمة واحدة)، بدلاً من نقص الفهم البراجماتي. وهذا يسلط الضوء على مشكلة الموثوقية في استخدام النماذج اللغوية الكبيرة كحكام.

5. الأهمية والآثار المترتبة

• ممارسات التقييم: تجادل الورقة بأن الاختبارات التي تعتمد فقط على مهام "نمط المستمع" (التصنيف، أو التقييم، أو الحكم) ليست بدائل كافية لكفاءة النموذج البراجماتية الحقيقية. لا ينبغي تفسير الدرجات العالية في مهام الحكم كدليل على قدرات توليدية قوية.
• موثوقية "النموذج اللغوي كحكم": تحذر الدراسة من الاستخدام غير المدروس للنماذج اللغوية الكبيرة كمقيمين. يشير عدم التماثل الملحوظ وإخفاقات اتباع التعليمات إلى أن مسارات التقييم تحتاج إلى التحقق منها لكل مهمة، حيث إن قدرة النموذج على الحكم لا تضمن قدرته على التوليد أو حتى اتباع قيود التنسيق المطلوبة للحكم.
• التوافق النظري: تعكس النتائج النظريات النفسية اللغوية، مما يشير إلى أن النماذج اللغوية الكبيرة، مثل البشر، تمتلك آليات منفصلة للفهم والإنتاج.
• الاتجاهات المستقبلية: يدعو المؤلفون إلى أطر تقييم متكاملة تقيم التوليد والتقييم معاً، بدلاً من معاملتهما كبدائل لبعضهما البعض. كما يقترحون ضرورة بحث المستقبل في الآليات الداخلية المسببة لهذا الانفصال.

في الختام، تثبت الورقة أن النماذج اللغوية الكبيرة الحالية غالباً ما تكون "حكاماً منافقين": فهي تستطيع في كثير من الأحيان تحديد الأخطاء البراجماتية في مخرجات الآخرين، لكنها تفشل في تجنب تلك الأخطاء نفسها عند توليد لغتها الخاصة.