Presupposition and Reasoning in Conditionals: A Theory-Based Study of Humans and LLMs

ملخص تقني: الافتراض المسبق والاستدلال في الجمل الشرطية: دراسة قائمة على النظرية للبشر والنماذج اللغوية الكبيرة (LLMs)

بيان المشكلة
تتناول الورقة فجوة حرجة في تقييم النماذج اللغوية الكبيرة فيما يتعلق بكفاءتها التداولية (Pragmatic Competence)، وتحديداً في مجال إسقاط الافتراض المسبق (Presupposition Projection) ضمن الجمل الشرطية. وبينما ناقشت نظريات المعنى والتداولية لفترة طويلة "مشكلة الشرط" (Proviso Problem) — وهي كيفية تفسير الافتراضات المسبقة التي يتم استدعاؤها في نتيجة الجملة الشرطية (مثل: "إذا كان جون غواصاً، فسيحضر بدلة الغوص الخاصة به")، سواء كانت غير مشروطة أو مشروطة بالشرط السابق (Antecedent) — إلا أن هذه الظاهرة لا تزال غير مقيمة إلى حد كبير في النماذج اللغوية الكبيرة. تعتمد الاختبارات المعيارية الحالية غالباً على الاستلزام البسيط أو مهام التصنيف التي تفشل في رصد التفاعل المعقد بين الدلالات (Semantics)، وسياق الخطاب، والاستدلال الاحتمالي، والمعرفة بالعالم المطلوبة لحل هذه الإسقاطات. ويرى المؤلفون أن التقييمات الحالية لا تميز بشكل كافٍ بين النماذج التي تفهم حقاً القيود التداولية وتلك التي تعتمد على مطابقة الأنماط السطحية.

المنهجية
تستخدم الدراسة تصميماً سلوكياً موازياً يقارن الأحكام البشرية مقابل أربعة نماذج لغوية كبيرة (GPT-5، وGemini-2.5-flash، وLlama-3.1-8B-Instruct، وQwen2.5-7B-Instruct) باستخدام مجموعة بيانات معيارية مكونة من 90 جملة شرطية.

1. بناء البيانات: قام المؤلفون ببناء مجموعة بيانات تعتمد على 30 قضية أساسية (مثل: امتلاك بدلة غوص، امتلاك أخت) تم تجسيدها في ثلاثة متغيرات تتلاعب بالعلاقة المنطقية والاحتمالية بين الشرط السابق ($A$) والافتراض المسبق ($p$). وقد أسست دراسة معيارية شارك فيها 30 متحدثاً أصلياً للغة الإنجليزية مستويات متدرجة من صلة العلاقة بين ($A$) و($p$) (عالية، متوسطة، منخفضة) واحتمالية القضية.
2. الظروف التجريبية: قام البشر ($N=120$) والنماذج اللغوية الكبيرة بتقييم احتمالية صحة الافتراض المسبق على مقياس ليكرت من 0 إلى 7 تحت شرطين:
   • بدون سياق: إطار عمل أدنى.
   • مع سياق: إضافة معلومات خلفية تعريفية (مثل: "الشخص من تورونتو") لاختبار كيف يعدل السياق الأدنى من موثوقية الأدلة والاستدلال على الصلة.
3. إطار "النموذج كحكم" (LLM-as-a-Judge): للانتقال لما وراء مقاييس الدقة، طور المؤلفون قائمة تحقق (Checklist) مستندة إلى النظرية ومبنية على الدلالات الرسمية (مثل: الدلالات الديناميكية، التداولية الغرايسية، ونظرية المواءمة/Accommodation Theory). قام نموذج حكم (Claude-haiku-4) بتقييم مسارات استدلال "سلسلة الأفك_ت" (Chain-of-Thought) للنماذج المستهدفة مقابل 52 إلى 59 معياراً ثنائياً تغطي أبعاداً مثل الدقة، وتكامل السياق، والمعايير التداولية، والتعامل مع الافتراض المسبق، والتماسك.
4. التحقق: تم التحقق من مجموعة فرعية من تقييمات النموذج الحكم بواسطة خبراء لغويين بشريين، حيث حقق النموذج اتفاقاً بين المدققين بنسبة 89% واتفاقاً مع النموذج الحكم بنسبة 79.46%.

النتائج الرئيسية

• السلوك البشري: تدمج الأحكام البشرية الإشارات الاحتمالية والتداولية بشكل غير تراكمي. عندما يكون الشرط السابق غير ذي صلة بالافتراض المسبق، يعتمد البشر بشكل كبير على الاحتمال المسبق (معرفة العالم). ومع ذلك، فإن مجرد وجود صلة جزئية يعمل كعتبة ترفع تقييمات الاحتمالية بشكل كبير، مما يشير إلى حساسية تجاه الصلة تتجاوز المعدلات الأساسية في سياقات محددة. وقد أدت المعلومات السياقية إلى صقل هذا التكامل، مما أدى إلى تمييز أكثر تدرجاً بين مستويات الصلة.
• التوافق بين البشر والنماذج اللغوية: أظهرت النماذج اللغوية توافقاً متفاوتاً مع الأنماط البشرية.
  • أظهر كل من Qwen2.5-7B-IT و Llama-3.1-8B-Instruct أقوى ارتباط مع تقييمات ليكرت البشرية (معامل سبيرمان $\rho \approx 0.30\text{--}0.38$) وأقل متوسط خطأ مطلق (MAE).
  • أظهر كل من GPT-5 و Gemini-2.5-flash توافقاً أضعف أو غير متسق، حيث فشل GPT-5 في إظهار ارتباط معنوي في كلا الشرطين.
• الاستدلال مقابل الأداء (الانفصال): أحد النتائج الحاسمة هو الانفصال بين التوافق السلوكي وجودة الاستدلال.
  • النماذج التي أظهرت أعلى توافق سلوكي مع البشر (مثل Qwen2.5-7B-IT) غالباً ما أظهرت أدنى مستوى من الامتثال لقائمة التحقق المستندة إلى النظرية. اعتمد استدلالها غالباً على الارتباطات اللفظية السطحية بدلاً من القيود التداولية الرسمية.
  • وعلى العكس من ذلك، فإن النماذج الأكبر والملكية (GPT-5, Gemini) أنتجت مسارات استدلال أكثر اتساقاً مع التوقعات النظرية (درجات أعلى في قائمة التحقق) ولكنها أنتجت أحكام احتمالية انحرفت بشكل أكبر عن الأنماط البشرية.
• آثار السياق: أدى توفير سياق أدنى عموماً إلى تحسين الامتثال لقائمة التحقق للنماذج الأصغر، ولكنه تسبب في "ضجيج استدلالي" لبعضها، مما أدى إلى تقليل التماسك في تفسيراتها.

المساهمات الرئيسية

1. معيار بحثي مدفوع بالنظرية: تقدم الورقة مجموعة بيانات محكومة وتصميماً تجريبياً يستهدف تحديداً "مشكلة الشرط" في الجمل الشرطية، مما يسد فجوة في اختبارات الاستلزام الطبيعي (NLI) والافتراض المسبق التي تفتقر غالباً إلى العمق التداولي.
2. النموذج اللغوي كحكم للتداولية: تقترح الورقة وتتحقق من إطار تقييم قائم على قائمة تحقق، يقوم بتفكيك الكفاءة التداولية إلى معايير قابلة للتفسير ومستندة إلى النظرية، مما يوفر رؤية أكثر دقة لاستدلال النموذج من مجرد درجات الدقة وحدها.
3. أدلة تجريبية على فجوات الكفاءة: توفر الدراسة أدلة تجريبية على أن التوافق السلوكي العالي في النماذج اللغوية قد ينتج عن مطابقة الأنماط الاحتمالية في بيانات التدريب بدلاً من كفاءة تداولية مستقرة، كما يتضح من الانفصال بين التقييمات الشبيهة بالبشر والاستدلال المتسق نظرياً.

الأهمية والادعاءات
يزعم المؤلفون أن نتائجهم تسلط الضوء على قيود النماذج اللغوية الكبيرة الحالية في التعامل مع الظواهر التداولية المعقدة. وتجادل الورقة بأن الأداء في مهام مثل إسقاط الافتراض المسبق قد يعكس "مطابقة الأنماط السطحية" بدلاً من الفهم التداولي الحقيقي. ومن خلال إثبات أن النماذج التي تحاكي الأحكام البشرية بشكل أفضل تفتقر غالباً إلى الاستدلال التداولي المتماسك، تشير الدراسة إلى أن المعايير الحالية القائمة فقط على دقة المخرجات غير كافية لتقييم الكفاءة الدلالية والتداولية. ويخلص المؤلفون إلى أن المعايير المستندة إلى النظرية اللغوية ضرورية للتمييز بين التوافق الإحصائي السطحي وقدرات الاستدلال الحقيقية، وأن العمل المستقبلي يجب أن يعالج الانفصال بين التشابه السلوكي والصلاحية النظرية.