Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تقييم الاستدلال الشرطي الوجوبي في النماذج اللغوية الكبيرة: حالة مهمة واسون للاختيار (Wason's Selection Task)."

1. بيان المشكلة

بينما أظهرت النماذج اللغوية الكبيرة (LLMs) قدرات لغوية كبيرة، إلا أن قدراتها على الاستدلال — وتحديداً الاستدلال الشرطي (الاستنتاج بناءً على قواعد "إذا كان $p$ فإن $q$") — تظل مجالاً حيوياً للبحث.

• السياق البشري: أثبتت العلوم المعرفية أن البشر يظهرون تخصصاً في المجالات (domain specificity) عند الاستدلال. حيث يتفوق البشر بشكل ملحوظ في القواعد الوجوبية/المنطقية (التي تتضمن معايير، التزامات، وتصاريح، مثل: "إذا دخلت، يجب أن ترتدي شارة") مقارمة بـ القواعد الوصفية (حقائق مجردة، مثل: "إذا كانت البطاقة تحمل الرقم 7، فإن الجانب الآخر هو حرف D").
• الفجوة: من غير الواضح ما إذا كانت النماذج اللغوية الكبيرة تظهر تخصصاً مماثلاً في المجالات. علاوة على ذلك، هناك جدل حول مصدر الأخطاء في الاستدلال الشرطي؛ حيث تُعزى أخطاء البشر غالباً إما إلى انحياز التأكيد (البحث عن أدلة تدعم القاعدة) أو انحياز المطابقة (اختيار العناصر التي تتطابق مع مصطلحات القاعدة لغوياً مع تجاهل النفي). لم تقم الدراسات السابقة بالتمييز بشكل منهجي بين هذه الانحيازات في النماذج اللغوية الكبيرة باستخدام تصميم تجريبي موحد.

2. المنهجية

بناء مجموعة البيانات

قدم المؤلفون مجموعة بيانات مهمة واسون للاختيار (WST) جديدة تحتوي على 160 مسألة صُممت لعزل النوع (modality) والقطبية (polarity) بشكل منهجي:

• النوع (Modality): تنقسم إلى وجوبية/معيارية (قواعد تتضمن علامات إلزام أو حظر مثل "يجب" أو "لا يجب") ووصفية (تعميمات مجردة).
• القطبية (Polarity): يتضمن كل نوع أربعة أنماط للقواعد بناءً على وجود النفي في المقدمة ($p$) و/أو التالي ($q$):
  1. إيجابي-إيجابي (Pos-Pos): $p \to q$
  2. إيجابي-سلبي (Pos-Neg): $p \to \neg q$
  3. سلبي-إيجابي (Neg-Pos): $\neg p \to q$
  4. سلبي-سلبي (Neg-Neg): $\neg p \to \neg q$
• الهيكل: تعرض كل مسألة قاعدة وأربع بطاقات (تمثل $p, \neg p, q, \neg q$). يجب على النموذج اختيار البطاقات التي يمكن أن تفند القاعدة.
• الاستبعاد: تم استبعاد القواعد التي تتضمن "الإذن" أو "عدم الضرورة" لأنها لا تمتلك مجموعة بطاقات واحدة تفند القاعدة منطقياً، مما يضمن اتساق الحقيقة الأرضية (ground truth).

النماذج والتقييم

• النماذج التي تم تقييمها: خمس عائلات من النماذج مفتوحة الأوزان (بنسخها المخصصة للاستدلال وغير المخصصة):
  • النماذج الاستدلالية: gpt-oss (20B, 120B)، Qwen 3 (14B, 32B).
  • النماذج غير الاستدلالية: Gemma 3 (4B, 12B, 27B)، Llama 3.3 (70B)، OLMo 2 (32B).
• استراتيجيات التلقين (Prompting): التلقين بلقطة صفرية (Zero-Shot)، التلقين بلقطات قليلة (Few-Shot) (مع استخدام أمثلة غير صحيحة عمداً لتجنب مطابقة الأنماط)، وسلسلة الأفكاء (Chain-of-Thought - CoT).
• المقياس: دقة المطابقة التامة. يُعتبر الرد صحيحاً فقط إذا اختار النموذج البطاقات الصالحة منطقياً بدقة (المقدمة الصحيحة والتالي الخاطئ).

إطار تحليل الانحياز

للتمييز بين الانحيازات، حلل المؤلفون أنماط الاختيار عبر أنواع القطبية الأربعة:

• توقع انحياز التأكيد: يجب أن تختار النماذج باستمرار المقدمة الصحيحة ($TA$) والتالي الصحيح ($TC$) بغض النظر عن النفي.
• توقع انحياز المطابقة: يجب أن تختار النماذج البطاقات التي تتطابق لغوياً مع مصطلحات القاعدة ($p$ و $q$) مع تجاهل النفي. وهذا يعني تفضيلاً لـ $p$ على $\neg p$ ولـ $q$ على $\neg q$، حتى عندما يقتضي المنطق خلاف ذلك.

3. المساهمات الرئيسية

1. مجموعة بيانات جديدة: إنشاء مجموعة بيانات WST محكومة تشفر صراحةً النوع الوجوبي وأنماط النفي المتنوعة للفصل بين التخصص في المجالات وبين القدرة العامة على الاستدلال.
2. تقييم شامل: اختبار منهجي لأحدث النماذج اللغوية الكبيرة (بما في ذلك النماذج المحسنة للاستدلال) على الاستدلال الوجوبي مقابل الوصفي.
3. التمييز بين الانحيازات: تصميم تجريبي صارم يميز تجريبياً بين انحياز التأكيد وانحياز المطابقة في النماذج اللغوية الكبيرة، وهو تمييز كان يفتقر إليه الدراسات الموحدة سابقاً.
4. التوازي بين الإنسان والنموذج اللغوي الكبير: إثبات أن النماذج اللغوية الكبيرة، مثل البشر، تظهر تخصصاً في المجالات وأنماط خطأ محددة (انحياز المطابقة) في الاستدلال الشرطي.

4. النتائج

التخصص في المجالات

• فجوة الأداء: عبر جميع النماذج واستراتيجيات التلقين، كانت الدقة أعلى بكثير في القواعد الوجوبية منها في القواعد الوصفية.
• الحجم: تراوح التحسن بين 5.0% و 41.2%.
  • مثال: تحسن نموذج gpt-oss-20b من 67.5% (وصفي) إلى 91.2% (وجوبي) في إعدادات التلقين بلقطات قليلة.
  • مثال: تحسن نموذج gemma3-12b من 58.8% إلى 78.7%.
• الدلالة: تمتلك النماذج اللغوية الكبيرة شكلاً من أشكال التخصص في المجالات، وهو ما يرجح أنه مدفوع بانتشار اللغة المعيارية في بيانات التدريب الخاصة بها، مما يحاكي التكيفات المعرفية البشرية.

انحياز التأكيد مقابل انحياز المطابقة

• رفض انحياز التأكيد: لم تدعم البيانات فرضية انحياز التأكيد. لم تختار النماذج باستمرار التالي الصحيح ($TC$) عبر جميع الأقطاب. في كثير من الحالات، كانت معدلات اختيار $TC$ أقل من اختيار التالي الخاطئ ($FC$) عند وجود نفي.
• أدلة قوية على انحياز المطابقة:
  • أظهرت النماذج ميلاً قوياً لاختيار البطاقات التي تتطابق لغوياً مع مصطلحات القاعدة ($p$ و $q$) مع تجاهل النفي ($\neg p$ و $\neg q$).
  • نقطة بيانات: في عمود $TC$ (التحقق من التالي)، فضلت النماذج غالباً $q$ على $\neg q$ حتى عندما كانت القاعدة هي $p \to \neg q$.
  • الحساسية للنفي: حدثت الأخطاء غالباً عندما فشلت النماذج في معالجة النفي في المقدمة أو التالي، حيث اختارت المصطلح الإيجابي بدلاً من ذلك (على سبيل المثال، اختيار "سيارة أمام المبنى" بينما كانت القاعدة "إذا كانت السيارة ليست أمام...").
• نماذج الاستدلال: حتى نماذج "الاستدلال" المتقدمة (مثل gpt-oss-120b) أظهرت انحياز المطابقة، رغم أنها حققت دقة تقارب الكمال في المهام الوجوبية.

5. الأهمية والخاتمة

• التوازي المعرفي: توفر الدراسة دليلاً قوياً على أن استدلال النماذج اللغوية الكبيرة ليس منطقاً صورياً بحتاً، بل يتأثر بـ آليات خاصة بالمجال تشبه التكيفات المعرفية البشرية للتبادل الاجتماعي.
• توصيف الخطأ: تعمل النتائج على تغيير فهم أخطاء الاستدلال في النماذج اللغوية الكبيرة. فبدلاً من الرغبة العامة في "تأكيد" فرضية ما، يمكن تفسير الأخطاء بشكل أفضل من خلال انحياز المطابقة اللغوية والصعوبة في معالجة النفي ضمن الهياكل الشرطية.
• الآثار على سلامة الذكاء الاصطناعي: بما أن النماذج اللغوية الكبيرة تعاني من صعوبة في التعامل مع النفي في القواعد الشرطية (وهو مكون أساسي في الاستدلال المنطقي)، فإن هذا يشكل مخاطر على التطبيقات التي تتطلب التزاماً صارماً بالقواعد (مثل الامتثال القانوني أو بروتوكولات السلامة).
• الاتجاهات المستقبلية: يقترح المؤلفون ضرورة استكشاف الأصول الميكانيكية لهذه الانحيازات في العمل المستقبلي (مثل توزيع بيانات التدريب مقابل الانحيازات الاستقرائية للبنية التحتية) وتوسيع هذا الإطار القائم على النوع ليشمل مهام استدلال أخرى تتجاوز مهمة واسون للاختيار.

باختصار، تظهر الورقة أنه بينما تتحسن النماذج اللغوية الكبيرة في الاستدلال، إلا أنها لا تزال تحاكي القيود المعرفية البشرية: فهي تتفوق في السياقات المعيارية (الوجوبية) ولكنها تعاني مع المنطق المجرد، وأن أخطاءها مدفوعة بالميل نحو مطابقة الميزات اللغوية السطحية بدلاً من الهياكل المنطقية العميقة.