Tracing the ongoing emergence of human-like reasoning in Large Language Models

ملخص تقني: تتبع الظهور المستمر للاستدلال الشبيه بالبشر في النماذج اللغوية الكبيرة

بيان المشكلة
بينما تُظهر النماذج اللغوية الكبيرة (LLMs) كفاءة لغوية متطورة، لا يزال من غير الواضح ما إذا كانت تمتلك قدرات استدلال تشبه قدرات البشر، لا سيما فيما يتعلق بالواجهة بين الدلالة (Semantics) والتداولية (Pragmatics). فالبشر يثريان المعاني الحرفية بسلاسة من خلال الاستدلالات التداولية، مثل تفسير الجمل الشرطية بشكل مختلف بناءً على السياق (على سبيل المثال، التمييز بين الشرطيات "المكتملة" وشرطيات "البسكويت"). ويفترض المؤلفون أن النماذج اللغوية الكبيرة قد تعاني من "تحيز إلغاء السياق" (Decontextualization Bias)، وهو ميل للاعتماد على الجوانب الشكلية أو الحرفية للمدخلات مع الفشل في دمج الإشارات السياقية التي توجه المعالجة البشرية. تبحث هذه الدراسة فيما إذا كانت النماذج اللغوية الكبيرة قادرة على محاكاة الاستدلال الدقيق والحساس للسياق الذي يطبقه البشر على الجمل الشرطية عبر لغات متعددة.

المنهجية
أجرى الباحثون تجربة مطابقة للسكان شملت 313 مشاركاً بشرياً و25 نموذجاً من أحدث النماذج اللغوية الكبيرة. امتدت الدراسة لتشمل أربع لغات: الكتالونية، والإنجليزية، والإيطالية، والإسبانية.

• تصميم المهمة: تم استخدام مهمة حكم على القيمة الحقيقية باستخدام 54 مطالبة تجريبية لكل لغة، تتكون من شرطيات قياسية (SCs) وشرطيات بسكويت (BCs)، إلى جانب عناصر ضابطة وملء.
  • الشرطيات القياسية (مثل "إذا قصصت العشب، سأعطيك 50 دولاراً"): يستنتج البشر عادةً علاقة شرطية ثنائية (قراءة مكتملة)، حيث تظل النتيجة قائمة فقط إذا كان المقدم صحيحاً.
  • شرطيات البسكويت (مثل "إذا كنت جائعاً، فهناك بيتزا في الفرن"): يستنتج البشر أن النتيجة قائمة بشكل مستقل عن المقدم (قراءة البسكويت).
  • المحاولات الحرجة: ركزت التجربة على السيناريوهات التي يكون فيها المقدم خاطئاً. يُتوقع من البشر الحكم على النتيجة بأنها خاطئة بالنسبة للشرطيات القياسية (بسبب الاستدلال الثنائي الشرط) وصحيحة بالنسبة لشرطيات البسكويت (بسبب الاستقلالية).
• المشاركون:
  • البشر: متحدثون أصليون تم استقطابهم عبر منصة Prolific، مع تصفيتهم بناءً على التنوع العصبي واضطرابات اللغة.
  • النماذج اللغوية الكبيرة: 25 نموذجاً تغطي عائلات متنوعة (Claude، GPT، Gemini، Llama، Mistral، إلخ)، وببنى معمارية مختلفة (كثيفة مقابل خليط الخبراء - MoE)، وتوافر مختلف (مفتوحة المصدر مقابل مغلقة المصدر)، وتوجهات تدريبية متنوعة (توليدية مقابل استدلالية).
• التحليل: تم تحليل البيانات باستخدام نماذج التأثيرات المختلطة الخطية المعممة (الانحدار اللوجستي) لمراعاة هياكل البيانات المتداخلة. وقارنت الدراسة معدلات الدقة والتفاعلات بين الوكلاء (بشر مقابل نماذج لغوية)، وأنواع المطالبات (تجريبية مقابل ضابطة)، وأنواع الشرطيات (شرطية قياسية مقابل شرطية بسكويت).

المساهمات الرئيسية

1. معيار مرجعي جديد: تقدم الدراسة معياراً مرجعياً عابراً للغات مصمماً خصيصاً للفصل بين الاستدلال المنطقي والإثراء التداولي في الجمل الشرطية، متجاوزةً الدقة الإجمالية لاستقصاء أنواع محددة من الاستدلال.
2. مقارنة منهجية: توفر مقارنة واسعة النطاق ومطابقة للسكان بين البشر ومجموعة متنوعة من 25 نموذجاً لغوياً كبيراً، مع تجميع استجابات النماذج لمطابقة أحجام العينات البشرية لضمان الصلاحية الإحصائية.
3. تحليل البنية والمعمارية والتدريب: تقيم الورقة بشكل منهجي ما إذا كانت الميزات التصميمية الواسعة (الانفتاح، نوع البنية، التوجه التدريبي) تتنبأ بقدرات الاستدلال التداولي، مما يعالج الفجوات في الأدبيات الحالية المتعلقة بدوافع الاستدلال الناشئ.

النتائج

• الأداء البشري: ميز البشر باستمرار بين الشرطيات القياسية وشرطيات البسكويت، مظهرين إثراءً تداولياً قوياً. فقد أيدوا القراءات المكتملة للشرطيات القياسية (88%) وقراءات البسكويت للشرطيات (57%)، مما يتماشى مع النتائج السابقة في المجتمعات الناطقة بالإنجليزية.
• أداء النماذج اللغوية الكبيرة:
  • الدقة الإجمالية: أدت النماذج اللغوية الكبيرة أداءً أسوأ بكثير من البشر في الظروف التجريبية الحرجة التي تتطلب استدلالاً تداولياً. وبينما حافظت على دقة عالية في الظروف الضابطة، انخفض أداؤها بشكل كبير عندما تطلب الأمر استدلالاً سياقياً.
    zeta * الملفات السلوكية: ظهر نمطان سلوكيان مهيمنان بين النماذج اللغوية الكبيرة:
    1. الملتزمون بجداول الحقيقة: النماذج التي اتبعت المنطق الكلاسيكي بصرامة، حيث عاملت المقدمات الخاطئة على أنها صحيحة بشكل بديهي، وبالتالي فشلت في استخلاص الاستدلالات التداولية الضرورية لكل من الشرطيات القياسية وشرطيات البسكويت.
    2. المُثبّتون للشرط الثنائي القائم على القواعد: النماذج التي عززت جميع الشرطيات بشكل موحد لتصبح شرطيات ثنائية (إذا و فقط إذا)، وفشلت في التمييز بين الشرطيات القياسية وشرطيات البسكويت، وبالتالي افتقدت تماماً لتفسير البسكويت.
  • التباين: كان هناك تباين كبير في الأداء عبر النماذج الفردية، تراوح بين الدقة القريبة من الصدفة والدقة العالية. ومع ذلك، حتى النماذج عالية الأداء فشلت في مطابقة الاستدلال المرن والحساس للسياق الذي يتميز به البشر.
• المتنبئات بالأداء:
  • اللغة: كان الأداء مستقلاً باللغة إلى حد كبير؛ حيث لم يتم العثور على فروق ذات دلالة إحصائية عبر اللغات الأربع سواء للبشر أو للنماذج.
  • ميزات التصميم: من الناحية الحاسمة، لم تتنبأ الخصائص التصميمية الواسعة — مثل الانفتاح (مفتوح المصدر مقابل مغلق المصدر)، والبنية (كثيفة مقابل MoE)، والتوجه التدريبي (توليدي مقابل استدلالي) — بدقة النموذج أو الحساسية التداولية بشكل موثوق. فقد وُجدت نماذج عالية الأداء ومنخفضة الأداء ضمن كل فئة.

الأهمية والادعاءات
تخلص الورقة إلى أن النماذج اللغوية الكبيرة الحالية تعمل كعوامل دلالية دقيقة ولكنها تفشل في التقاط الإثراءات التداولية التي تميز الاستدلال البشري. ويجادل المؤلفون بأن النماذج اللغوية الكبيرة تظهر "تحيزاً لإلغاء السياق"، حيث تفضل الشكل السطحي والمعنى الحرفي على التفسيرات المثرية سياقياً بسبب نقص التجذر في السياقات التواصلية الواقعية.

وتزعم الدراسة أن الاستدلال التداولي هو قدرة ناشئة في المجموعة الأدوات المعرفية للأنظمة الاصطناعية وليس مجرد نتاج تلقائي للحجم أو التطور المعماري. وتشير النتائج إلى أن تحقيق استدلال يشبه استدلال البشر يتطلب آليات لدمج السياق والاستدلال المتعلق بالصلة (Relevance reasoning) والتي لم تتحقق بعد بالكامل في الأنظمة الحالية القائمة على البيانات. علاوة على ذلك، فإن عدم قدرة التصنيفات المنهجية الواسعة (مثل "موجه للاستدلال" أو "MoE") على التنبؤ بالأداء يعني أن الكفاءة التداولية هي خاصية تعتمد على النموذج وتعتمد على عوامل داخلية غامضة بدلاً من خيارات التصميم عالية المستوى. ويحافظ المؤلفون على موقف متواضع، مشيرين إلى أنه بينما لا يعد الاستدلال التداولي ناشئاً بالكامل بعد، إلا أنه ليس مستحيلاً بطبيعته، وقد يتطلب بيئات تعلم أكثر ثراءً أو تجذراً في العالم الواقعي لتطويره.