Evaluating Pragmatic Reasoning in Large Language Models: Evidence from Scalar Diversity
تُظهر هذه الدراسة أن الاستدلال البراغماتي (التداولي) في النماذج اللغوية الكبيرة، والذي تم تقييمه من خلال التنوع القياسي، ليس كفاءة مستقرة بل هو تفاعل متغير بين التمثيلات الاحتمالية الداخلية وسلوكيات التلقين المستحثة بالمهام، مما يسلط الضوء على التأثير الحاسم لتصميم التقييم على تفسير قدرات النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول معرفة ما إذا كان صديقك الآلي الجديد يفهم حقاً المحادثة البشرية، أم أنه مجرد بارع في مجاراتك عندما تسأله الأسئلة الصحيحة. هذا هو بالضبط موضوع ورقة البحث "تقييم الاستدلال البراغماتي (التداولي) في النماذج اللغوية الكبيرة" للباحثة "يي-يون تشو".
إليك قصة الدراسة، مقسمة إلى مصطلحات بسيطة مع بعض التشبيهات المفيدة.
السؤال الكبير: هل الروبوت ذكي، أم أنه مجرد بارع في التمثيل؟
النماذج اللغوية الكبيرة (LLMs) تشبه الطلاب الذين قرؤوا بشكل مذهل، فقد قرؤوا كل شيء تقريباً على الإنترنت. إنهم بارعون في القواعد والحقائق. ولكن هل يمكنهم فهم المعنى "الخفي" فيما يقوله الناس؟
في المحادثة البشرية، غالباً ما نقول أشياء مثل: "بعض الكعك أُكل". نحن لا نعني فقط "واحد على الأقل"؛ بل نعني عادةً "ليس الكل". هذا ما يسمى الاستلزام القياسي (scalar implicature). إنها قاعدة اجتماعية دقيقة: إذا قلت "بعض"، فأنا ألمح إلى أنني لم أقل "الكل" لأن "الكل" لم تكن حقيقة.
السؤال الكبير الذي طرحه الباحثون هو: هل تفهم هذه النماذج الذكية حقاً هذا المعنى الخفي، أم أنها تتظاهر بالفهم فقط عندما نسألها بلطف؟
الطريقتان لاختبار الروبوت
للإجابة على ذلك، استخدم الباحثون طريقتين مختلفتين لاختبار النماذج، تماماً مثل طريقتين مختلفتين لاختبار معرفة طالب ما:
- "فحص الحدس الداخلي" (الاحتمالية المباشرة):
تخيل أنك تطلب من الروبوت التنبؤ بالكلمة التالية في جملة دون أن يضطر للتحدث بصوت عالٍ. أنت تنظر إلى رياضياتة الداخلية لترى ما يعتقده حقاً الأكثر احتمالاً.
- تشبيه: هذا يشبه النظر إلى موجات دماغ الطالب أثناء خوض الاختبار. إنه يظهر ما يعرفه غريزياً قبل أن يحاول الإجابة.
- "الامتحان الشفهي" (التحفيز الميتا-لغوي):
هذا عندما تسأل الروبوت مباشرة: "إذا قلت 'بعض الكعك أُكل'، فهل يعني ذلك أن 'ليس كل الكعك أُكل'؟ يرجى الإجابة بنعم أو لا".
- تشبيه: هذا يشبه سؤال الطالب أن يرفع يده ويشرح إجابته بصوت عالٍ. إنه ما يقول إنه يعرفه، والذي قد يتأثر بكيفية طرح السؤال.
التجربة: قائمة مكونة من 60 "بعض" مختلفة
لم يختبر الباحثون جملة واحدة فقط. بل استخدموا "قائمة" من 60 زوجاً مختلفاً من الكلمات (مثل بعض/كل، دافئ/ساخن، جيد/ممتاز).
- بعض الأزواج سهلة الاستنتاج بالنسبة للبشر (مثل أن بعض تعني ضمنياً ليس الكل).
- بعض الأزواج أصعب أو أضعف (مثل أن دافئ لا تعني دائماً ليس ساخناً).
هذا التنوع يسمى التنوع القياسي (Scalar Diversity). إنه يشبه اختبار طباخ ليس فقط على مدى براعته في طهي شريحة اللحم، بل كيف يتعامل مع 60 مكوناً مختلفاً، من الأعشاب الرقيقة إلى الجذور القاسية.
ما وجدوه: التحول غير المتوقع
كانت النتائج مفاجئة وأظهرت أنه لا توجد "حقيقة" واحدة حول مدى ذكاء هذه النماذج.
1. "فحص الحدس" و"الامتحان الشفوي" يختلفان
غالباً ما كانت رياضيات الروبوت الداخلية (فحص الحدس) وإجابته المنطوقة (الامتحان الشفوي) ترويان قصتين مختلفتين تماماً.
- أحياناً، كانت رياضيات الروبوت الداخلية تقول: "أنا لا أفهم هذا حقاً"، ولكن عندما سُئل بلطف، قال: "نعم، أنا أفهم!".
- وفي أحيان أخرى، كانت الرياضيات الداخلية واثقة، لكن الإجابة المنطوقة كانت مرتبكة.
- الخلاصة: لا يمكنك الاعتماد على طريقة واحدة فقط لمعرفة ما إذا كان الروبوت "كفؤاً". إنه مثل الطالب الذي يعرف الإجابة في رأسه ولكنه يتجمد عندما يُطلب منه التحدث، أو العكس.
2. "التمثيل" يعتمد على "النص"
الطريقة التي طرح بها الباحثون السؤال كانت مهمة جداً.
- إذا طرحوا سؤالاً بسيطاً، فقد يقول الروبوت "لا".
- إذا أضافوا مقدمة مهذبة مثل "أنت مساعد متعاون، أخبرني..."، فقد يقول الروبوت فجأة "نعم".
- الخلاصة: "أداء" الروبوت يتغير بناءً على النص. ليس بالضرورة أن الروبوت تعلم شيئاً جديداً؛ إنه فقط يتفاعل مع أسلوب السؤال.
3. روبوتات مختلفة، شخصيات مختلفة
اختبرت الدراسة نوعين مختلفين من نماذج الذكاء الاصطناعي (Flan-T5 و Qwen).
- Flan-T5 كان أكثر اتساقاً. كانت رياضياته الداخلية وإجاباته المنطوقة متقاربتين أكثر.
- Qwen كان درامياً للغاية. كانت رياضياته الداخلية غالباً منخفضة جداً (بدا وكأنه لا "يعرف" الإجابة)، ولكن عندما سُئل مباشرة، أعطى إجابات مثالية، وكأنه يمثل.
- الخلاصة: لا يعني مجرد كون أحد نماذج الذكاء الاصطناعي يتصرف بذكاء أن جميع نماذج الذكاء الاصطناعي تعمل بنفس الطريقة.
4. خدعة "المقارنة"
عندما طلب الباحثون من الروبوت مقارنة خيارين جنباً إلى جنب ("أيهما أفضل: أ أم ب؟")، أصبح الروبوت أفضل بكثير في المهمة مما كان عليه عندما يُطلب منه الحكم على جملة واحدة بمفردها.
- الخلاصة: من الأسهل للروبوت اختيار الإجابة الصحيحة عندما يكون لديه خيار ليقوم به، بدلاً من الاضطرار إلى توليد إجابة من الصفر.
الحكم النهائي
تخلص الورقة إلى أنه لا يمكننا القول: "هذا الذكاء الاصطناعي لديه استدلال براغماتي" أو "هذا الذكاء الاصطناعي لا يمتلكه".
بدلاً من ذلك، الاستدلال البراغماتي في الذكاء الاصطناعي يشبه رقصة بين شريكين:
- معرفة الروبوت الداخلية (ما تعلمه بالفعل).
- الطريقة التي نسأل بها السؤال (التحفيز).
إذا غيرت شريك الرقص (التحفيز) أو الموسيقى (المهمة)، تتغير الرقصة. الروبوت ليس بالضرورة "يكذب" أو "يعرف" بالمعنى البشري؛ إنه ببساطة يتفاعل مع الموقف المحدد الذي يتواجد فيه.
باختصار: لفهم ما إذا كان الذكاء الاصطناعي يفهم الفوارق الدقيقة البشرية، لا يمكنك مجرد طرح سؤال واحد وأخذ الإجابة كحقيقة مسلم بها. يجب عليك مراقبة كيفية سلوكه عبر مواقف عديدة، لأن "كفاءته" ليست سمة ثابتة، بل هي مزيج مما يعرفه وكيفية سؤالك له.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.