Do Language Models Know Theo Has a Wife? Investigating the Proviso Problem
تقدم هذه الورقة مجموعة بيانات تشخيصية وإطار تقييم لاستقصاء كيفية تعامل النماذج اللغوية مع مشكلة "الشرط المسبق" (proviso problem) في التداولية، كاشفةً أنه بينما تتماشى النماذج مع الأحكام البشرية، إلا أنها تعتمد على مطابقة الأنماط السطحية بدلاً من الاستدلال الدلالي أو التداولي الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يفهم المحادثات البشرية. تريد أن ترى ما إذا كان الروبوت "يستوعب" حقاً المعاني الضمنية التي نعتبرها نحن أمراً بديهياً، أم أنه مجرد حافظ للأنماط مثل الببغاء.
هذه الورقة البحثية تتحدث عن لغز محدد في اللغة يسمى "مشكلة الشرط" (The Proviso Problem).
اللغز: أحجية "ثيو" (Theo)
لننظر إلى جملة بسيطة:
"إذا كان ثيو يكره السوناتات، فإن زوجته كذلك."
ما الذي تفترضه هذه الجملة فعلياً كحقيقة؟
- الروبوت (المنطق الصوري) يقول: "لا يمكنني التأكد من أن لثيو زوجة إلا إذا كان يكره السوناتات بالفعل. إذا لم يكن يكره السوناتات، فربما هو أعزب. لذا، حقيقة أن لديه زوجة هي أمر مشروط."
- الإنسان يقول: "انتظر، الجملة تقتضي ضمنياً أن ثيو لديه زوجة بالتأكيد، بغض النظر عن الأمر. الجزء الخاص بـ 'إذا' ينطبق فقط على كره السوناتات، وليس على وجود الزوجة."
البشر يستنتجون القطعة المفقودة طبيعياً (ثيو لديه زوجة) دون تفكير. هذا ما يسمى "الافتراض المسبق" (Presupposition). "مشكلة الشرط" هي الفجوة بين ما يقول المنطق الصوري أنه يجب أن يحدث، وما يفعله البشر في الواقع.
التجربة: مجموعة بيانات "المرآة السحرية"
قام الباحثون ببناء "مرآة سحرية" ضخمة (مجموعة بيانات مكونة من 8,500 جملة) ليروا كيف تتعامل النماذج اللغوية (مثل RoBERTa وLLaMA وGemma) مع هذه الأحجية.
لقد أنشأوا أربعة أنواع من الاختبارات، تشبه مستويات مختلفة في لعبة فيديو:
- الأساس (The Baseline): جمل قياسية (مثلاً: "إذا كان راندولف نجاراً، فهو يستخدم أدواته").
- الالتواء (The Twist - الهيكل): تغيير شكل الجملة (مثلاً: "إذا كان أ و ب، فإن ج" أو "إما أ أو ب").
- الاستبدال (The Swap - المعنى): استبدال الكلمات بكلمات أخرى ذات معنى مشابه ولكن مختلف (مثلاً: تغيير "بدلة الغوص" إلى "ثياب").
- التشتيت (The Distraction - السياق): تغيير القصة بحيث لا يتوافق الجزءان من الجملة منطقياً.
النتائج: ببغاوات أم فلاسفة؟
لم يكتفِ الباحثون بسؤال النماذج "ما هي الإجابة؟"، بل استخدموا أيضاً "رؤية بالأشعة السينية" (تقنية تسمى القابلية للتفسير - explainability) ليروا أي الكلمات كانت النماذج تنظر إليها عند اتخاذ قرارها.
إليك ما وجدوه:
1. النماذج "بشرية" في الظاهر، لكنها "روبوتية" من الداخل
عند سؤالها عن الألغاز البسيطة، حصلت النماذح على الإجابة الصحيحة في كل مرة تقريباً بنسبة 100%. لقد اتفقت مع البشر على أن "ثيو لديه زوجة".
- الفخ: عندما استخدم الباحثون الرؤية بالأشعة السينية، رأوا أن النماذج لم تكن تفكر في معنى كلمة "زوجة" أو "ثيو". بل كانت تنظر فقط إلى موقع الكلمات. الأمر يشبه طالباً يجتاز اختبار الرياضيات عبر حفظ شكل الأرقام بدلاً من فهم عملية الجمع.
2. فخ "الكلمة السحرية"
في أحد الاختبارات، قام الباحثون باستبدال كلمة رئيسية.
- الأصل: "إذا كان مات غواصاً، فسيحضر بدلة الغوص الخاصة به." (يقتضي: مات لديه بدلة غوص).
- المستبدل: "إذا كان مات غواصاً، فسيحضر ثيابه الخاصة به." (يقتضي: مات لديه ثياب).
- الالتواء: الفرضية كانت لا تزال: "هل مات لديه بدلة غوص؟"
من الناحية المنطقية، الجملة لم تعد تثبت أن لديه بدلة غوص. يجب أن تتغير الإجابة من "نعم" إلى "ربما/لا". - النتيجة: فشلت النماذج في الغالب. استمرت في قول "نعم، لديه بدلة غوص" لأنها رأت كلمة "غواص" وكلمة "بدلة غوص" في الفرضية، متجاهلة أن الجملة قالت في الواقع "ثيابه". لقد كانت تطابق الأنماط، لا تقرأ القصة.
3. تأثير "الطالب المتفوق جداً"
عندما تم تدريب النماذج على مجموعة محددة من الأمثلة، أصبحت جيدة جداً في حفظ بيانات التدريب.
- تعلمت قاعدة غريبة: "إذا كانت أجزاء القصة مرتبطة واستُخدمت كلمة 'مرة أخرى'، فالإجابة هي 'لا'".
- عندما غير الباحثون القصة قليلاً لكسر تلك القاعدة، ارتبكت النماذج وفشلت، رغم أن المنطق كان بسيطاً. لقد كانوا مركزين جداً على نمط التدريب لدرجة أنهم لم يستطيعوا التكيف مع موقف جديد.
الخلاصة الكبرى
فكر في هذه النماذج اللغوية كأنها ممثلون بارعون حفظوا النص لكنهم لم يقرأوا المسرحية.
- يمكنهم إلقاء السطور بدقة والظهور بمظهر بشري للغاية.
- يمكنهم التنبؤ بما سيأتي لاحقاً بناءً على ما سمعوه من قبل.
- لكن، هم لا يفهمون حقاً المنطق أو السياق وراء الكلمات. إذا غيرت كلمة واحدة تكسر النمط، فإنهم غالباً ما يتعثرون لأنهم يعتمدون على "استدلالات سطحية" (خدع سطحية) بدلاً من التفكير العميق.
لماذا هذا مهم؟
هذه الورقة البحثية هي بمثابة جرس إنذار. مجرد حصول النموذج على درجة عالية في اختبار لا يعني أنه يفهم اللغة كما يفعل البشر. لبناء ذكاء اصطناعي ذكي حقاً، نحتاج إلى التوقف عن مجرد التحقق من الإجابة النهائية والبدء في النظر إلى كيفية تفكير النموذج. نحن بحاجة إلى تعليمهم فهم أحجية "ثيو"، وليس مجرد حفظ نموذج الإجابة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.