Flying Pigs, FaR and Beyond: Evaluating LLM Reasoning in Counterfactual Worlds
تقدم هذه الورقة معيار CounterLogic لتوضيح أن النماذج اللغوية الكبيرة تعاني في التفكير المضاد للواقع بسبب التعارض مع المعرفة البارامترية، وتقترح تدخل "الوسم والاستدلال" (FaR) الميتا-معرفي لتقليص هذه الفجوة في الأداء بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تلعب لعبة "ماذا لو؟" مع صديق ذكي ومطلع للغاية. تقول له: "حسناً، تخيل عالماً تستطيع فيه الخنازير الطيران، والطيور هي في الواقع ثدييات. في هذا العالم، إذا كانت كل الخنازير حيوانات، وكل الحيوانات طيور، فهل الخنازير طيور؟"
الإنسان سيتوقف قليلاً، يبتسم، ويقول: "حسناً، في هذا العالم الخيالي الذي وصفته، نعم، الخنازير طيور. لكن في العالم الحقيقي، هذا أمر سخيف لأن الخنازير ليست طيوراً".
الآن، تخيل أنك تسأل نفس السؤال لذكاء اصطناعي فائق الذكاء (نموذج لغوي كبير). الذكاء الاصطناعي يعرف الكثير من الحقائق. هو يعرف أن الخنازير ثدييات، وأن الطيور طيور، وأن الخنازرز بالتأكيد لا تطير. عندما تسأله سؤال "ماذا لو؟"، غالباً ما يرتبك الذكاء الاصطناعي. يحاول حل اللغز المنطقي، لكن عقله يصرخ باستمرار: "انتظر! الخنازير ليست طيوراً! هذا خطأ!". وبسبب هذا الصراخ الداخلي، غالباً ما يفشل الذكاء الاصطناعي في اختبار المنطق، رغم أنه من المفترض أن يلعب وفق قواعد عالمك الخيالي.
هذه الورقة البحثية تتحدث عن إصلاح هذا الارتباك. إليك التفاصيل بتبسيط شديد:
1. المشكلة: عقل "تدقيق الحقائق"
اكتشف الباحثون أن نماذج الذكاء الاصطناعي تجد صعوبة في الفصل بين المنطق والحقائق.
- السيناريو: أنشأوا اختباراً يسمى CounterLogic. إنه يشبه صالة ألعاب رياضية للمنطق، حيث يعطون الذكاء الاصطناعي قواعد تتعارض مع الواقع (مثلاً: "افترض أن كل القطط كلاب").
- النتيجة: عندما كانت القواعد تتطابق مع الواقع (مثلاً: "كل البشر حيوانات")، كان الذكاء الاصطناعي بارعاً في المنطق. ولكن عندما كانت القواعد وهمية (مثلاً: "كل القطط كلاب")، انخفضت دقة الذكاء الاصطناعي بنحو 14%.
- التشبيه: الأمر يشبه طباخاً ماهراً جداً في الطبخ، لكن إذا طلبت منه أن يصنع "شطيرة" من "الماء"، فإنه يرفض القيام بذلك لأنه يعلم أن الماء ليس خبزاً. إنه يعلق عند حقيقة أن الماء ليس خبزاً، بدلاً من اتباع تعليماتك بمعاملة الماء كخبز من أجل إتمام الوصفة.
2. التشخيص: لماذا يحدث هذا؟
وجد الباحثون أن الذكاء الاصطناعي ليس سيئاً في المنطق، بل هو سيء في تجاهل ذاكرته الخاصة.
- الصراع: للذكاء الاصطناعي صوتان. صوت يقول: "اتبع القواعد التي أعطيتك إياها للتو". والصوت الآخر (بيانات التدريب الخاصة به) يقول: "لكنني أعلم أن هذا خطأ!".
- "تحيز الاعتقاد": تماماً مثل البشر، يعاني الذكاء الاصطناعي من "تحيز الاعتقاد". إذا بدا الاستنتاج صحيحاً في الحياة الواقعية، فإنه يعتقد أن المنطق جيد. وإذا بدا الاستنتاج خاطئاً، فإنه يعتقد أن المنطق سيء، حتى لو كان المنطق مثالياً.
- مشكلة النفي: يرتبك الذكاء الاصطناعي بشكل خاص عندما تتضمن القواعد كلمة "ليس" (النفي). إذا قلت: "الخنازير ليست طيوراً"، فإن عقل الذكاء الاصطناعي يصاب بخلل وظيفي لأنه يصارع معرفته الخاصة.
3. الحل: "العلم والتعليل" (Flag & Reason - FaR)
ابتكر الباحثون حيلة ذكية وبسيطة مستوحاة من طريقة تفكير البشر. أطلقوا عليها اسم "العلم والتعليل" (Flag & Reason).
فكر في الأمر كأنه نقطة تفتيش أمنية لعقل الذكاء الاصطناعي قبل أن يبدأ في حل اللغز.
- الخطوة 1: العلم (فحص الواقع): قبل أن يحاول الذكاء الاصطناعي حل مشكلة المنطق، يسأله الباحثون سؤالاً بسيطاً: "هل هذه العبارة صحيحة في العالم الحقيقي؟"
- الذكاء الاصطناعي: "لا، الخنازير ليست طيوراً. هذا خطأ".
- السحر هنا: من خلال الاعتراف بهذا بصوت عالٍ، يبني الذكاء الاصطناعي "جداراً" ذهنياً بين معرفته بالعالم الحقيقي ولعبته الخيالية. إنه يقر بأن الصراع موجود.
- الخطوة 2: التعليل (لعبة المنطق): الآن بعد أن قام الذكاء الاصطناعي بـ "علم" (تحديد) التضارب، يُطلب منه: "حسناً، تجاهل هذه الحقيقة التي اعترفت بها للتو. العب اللعبة بناءً على القواعد التي أعطيتك إياها".
- الذكاء الاصطناعي: "فهمت. في هذا العالم الخيالي حيث الخنازير طيور، إذن نعم، المنطق سليم".
4. النتائج: ذكاء اصطناعي أكثر ذكاءً
عندما استخدموا طريقة "العلم والتعليل" هذه:
- تقلصت الفجوة في أداء الذكاء الاصطناعي (الفرق بين منطق العالم الحقيقي ومنطق العالم الوهمي) من 14% إلى 7% فقط.
- ارتفعت الدقة الإجمالية بنسبة 4%.
- التشبيه: الأمر يشبه قولك لطالب: "أنا أعلم أنك تعرف أن 2+2=4. ولكن بالنسبة لهذا الاختبار الرياضي، تظاهر بأن 2+2=5. الآن، إذا كان لدي تفاحتان وأضفت إليهما تفاحتين، فكم أصبح لدي؟"
- بدون "العلم"، يصاب الطالب بالذعر: "لكن 2+2 تساوي 4!"
- مع "العلم"، يقول الطالب: "أوه، تريد مني أن أتظاهر بأن 2+2=5؟ حسناً، إذن 2+2=5".
5. لماذا يهم هذا؟
تثبت هذه الورقة أن المشكلة ليست في أن الذكاء الاصطناعي "غبي" في المنطق، بل المشكلة هي أنه ذكي جداً فيما يتعلق بالحقائق. لا يمكنه إيقاف "وضع الموسوعة" ليدخل في "وضع الخيال".
من خلال تعليم الذكاء الاصطناعي التوقف والإقرار بالصراع قبل حل المشكلة، فإننا نجعله مفكراً أكثر موثوقية. هذه خطوة كبيرة نحو إنشاء ذكاء اصطناعي يمكنه التعامل مع الكتابة الإبداعية، وسيناريوهات "ماذا لو" العلمية، والمفاوضات المعقدة دون أن يتعثر بذاكرته الخاصة.
باخت ملخص القول: كان الذكاء الاصطناعي يحاول أن يكون مدقق حقائق وفي نفس الوقت يحاول أن يكون منطقياً. علمهم الباحثون أن يكون مدقق حقائق أولاً، ثم يضع الحقائق في صندوق، وبعد ذلك يصبح منطقياً. وقد نجح الأمر!
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.