Theory-Grounded Evaluation of Human-Like Fallacy Patterns in LLM Reasoning
تقيم هذه الورقة ٣٨ نموذجاً لغوياً باستخدام نظرية الاستدلال الإيروتيتيكية (Erotetic Theory) لتوضيح أنه مع زيادة قدرة النماذج، تصبح أخطاؤها أكثر توافقاً مع أنماط مغالطات محددة تشبه الأنماط البشرية بدلاً من كونها أخطاء عشوائية، وأن ترتيب المقدمات يؤثر بشكل كبير على إنتاج المغالطات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تعلم روبوتاً كيف يكون محققاً. تعطيه مجموعة من الأدلة (المقدمات) وتطلب منه حل لغز ما. إذا أخطأ الروبوت في الإجابة، فأنت تريد أن تعرف: هل يرتكب خطأً عشوائياً، أم أنه يرتكب نفس نوع الخطأ الذي قد يرتكبه البشر؟
هذه الورقة البحثية، التي قُدمت في مؤتمر رئيسي للذكاء الاصطنا�عي، تسأل هذا السؤال بالضبط. أراد الباحثون معرفة ما إذا كانت النماذج اللغوية الكبيرة (LLMs) — وهي العقول التي تقف وراء برامج الدردشة الآلية مثل التي تتحدث إليها الآن — مجرد "غبية" بطرق عشوائية، أم أن لديها طريقة محددة ومتوقعة في الخطأ تشبه البشر.
إليك تفصيل لنتائجهم، باستخدام بعض التشبيهات اليومية.
1. نظرية "الخلل البشري"
استخدم الباحثون نظرية خاصة تسمى نظرية الاستدلال الإيريتيكي (ETR). فكر في هذه النظرية على أنها "مخطط لضبابية الدماغ البشري".
- التشبيه: تخيل أن دماغك عبارة عن مرشح (فلتر). عندما تسمع قصة معقدة، يحاول دماغك إبقاء جميع الاحتمالات مفتوحة. ولكن أحياناً، ولتوفير الطاقة، يسقط دماغك احتمالاً ما عن طريق الخطأ قبل الأوان. يؤدي هذا إلى نوع محدد من الأخطاء المنطقية يسمى "المغالطة".
- الأداة: بنى الفريق أداة برمجية تسمى PyETR (وهي حاسبة لهذه النظرية). تقوم هذه الأداة بتوليد آلاف الألغاز المنطقية المصممة خصيصاً لإثارة لحظات "ضبابية الدماغ" هذه لدى البشر.
2. التجربة: 38 محققاً، 383 لغزاً
أخذوا 38 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (تتراوح بين الصغيرة والرخيصة إلى الضخمة وفائقة الذكاء) وأعطوهم 383 لغزاً من هذه الألغاز المنطقية.
بحثوا عن شيئين:
- هل حصل الذكاء الاصطناعي على الإجابة الصحيحة؟
- إذا أخطأ، هل ارتكب الخطأ المحدد الذي تنبأت به "مخططات ضبابية الدماغ البشري"؟
3. المفاجأة الكبرى: ذكاء اصطناعي أذكى = أخطاء أكثر شبهاً بالبشر
هذه هي النتيجة الأكثر مخالفة للمنطق. عادة ما نعتقد: "كلما كان الذكاء الاصطناعي أكبر وأذكى، قلّت أخطاؤه".
الواقع:
- الدقة الإجمالية: مع زيادة "ذكاء" الذكاء الاصطناعي (مقاساً بمدى أدائه في بطولات الدردشة العامة)، فإن قدرته على الحصول على الإجابة الصحيحة في هذه الألغاز المنطقية لم تتحسن. بل ظلت ثابتة تقريباً.
- معدل الخطأ "البشري": ومع ذلك، عندما أخطأت النماذج الأكثر ذكاءً، كانت أكثر عرضة بكثير لارتكاب الأخطاء المحددة التي تشبه البشر والتي تنبأت بها النظرية.
الاستعارة:
تخيل مجموعة من الطلاب يخوضون اختبار رياضيات صعباً.
- الطالب "الغبي": يخطئ في الإجابة لأنه لا يستطيع القيام بالعمليات الحسابية على الإطلاق. إنه يخمن بشكل عشوائي.
- الطالب "الذكي": يعرف الرياضيات، ولكن عندما يخطئ، فإنه يخطئ بطريقة محددة جداً لأنه يبالغ في التفكير أو يعتمد على عادة سيئة.
- النتيجة: مع تحول نماذج الذكاء الاصطناعي لتصبح "أذكى" (مثل الطالب الذكي)، توقفت أخطاؤها عن كونها ضجيجاً عشوائياً وبدأت تبدو تماماً مثل الأخطاء المحددة والمتوقعة التي يرتكبها البشر. لم تكن تفشل فحسب؛ بل كانت تفشل مثلنا.
4. خدعة "ترتيب العمليات"
قام الباحثون أيضاً بخدعة على الذكاء الاصطناي. في المنطق، لا يهم ترتيب الأدلة. (إذا كان أ يؤدي إلى ب، وب يؤدي إلى ج، فلا يهم إذا قلت أ ثم ب، أو ب ثم أ).
لكن البشر غريبو الأطوار. إذا أخبرت بشراً قصة بترتيب مختلف، فقد يصابون بالارتباك ويرتكبون خطأً.
- الاختبار: أعطى الباحثون نماذج الذكاء الاصطناي نفس الألغاز المنطقية ولكن مع تبديل ترتيب الأدلة.
- النتيجة: بالنسبة للعديد من النماذج، فإن مجرد عكس ترتيب الجمل أوقفها عن ارتكاب الخطأ الشبيه بالبشر. كان الأمر أشبه بإعطاء الذكاء الاصطناي "زر إعادة ضبط" كسر تلك العادة السيئة. وهذا يثبت أن الذكاء الاصطناي لا يقوم بمجرد الحساب؛ بل يتفاعل مع تدفق القصة، تماماً كما يفعل البشر.
5. لماذا يهم هذا؟
هذا سلاح ذو حدين.
- الأخبار الجيدة: هذا يعني أن الذكاء الاصطناي أصبح متطوراً بما يكفي لفهم الفروق الدقيقة في اللغة البشرية وأنماط الاستدلال. إنه ليس مجرد آلة حاسبة؛ بل بدأ يفكر مثل البشر.
- الأخبار السيئة: هذا يعني أنه كلما أصبح الذكاء الاصطناي أكثر قوة، فقد يرث أسوأ انحيازاتنا المعرفية. إذا استخدمنا الذكاء الاصطناي في التشخيص الطبي أو المشورة القانونية، فلا يمكننا افتراض أنه سيكون "أكثر منطقية" منا. قد يكون أكثر منطقية في بعض الجوانب، لكنه سيظل يقع في نفس الفخاخ التي تقع فيها عقولنا.
الخلاصة
تخلص الورقة البحثية إلى أن زيادة حجم الذكاء الاصطناي (جعله أكبر وأذكى) لا تعالج مشكلة استدلاله تلقائياً. بدلاً من ذلك، يبدو أن هذا يجعل الذكاء الاصطناي يضبط نفسه لارتكاب نفس الأخطاء المنهجية التي يرتكبها البشر.
الخلاصة المستفادة: إذا كنت تريد بناء ذكاء اصطناعي موثوق حقاً، فلا يمكنك الاكتفاء بجعله أكبر. يجب عليك تدريبه خصيصاً لتجنب "الخلل البشري" الذي بدأت حتى أكثر نماذجنا ذكاءً تلتقطه. نحن بحاجة لتعليم الروبوت ليس فقط كيف يفكر، بل كيف يتوقف عن التفكير كبشر عندما يتطلب الأمر المنطق.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.