Abductive Reasoning with Syllogistic Forms in Large Language Models
تتقصى هذه الورقة دقة وتحيزات النماذج اللغوية الكبيرة في الاستدلال الاستنباطي من خلال تحويل مجموعة بيانات قياسية لتقييم قدرتها على استخلاص استنتاجات مؤقتة من معلومات محدودة، بهدف سد الفجوة بين الإدراك الآلي والإدراكي البشري بما يتجاوز الاستنتاج الصوري.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك محقق تحاول حل لغز ما. لديك طريقتان رئيسيتان للتفكير: الاستنتاج الاستنباطي (Deduction) والاستنتاج الاستدلالي (Abduction).
- الاستنتاج الاستنباطي (Deduction) يشبه اتباع وصفة طبخ صارمة. إذا كنت تعرف المكونات (المقدمة 1) والخطوات (المقدمة 2)، فإن الكعكة (النتيجة) ستخرج حتمًا تمامًا كما هو موصوف. لا يوجد مجال للتخمين هنا.
- الاستنتاج الاستدلالي (Abduction) يشبه كونك محققًا في مسرح جريمة. ترى أثر قدم طينية (ملاحظة) وتعلم أن الأحذية الطينية تترك آثارًا (قاعدة). فتخمن: "آه، لا بد أن الخادم كان هنا!" (فرضية). هذا ليس حقيقة مؤكدة، ولكنه أفضل تخمين لتفسير ما تراه.
هذه الورقة البحثية تدور حول اختبار نماذج اللغات الكبيرة (LLMs) — وهي العقول الذكية الاصطناعية التي تقف وراء أدوات مثل ChatGPT — لمعرفة مدى براعتها في كونها محققًا (Abduction) مقارنة بكونها متبعة للوصفات (Deduction).
المفاجأة الكبرى: الذكاء الاصطناعي محقق سيء
توقع الباحثون أن يكون الذكاء الاصطناعي بارعًا في الاستنتاج الاستدلالي (Abduction) لأن البشر يفعلون ذلك طوال الوقت في الحياة الواقعية. نحن نخمن سبب تأخر القطار أو سبب حزن صديقنا؛ فنحن لا نكتفي بالحساب فقط، بل نستنتج.
ومع ذلك، كانت النتائج مفاجئة: كان الذكاء الاصطناعي في الواقع أسوأ في كونه محققًا مما كان عليه في اتباع الوصفات.
- في الاستنتاج الاستنباطي (الوصفات): كان الذكاء الاصطناعي جيدًا جدًا، خاصة عندما يُعطى بضعة أمثلة لدراستها أولًا. كان بإمكانه اتباع قواعد المنطق بشكل جيد.
- في الاستنتاج الاستدلالي (عمل المحققين): عانى الذكاء الاصطناعي. لقد فشل غالبًا في الوصول إلى التخمين الصحيح، أو خمن عكس ما يبدو منطقيًا.
فخ "المنطق العام"
هذا هو الجزء الأكثر إثارة للاهتمام: يعاني الذكاء الاصطناعي من نفس "الأخطاء الذهنية" التي يقع فيها البشر.
تخيل لغزًا منطقيًا تنص قواعده على: "كل الأشياء المصنوعة في المطعم الحلو هي أشياء حارة (سبايسي)."
ثم ترى: "هذه الكعكة صُنعت في المطعم الحلو."
الاستنتاج المنطقي هو: "هذه الكعكة حارة."
ولكن انتظر! هذا يبدو خاطئًا لعقولنا البشرية لأن الكعك عادة لا يكون حارًا.
- الخلل: يميل كل من البشر والذكاء الاصطناعي إلى قول: "لا، هذا الاستنتاج غير صحيح"، لمجرد أنه يتعارض مع معرفتنا بالواقع (أن الكعك حلو وليس حارًا).
- النتيجة: فشل الذكاء الاصطناعي في اختبار المنطق ليس لأنه لا يستطيع القيام بالعمليات الحسابية، بل لأنه تشتت بـ "منطقه العام". لقد أعطى الأولوية لما ظن أنه صحيح على ما قال المنطق أنه صحيح.
الانحياز "السلبي"
وجد الباحثون أيضًا سمة غريبة في طريقة تفكير الذكاء الاصطناعي. إذا تضمن اللغز كلمات مثل "لا" أو "ليس" (على سبيل المثال: "لا قطط هي كلاب")، فقد اعتاد الذكاء الاصطناعي بقوة على تخمين أن الإجابة ستحتوي أيضًا على كلمة "لا".
الأمر يشبه طالبًا في امتحان يعتقد: "إذا كان السؤال يحتوي على 'لا'، فلا بد أن تكون الإجابة تحتوي على 'لا' أيضًا"، حتى عندما يقول المنطق خلاف ذلك. فعل الذكاء الاصطناعي هذا في عمل الاستنتاج الاستدلالي (Abduction) أكثر بكثير مما فعله في الاستنتاج الاستنباطي (Deduction).
لماذا يهم هذا؟
تشير الورقة البحثية إلى أننا قد نحكم على الذكاء الاصطناعي بقسوة شديدة لكونه "غير منطقي" في مهام الاستنباط. ربما يحاول الذكاء الاصطناعي بالفعل أن يكون محققًا يشبه البشر، وهو أمر فوضوي ومليء بالتخمينات، بدلًا من أن يكون مجرد آلة حاسبة باردة وصارمة.
ومع ذلك، بما أن الذكاء الاصطناعي حاليًا أسوأ في "عمل المحققين" هذا مقارنة بـ "اتباع الوصفات"، فإن هذا يخبرنا بما يلي:
- الذكاء الاصطناعي ليس بشريًا تمامًا بعد: لم يتقن بعد فن تقديم تخمينات ذكية من أدلة محدودة كما نفعل نحن.
- نحن بحاجة إلى تدريب أفضل: لجعل الذكاء الاصطناعي مفيدًا حقًا للمشكلات المعقدة (مثل التشخيص الطبي أو الاكتشاف العلمي)، نحتاج إلى تعليمه كيفية التعامل مع "ربما" و"من المحتمل" بشكل أفضل، وليس فقط "نعم" و"لا".
الخلاصة
فكر في الذكاء الاصطناعي كطالب عبقري بارع في حصة الرياضيات (Deduction) ولكنه يستمر في الفشل في لعبة "خمن اللغز" (Abduction) لأنه يتشتت بمعرفته الخاصة بالواقع. هذه الورقة هي دعوة للعمل: لبناء ذكاء اصطناعي أفضل، يجب أن نتوقف عن معاملتهم كآلات حاسبة ونبدأ في تعليمهم كيف يكونون محققين أفضل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.