Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
تقترح هذه الورقة بروتوكول معايرة للتمييز بين الاستدلال الحقيقي ناقص تماماً أو متناقض في النماذج اللغوية وبين الضجيج العشوائي، حيث وجدت أنه بينما تُظهر عدة نماذج فجوات كبيرة في قيم الحقيقة في ادعاءات معروفة، فإن سلوك نموذج واحد فقط كان موثوقاً بما يكفي للتفسير، مما يكشف أن القراءات غير المعايرة لمفارقة الكاذب يمكن نسبها بشكل مضلل إلى المذهب الجدلي أو الفجوات الكريبكية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لفهم كيف يفكر برنامج الحاسوب في الحقيقة، يجب علينا أولاً أن نفهم كيف يتعامل مع كلمة "لا". في دراسة الذكاء الاصطناعي، غالباً ما يطلب الباحثون من النموذج الحكم على عبارة ما، مثل "السماء زرقاء". إذا قال النموذج "خطأ"، فنحن نعلم أنه يعتقد أن السماء ليست زرقاء. ولكن ماذا لو قال النموذج "خطأ" لعبارة "السماء زرقاء" وقال أيضاً "خطأ" لعبارة "السماء ليست زرقاء"؟ هذا يخلق لغزاً منطقياً. فالنموذج لا يقول ببساطة إن السماء بلون مختلف؛ بل هو يرفض الادعاء ونقيضه معاً. في المنطق، تُسمى هذه الحالة "فجوة" (gap)، مما يشير إلى أن النموذج يرى العبارة وكأنها لا تملك أي قيمة حقيقية على الإطلاق، ربما لأن السؤال نفسه معيب. وتسمى طريقة طرح سؤالين منفصلين — أحدهما عن ادعاء والآخر عن نفي هذا الادعاء — بـ "التقييم الثنائي" (bilateral evaluation). وهي مصممة لكشف ما إذا كان العقل الاصطناعي يستطيع التعامل مع التناقضات أم أنه ببساطة يرتبك بسبب بنية اللغة.
إن مخاطر هذا السؤال عالية بسبب الألغاز الفلسفية الشهيرة، مثل "مفارقة الكاذب"، وهي جملة تقول: "هذه الجملة كاذبة". إذا كانت الجملة صادقة، فيجب أن تكون كاذبة. وإذا كانت كاذبة، فيجب أن تكون صادقة. لعقود من الزمن، جادل الفلاسفة فيما إذا كانت مثل هذه الجمل مستحيلة الحل، أو ما إذا كانت صادقة وكاذبة في آن واحد. ومع ازدياد قدرة أنظمة الذكاء الاصطناعي، بدأ الباحثون في استخدامها لاختبار هذه الأفكار القديمة، آملين في رؤية ما إذا كانت الآلات تتبنى بشكل طبيعي أحد هذه المواقف المنطقية المعقدة. ومع ذلك، تشير دراسة جديدة إلى أننا عندما ننظر بدقة إلى كيفية إجابة هذه الآلات، فإننا غالباً ما نرى خللاً في قدرتها على معالجة كلمة "ليس" (not)، بدلاً من رؤية بصيرة فلسفية عميقة.
قام مايكل ليفا، وهو باحث من جامعات في تشيلي والإكوادور، بمحاولة اختبار ستة نماذج لغوية مختلفة لمعرفة ما إذا كانت تفكر حقاً بهذه الطرق المعقدة. بدأت الدراسة بخطة بسيطة ولكن صارمة: قبل سؤال النماذج عن الألغاز الفلسفية الصعبة، قام الباحث أولاً بسؤالها عن حقائق هي بالضرورة صادقة أو كاذبة. قدم لها 150 عبارة واضحة، مثل "مجموع 11 و35 هو 46" و"عاصمة فرنسا هي باريس"، جنباً إلى جنب مع نفيها. ثم سأل كل نموذج، في محادثات منفصلة، ما إذا كانت العبارة الأصلية صادقة وما إذا كانت العبارة المنفية صادقة. إذا كان النموذج يعمل بشكل صحيح، فينبغي أن يقول "صادق" لواحدة و"خطأ" للأخرى. إذا قال "خطأ" لكليهما، فقد خلق "فجوة". وإذا قال "صادق" لكليهما، فقد خلق "تخمة" (glut)، أو تناقضاً.
كانت نتائج هذا الاختبار الأولي مذهلة. فمن بين النماذج الستة التي تم اختبارها، فشلت أربعة منها في فحص أساسي لمنطقها الخاص. فعند مواجهة مسائل رياضية بسيطة، كانت هذه النماذج تنفي باستمرار كلاً من المجموع الصحيح والمجموع غير الصحيح. على سبيل المثال، أنكر أحد النماذج أن 11 زائد 35 يساوي 46، وأنكر أيضاً أن 11 زائد 35 لا يساوي 46. حدث هذا في أكثر من نصف الأسئلة الرياضية لبعض النماذج. ووجد الباحث أن هذا الفشل لم يكن بسبب نقص المعرفة؛ فقد ارتكبت النماذج هذه الأخطاء حتى عندما كانت الرياضيات صحيحة. بدلاً من ذلك، بدا أن النماذج تعاني من عملية النفي نفسها. لم تكن تكتشف فجوة منطقية في طبيعة الحساب؛ بل كانت ببساء تفشل في معالجة كلمة "ليس".
ولفهم هذه النتائج، وضع الباحث قاعدة صارمة، أو "بوابة" (gate)، لتفسير النتائج. لا يمكن اعتبار إجابات النموذج فجوة منطقية حقيقية إلا إذا أدى جيداً في الحقائق البسيطة والمعروفة أولاً. إذا ارتكب النموذج الكثير من الأخطاء في الأسئلة السهلة، فلا يمكن الوثوق بإجاباته على الأسئلة الصعبة. وعند تطبيق هذه القاعدة، تغيرت الصورة بشكل كبير. فقد تم استبعاد أربعة من النماذج لأنها فشلت في اجتياز البوابة. أما النموذج الخامس، ورغم أنه لم يرتكب الكثير من الأخطاء المنطقية، فقد رفض الإجابة أو أعطى إجابات لا يمكن فهمها في أكثر من 30 بالمائة من الحالات، مما جعل نتائجه غير قابلة للقياس. ولم يتبق سوى نموذج واحد، وهو نظام أصغر يسمى Gemini 3.1 Flash Lite، كان موثوقاً بما يكفي لدراسته بشكل أكبر.
مع هذا النموذج الوحيد والمعاير، عاد الباحث إلى مفارقة الكاذب الشهيرة. قبل المعايرة، أشارت قراءة غير معايرة للبيانات من نموذج ضخم مفتوح المصدر إلى أن الآلة تعاملت مع المفارقة كفجوة منطقية، حيث رفضت تخصيص قيمة حقيقية لها. بدا هذا وكأن الآلة تتبع منطق الفيلسوف كريبكي، الذي جادل بأن مثل هذه الجمل ليس لها قيمة حقيقية. ومع ذلك، بمجرد تطبيق المعايرة، اختفى هذا الاستنتاج. فالنموذج الوحيد الذي يمكن الوثوق به لم يعامل جملة الكاذب كفجوة. بدلاً من ذلك، أجاب بأن الجملة ليست صادقة وأنها كاذبة، مما أعطاها حكماً قياسياً بـ "الخطأ". لم يرَ الجملة كأنها صادقة وكاذبة في آن واحد، ولم يرَها كأنها بلا قيمة على الإطلاق. لقد رفض الادعاء ببساطة.
تخلص الدراسة إلى أن الوعد باستخدام الذكاء الاصطناعي لحل الألغاز المنطقية القديمة محدود حالياً بسبب نقاط الضعف الخاصة بالآلات نفسها. إن "الفجوات" و"التخمات" التي كان الباحثون يأملون في العثور عليها في سلوك هذه النماذج كانت في كثير من الأحيان مجرد أخطاء في كيفية معالجة النماذج للنفي. فالنموذج الوحيد الذي اجتاز الاختبار الصارم لم يقدم حلاً فلسفياً جديداً لمفارقة الكاذب؛ بل قدم إجابة قياسية ثنائية الجانب. لم تثبت الدراسة أن الآلات لا تستطيع التفكير بطرق معقدة، لكنها أثبتت أننا لا نستطيع افتراض أنها تفعل ذلك. لمعرفة ما تفكر فيه الآلة حقاً، يجب أن نكون متأكدين أولاً من أنها تفهم الفرق بين الادعاء ونقيضه. وحتى نتمكن من معايرة النماذج للتعامل مع المنطق البسيط لكلمة "ليس"، فإن أي استنتاجات عميقة نستخلصها من إجاباتها على الألغاز المعقدة تظل غير مثبتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.