Beyond Accuracy: A Multidimensional Evaluation of Statistical Reasoning in Large Language Models
تقترح هذه الدراسة إطار تقييم متعدد الأبعاد يتجاوز مقاييس الدقة البسيطة ليكشف كيف تبني 15 نموذجاً من نماذج اللغات الكبيرة وتتواصل في مجال الاستدلال الإحصائي، مما يثبت أنه بينما تتباين الدقة بشكل كبير، تشترك النماذج في هياكل مفاهيمية عامة ولكنها تظهر أساليب تفسيرية متميزة خاصة بكل شركة مصنعة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تسير داخل مكتبة ضخمة حيث الكتب مكتوبة بيد نوع جديد من أمناء المكتبات: ذكاء اصطناعي. هؤلاء الأمناء، الذين يُطلق عليهم نماذج اللغات الكبيرة (LLMs)، بارعون للغاية في القراءة والكتابة والدردشة. يمكنهم الإجابة على الأسئلة العامة، وكتابة القصائد، وحل المسائل الرياضية التي كانت تُحير البشر. لكن هنا تكمن المشكلة: مجرد تقديم الذكاء الاصطناعي لإجابة صحيحة لا يعني بالضرورة أنه "فهم" السؤال حقاً. قد يكون مجرد تخمين بناءً على الأنماط التي رآها في بيانات تدريبه، تماماً مثل الببغاء الذي يكرر عبارة سمعها ألف مرة دون أن يعرف معناها.
في عالم الإحصاء — وهو علم فهم الأرقام وعدم اليقين — يعد هذا أمراً بالغ الأهمية. فالإحصاء ليس مجرد معالجة للأرقام؛ بل هو حول الاستنتاج في ظل عدم اليقين، وفهم لماذا قد يكون النمط مجرد صدفة، وشرح "كيف" توصلت إلى إجابتك. لفترة طويلة، كان العلماء يختبرون هؤلاء الأمناء من الذكاء الاصطناعي عبر طرح أسئلة عليهم والتحقق مما إذا كانت الإجابة النهائية صحيحة أم خاطئة. يشبه الأمر تقييم طالب في اختبار من خلال النظر فقط إلى ورقة الإجابات، وتجاهل المسودات الفوضوية التي يمثل فيها التفكير الحقيقي. ولكن ماذا لو حصل الذكاء الاصطناعي على الإجابة الصحيحة لأسباب خاطئة؟ أو ماذا لو حصل على إجابة خاطئة لكنه شرح تفكيره ببراعة تجعله يبدو ذكياً؟ لكي نعرف حقاً ما إذا كان هؤلاء الأمناء مستعدين لمساعدتنا في الإحصاء، نحتاج إلى النظر بعمق أكبر من مجرد الدرجة النهائية.
هذا هو بالضبط ما سعى فريق من الباحثين من جامعة ساوثرن ميثوديست (SMU) للقيام به. لقد عاملوا 15 نموذجاً مختلفاً من الذكاء الاصطناعي كأنهم فصل دراسي يخضع لأربعة اختبارات إحصائية مختلفة، تتراوح من مستوى المدرسة الثانوية وصولاً إلى الدراسات العليا. وبدلاً من مجرد عدّ الإجابات الصحيحة، قرروا فحص "المسودة" — أي الشروحات التي كتبها الذكاء الاصطناعي. استخدموا نوعاً خاصاً من العدسات المكبرة الرقمية ليروا ليس فقط "ماذا" قال الذكاء الاصطناعي، بل "كيف" قاله و"ما هي الأفكار" التي كان يستخدمها بالفعل.
إليكم ما وجدوه، وهي نتيجة تحمل تحولاً في الحبكة. أولاً، كانت الدرجات متفاوتة للغاية. فاعتماداً على النموذج الذي تسألونه، كانت النتائج تتراوح بين 55% و78% من الأسئلة الصحيحة. هذه فجوة هائلة، تشبه فرقاً بين طالب يحصل على تقدير "مقبول" وآخر يحصل على "امتياز". ولكن عندما نظر الباحثون في الشروحات، حدث شيء مفاجئ. فعلى الرغم من اختلاف الدرجات، كان كل نموذج تقريباً يستخدم نفس "صندوق الأدوات الذهني". كانوا جميعاً يتحدثون عن نفس المفاهيم الإحصائية — مثل فترات الثقة، وأخذ العينات، واختبار الفرضيات — بطرق متشابهة جداً. كان الأمر كما لو أن كل الطلاب في الفصل، سواء حصلوا على امتياز أو مقبول، كانوا يستخدمون نفس الكتاب المدرسي للدراسة.
لم تكن الاختلافات الحقيقية في "ماذا" يعرفون، بل في مدى موثوقية استخدامهم لما يعرفونه. النماذج الأكثر ذكاءً لم تكن تعرف حقائق أكثر فحسب؛ بل كانت ببساطة أفضل في تطبيق الحقائق التي يتشاركها الجميع. كانت أقل عرضة للارتباك، وأقل عرضة للاستسلام، وأكثر عرضة لقول: "لا يمكنني الإجابة على هذا لأن المعلومات تنقصني"، بدلاً من التخمين العشوائي.
كما لاحظ الباحثون نمطاً طريفاً حول الجهة المصنعة للنماذج. فالنماذج التي صنعتها نفس الشركة (مثل النسخ المختلفة من GPT التابع لـ OpenAI أو Claude التابع لـ Anthropic) تميل إلى أن تبدو متشابهة مع بعضها البعض أكثر من تشابهها مع النماذج من شركات أخرى. يشبه الأمر كيف أن الأشقاء قد يكون لهم أصوات مختلفة قليلاً لكنهم يتشاركون في نفس "لكنة العائلة". ومع ذلك، حتى هذه "اللكنة العائلية" كانت دقيقة للغاية؛ فالاختلافات في طريقة حديثهم كانت صغيرة مقارمة بحقيقة أنهم جميعاً يفكرون في نفس الأفكار الجوهرية.
إذن، ما هي الخلاصة الكبرى؟ تشير الورقة البحثية إلى أنه لا يمكننا الحكم على هذه النماذج بمجرد معرفة ما إذا كانت تحصل على الإجابة الصحيحة. الحصول على الإجابة الصحيحة هو نصف القصة فقط. النصف الآخر هو فهم المنطق وراءها. تظهر الدراسة أنه بينما يتحسن الذكاء الاصطناعي في الإحصاء، فإنه لا "يفكر" بالضرورة بطريقة جديدة جوهرياً عما كان عليه من قبل. إنهم جميعاً يستمدون من نفس حوض المفاهيم الإحصائية؛ والرابحون هم فقط الأكثر اتساقاً وحذراً في استخدام تلك المفاهيم.
في النهاية، يحذرنا المؤلفون من أننا بينما نبدأ في استخدام أدوات الذكاء الاصطناعي هذه في المدارس وتحليل البيانات في العالم الحقيقي، يجب أن نكون حذرين. لا ينبغي لنا أن نثق في الرقم النهائي فحسب. نحن بحاجة إلى النظر في الشرح أيضاً. لأنه في الإحصاء، معرفة "لماذا" شيء ما صحيح غالباً ما تكون بنفس أهمية معرفة "أنه" صحيح. قد يتمكن الذكاء الاصطناعي من إعطائك الإجابة الصحيحة، ولكن إذا كان مجرد يخمن بصوت واثق، فهو ليس شريكاً موثوقاً في عملية الاستنتاج.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.