Domain-level metacognitive monitoring in frontier LLMs: A 33-model atlas
تحلل هذه الدراسة 1,500 عنصر من اختبار MMLU عبر 33 نموذجاً لغوياً كبيراً من النماذج الرائدة لتكشف أن درجات المراقبة الميتا معرفية الإجمالية تحجب تباينات كبيرة ومستقرة على مستوى المجالات، حيث يسهل مراقبة المعرفة التطبيقية بشكل موثوق مقارنة بالاستدلال الرسمي أو العلوم الطبيعية، مما يدعم استخدام الفحص النوعي الخاص بكل مجال قبل نشر النموذج.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتعيين فريق من المساعدين الخبراء لمساعدتك في حل أنواع مختلفة من المشكلات: بعضها عقود قانونية، وبعضها براهين رياضية، وبعضها أسئلة تاريخية، وبعضها تشخيصات طبية.
في الماضي، لتقييم مدى جودة المساعد في معرفة متى لا يعرف الإجابة، كنا نعطيهم "درجة ثقة" واحدة لكل عملهم. إذا قالوا: "أنا متأكد بنسبة 80%"، كنا نعتبر ذلك قاعدة عامة لكل ما يفعلونه.
هذه الورقة البحثية تجادل بأن تلك الدرجة الواحدة هي كذبة. الأمر يشبه قولك إن الطباخ "جيد في الطبخ" دون أن تدرك أنه خبير في الخبز لكنه لا يستطيع سلق الماء.
إليك التوضيح البسيط لما اكتشفه المؤلف، جون بول كاسيولي، من خلال اختبار 33 نموذج ذكاء اصطناعي مختلف على 1500 سؤال.
1. تأثير "الجبنة السويسرية"
النتيجة الرئيسية هي أن قدرة الذكاء الاصطناعي على تقييم معرفته هي قدرة متقطعة (رقعية).
- الأخبار الجيدة: عندما كانت الأسئلة تتعلق بـ المعرفة التطبيقية/المهنية (مثل القانون، الطب، أو المحاسبة)، كانت نماذج الذكاء الاصطناعي ممتازة في معرفة متى تكون مصيبة أو مخطئة. كانت مثل خبير واثق يعرف تماماً متى ارتكب خطأً.
- الأخبار السيئة: عندما كانت الأسئلة تتعلق بـ الاستدلال الرسمي (الألغاز المنطقية، البراهين الرياضية) أو العلوم الطبيعية، أصبحت نفس نماذج الذكاء الاصطناعي سيئة جداً في تقييم نفسها. كانت تخمن بشكل عشوائي وتدعي أنها متأكدة بنسبة 90%، حتى وهي مخطئة.
التشبيه: تخيل طالباً يحصل على درجة امتياز (A+) في اختبار التاريخ ويعرف تماماً الحقائق التي حفظها. ولكن عندما يخوض اختباراً للألغاز المنطقية، يخمن عشوائياً ولا يزال يدعي: "أنا متأكد بنسبة 100% أن هذا صحيح!" تظهر الورقة أن كل نموذج ذكاء اصطناعي تم اختباره كان لديه نمط "الجبنة السويسرية" هذا: قوي في بعض المجالات، وضعيف في أخرى.
2. اختبار "تشابه العائلة"
نظر المؤلف إلى "عائلات" مختلفة من نماذج الذكاء الاصطناعي (مثل عائلة Anthropic، وعائلة Google، إلخ) ليرى ما إذا كان الأشقاء يتشابهون.
- عائلة Anthropic: كانت هذه النماذج متسقة للغاية. إذا كان أحدها جيداً في فحص ذاته، فإن الآخرين كذلك. كان لديهم جميعاً "شخصية" متشابهة فيما يتعلق بالثقة.
- عائلة Google Gemma: كانت هذه مفاجأة. النماذج القديمة (Gemma 3) كانت سيئة جداً في فحص ذاتها—كانت مثل طالب لا يعرف أبداً أنه مخطئ. لكن النموذج الجديد (Gemma 4) حقق قفزة هائلة. لقد أصبح فجأة جيداً جداً في معرفة ما يعرفه. الأمر يشبه طالباً رسب في كل الاختبارات لسنوات، ثم حصل فجأة على مدرس خصوصي وتفوق في الاختبار التالي.
- عائلة OpenAI: كانت هذه المجموعة مشتتة في كل مكان. نموذج واحد كان رائعاً، والآخر كان سيئاً، والثالث كان مرتبكاً فقط. لم تكن هناك "شخصية عائلية" متسقة.
3. "الصوت" مهم (تنسيق الاستقصاء)
هذا اكتشاف حاسم حول كيفية طلبنا من الذكاء الاصطناعي إظهار ثقته.
- الاختبار الثنائي: في الدراسات السابقة، كان الباحثون يسألون نماذج الذكاء الاصطناعي سؤالاً بسيطاً بـ "نعم/لا": "هل تريد الاحتفاظ بهذه الإجابة أم التخلص منها؟" بعض النماذج فشلت في هذا الاختبار تماماً. بدت وكأنها تفتقر تماماً للوعي الذاتي.
- اختبار المقياس: في هذه الورقة، طلب الباحثون من نماذج الذكاء الاصطناعي إعطاء رقم من 0 إلى 100 لإظهار مدى تأكدهم.
- النتيجة: النماذج التي فشلت في اختبار "نعم/لا" بدت طبيعية تماماً عندما طُلب منها إعطاء رقم. اتضح أن بعض النماذج لا تستطيع قول "لا"، لكنها تستطيع قول "أنا متأكد بنسبة 40%".
- الدرس: لا يمكنك القول إن النموذج "معطل" لمجرد أنه فشل في نوع واحد من الاختبارات. قد يكون فقط سيئاً في طريقة معينة من التحدث.
4. فخ "التباين العالي"
كان النموذج (GPT-oss-120B) مثيراً للاهتمام للغاية. فقد أعطى نطاقاً واسعاً من درجات الثقة (بعضها 10%، وبعضها 90%). قد تعتقد: "واو، إنه يعبر عن الكثير من عدم اليقين!"
لكن الورقة وجدت أن عدم اليقين لديه كان بلا فائدة. كان يخمن بجنون ويدعي ثقة عالية عندما يكون مخطئاً.
التشبية: تخيل مذيع أحوال جوية يقول "احتمال سقوط الأمطار 10%" في يوم مشمس، ويقول "احتمال سقوط الأمطار 90%" في يوم مشمس أيضاً. إنه معبر جداً، لكن توقعاته لا علاقة لها بالواقع. التباين في الثقة لا يعني الوعي الذاتي الجيد؛ بل يعني أن النموذج صاخب ومشوش.
5. ماذا يعني هذا بالنسبة لك (قاعدة "الفحص")
تختتم الورقة بقاعدة عملية لأي شخص يستخدم هذه النماذج:
لا تثق في المتوسط.
إذا كنت تبني نظاماً للمساعدة في العقود القانونية، فيجب عليك اختيار نموذج يسجل درجات عالية في "الثقة المهنية/التطبيقية"، حتى لو كان متوسط درجاته الإجمالي متوسطاً.
إذا كنت تبني نظاماً لـ المسائل الرياضية، فيجب أن تكون حذراً جداً، لأن حتى أكثر النماذج "ذكاءً" تعاني لمعرفة متى تكون مخطئة في هذا المجال تحديداً.
الخلاصة:
"ثقة" الذكاء الاصطناعي ليست رقماً واحداً. إنها خريطة بها جبال ووديان. بعض المناطق آمنة للثقة؛ وأخرى خطيرة. قبل أن تسمح للذكاء الاصطناعي باتخاذ قرار في مجال معين، تحتاج إلى فحص "خريطته" لهذا المجال المحدد، وليس مجرد سمعته العامة.
ما لا تقوله الورقة
- هي لا تقول إن هذه النماذج جاهزة للاستخدام في العالم الحقيقي في الطب أو القانون بعد. هي فقط تقول إن لدينا الآن طريقة أفضل لاختبارها قبل استخدامها.
- هي لا تشرح لماذا النماذج أفضل في القانون من الرياضيات. هي فقط تؤكد أن هذا الفرق موجود.
- هي لا تدعي أن هذه "المجالات" (مثل "الاجتماعي" أو "العلمي") هي فئات علمية مثالية. يعترف المؤلف بأنها مجرد مجموعات عملية للاختبار، وليست حقائق نفسية عميقة.
باخت-الاختصار: توقف عن النظر إلى المتوسط. انظر إلى الملف الشخصي (البروفايل).
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.