EuroExec: Frontier Language Models Fall Short of Expert Judgment on European Executive Decision Tasks
تقدم هذه الورقة EuroExec، وهو معيار لـ 413 مهمة تنفيذية أوروبية من واقع العالم الحقيقي تم تقييمها بواسطة خبراء بشريين، كاشفةً أن أقوى النماذج اللغوية الكبيرة الرائدة لا تزال تقصر بشكل كبير عن المعايير البشرية المهنية، حيث لم تحل سوى 56.9% من المهام وتتفوق عليها باستمرار المراجع المكتوبة من قبل الخبراء.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف مساعداً جديداً للمساعدة في إدارة شركة ضخمة ومعقدة. أنت لا تحتاج فقط إلى شخص يمكنه تسميع الحقائق من كتاب مدرسي؛ بل تحتاج إلى استراتيجي يمكنه النظر إلى مشكلة واقعية فوضوية، وفهم القواعد المحلية، وكتابة خطة بارعة تعمل بالفعل. هذا هو عالم "النماذج اللغوية الكبيرة" (LLMs) — وهي برامج حاسوبية ذكية للغاية تم تدريبها على كميات هائلة من النصوص التي يمكنها كتابة القصص، والإجابة على الأسئلة، وحل الألغاز. لفترة من الوقت، كنا نختبر هؤلاء المساعدين من الذكاء الاصطناعي عبر اختبارات بسيطة من نوع الاختيار من متعدد، مثل طلب اختيار الإجابة الصحيحة من قائمة تضم أربعة خيارات. ولكن في العالم الحقيقي، نادراً ما تأتي المشكلات مع قائمة من الخيارات؛ فهي مفتوحة النهايات، وفوضوية، وتتطلب حكماً عميقاً. السؤال الكبير الذي يشغل بال الجميع هو: هل يمكن لهؤلاء "العباقرة" من الذكاء الاصطناعي التعامل فعلياً مع القرارات عالية المخاطر ومفتوحة النهايات التي يتخذها التنفيذيون الحقيقيون كل يوم، أم أنهم مجرد بارعين جداً في اجتياز الاختبارات؟
قرر فريق من الباحثين من "سوفرانو إيه آي" (Sovrano AI) اكتشاف ذلك عبر إنشاء تحدٍ جديد كلياً وفائق الصعوبة يسمى "يورو إكسيك" (EuroExec). فبدلاً من مجرد اختبار بسيط، قاموا ببناء امتحان ضخم يتكون من 413 سؤالاً طويلاً ومعقداً يعتمد على سيناريوهات أعمال حقيقية في أوروبا. لم يكتفوا بطلب التخمين من الذكاء الاصطناعي؛ بل استعانوا بـ 47 خبيراً بشرياً حقيقياً — أشخاص لديهم عقود من الخبرة في التمويل، والتسويق، والأعمال، وإدارة المنتجات — لكتابة الأسئلة وتقييم الإجابات. وضع هؤلاء الخبراء قائمة مراجعة صارمة للمتطلبات لكل إجابة، ليعملوا كمدير صارم يدقق عمل موظف مبتدئ. ثم طلبوا من ستة من أكثر نماذج الذكاء الاصطناعي تقدماً في العالم حل هذه المشكلات وقارنوا أداء الذكاء الاصطناعي مقابل الخبراء البشر.
كانت النتائج بمثابة صدمة للواقع. فحتى أذكى نماذج الذكاء الاصطناعي في العالم واجهت صعوبة في مواكبة المحترفين. تمكن أفضل نموذج ذكاء اصطناعي من "حل" حوالي 56.9% فقط من المهام، مما يعني أنه فشل في تلبية المعايير المهنية في نصف الأسئلة تقريباً. وفي المقابل، حقق الخبراء البشر، عندما طُلب منهم كتابة إجاباتهم المثالية، نسبة نجاح شبه كاملة بلغت 92.4%. وعندما طلب الباحثون من الخبراء البشر ترتيب الإجابات بشكل أعمى، فضلوا الإجابات التي كتبها البشر على إجابات الذكاء الاصطناعي بنسبة 74% من المرات.
كما بحثت الدراسة في كيفية فشل الذكاء الاصطناعي. وبينما كانت النماذج جيدة في كتابة نصوص جيدة الهيكلة والتواصل بوضوح، إلا أنها أخفقت تماماً عندما تعلق الأمر بالمنطق والاستنتاج الفعلي. فغالباً ما كانت تغفل القواعد المحلية المحددة للأسواق الأوروبية أو تفشل في وضع خطط واقعية وقابلة للتنفيذ. ومن المثير للاهتمام أن الباحثين حاولوا استخدام برامج ذكاء اصطناعي أخرى لتقييم الإجابات تلقائياً، آملين في توفير الوقت والمال. ومع ذلك، كانت هذه "القضاة الآليين" غير موثوقين؛ إذ مالوا إلى المبالغة في تقدير أداء أفضل النماذج وأغفلوا الفروق الدقيقة التي لاحظها الخبراء البشر.
في النهاية، تشير الورقة البحثية إلى أنه بينما أصبح الذكاء الاصطناعي جيداً للغاية في توليد النصوص، إلا أنه ليس جاهزاً بعد لاستبدال الخبراء البشر في اتخاذ القرارات رفيعة المستوى. فقد بالكاد تجاوز "معدل الحل" لأفضل ذكاء اصطناعي حاجز الـ 50% في الأسئلة السهلة، وحتى النماذج الأكثر قدرة كانت بعيدة عن المعيار المهني المطلوب للعمل التنفيذي. ويخلص الباحثون إلى أنه بالنسبة لهذا النوع من المهام المعقدة والواقعية، لا يزال الحكم البشري هو المعيار الذهبي، ولا يمكننا الاعتماد بعد على القياسات التلقائية أو "قضاة الذكاء الاصطناعي" لإخبارنا ما إذا كان الكمبيوتر "يفكر" حقاً كخبير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.