How Far Are We? Systematic Evaluation of LLMs vs. Human Experts in Mathematical Contest in Modeling
تقدم هذه الورقة إطار تقييم صارمًا ومتحققًا منه من قبل الخبراء لمسابقة الصين للدراسات العليا في النمذجة الرياضية، كاشفةً أنه بينما تتفوق النماذج اللغوية الكبيرة الحديثة في صياغة المسائل، فإنها تعاني من "فجوة استيعاب وتنفيذ" مستمرة في الحل والبرمجة وتحليل النتائج لا يمكن حلها بمجرد زيادة حجم النماذج وحدها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
الصورة الكبيرة: اختبار "الطاهي مقابل الوصفة"
تخيل أنك وظفت طاهياً آلياً ذكياً وسريعاً للغاية (النموذج اللغوي الكبير، أو LLM) لطهي وجبة معقدة متعددة الأصناف لمسابقة رفيعة المستوى. الهدف ليس مجرد تقطيع الخضروات؛ بل تصميم القائمة، وشراء المكونات، وطهي الأطباق، وتنسيقها بشكل جميل، وشرح سبب لذة مذاقها.
لفترة طويلة، كنا نختبر الطهاة الآليين عبر سؤالهم أسئلة بسيطة مثل: "ما هي عاصمة فرنسا؟" أو "اكتب قصيدة عن قطة". وقد تفوق الذكاء الاصطناعي في هذه الاختبارات. لكن هذه الورقة البحثية تطرح سؤالاً أصعب: هل يمكن للذكاء الاصطناعي أن يدير مطبخاً كاملاً من البداية إلى النهاية، تماماً مثل طاهٍ بشري خبير؟
لمعرفة ذلك، لم يكتفِ الباحثون بطلب كتابة وصفة من الذكاء الاصطناعي، بل ألقوا به في غمار مسابقة الصين للدراسات العليا في النمذجة الرياضية. هذه المسابقة تشبه مسابقة "آيرون شيف" (Iron Chef) في الرياضيات: مشكلة حقيقية، فوضوية، ومفتوحة النهايات، حيث لا توجد إجابة واحدة صحيحة، وتتطلب الحل عملية عمل طويلة ومعقدة.
المشكلة: بطاقة التقييم القديمة كانت معطلة
قبل هذه الدراسة، حاول الناس تقييم حلول الذكاء الاصطناعي باستخدام قائمة مراجعة عامة. كان الأمر يشبه الحكم على عشاء فاخر مكون من 10 أطباق بناءً فقط على ما إذا كانت الطاولة منسقة بشكل جيد والمناديل مطوية بعناية.
- العيب: كان بإمكان الذكاء الاصطناعي كتابة تقرير رائع ومنمق بكلمات منمقة وقواعد لغوية مثالية وجدول محتويات جذاب، ولكن إذا كانت الرياضيات الفعلية خاطئة أو الكود البرمجي لا يعمل، فإن النظام القديم كان لا يزال يعطيه درجة عالية. لقد كان يقيم طريقة التقديم، وليس عملية الطبخ.
الحل: بطاقة تقييم جديدة "خطوة بخطوة"
بنى الباحثون طريقة جديدة لتقييم الذكاء الاصطناعي. بدلاً من النظر إلى التقرير النهائي ككتلة واحدة كبيرة، قاموا بتفكيك عملية الطبخ إلى 7 مراحل محددة (مثل خطوات الوصفة):
- تحديد المشكلة: "ماذا سنطبخ؟"
- وضع الخطة: "ما هي المكونات والأدوات التي نحتاجها؟"
- وضع الافتراضات: "سنفترض أن الفرن مثالي؛ سنتجاهل الرياح."
- بناء النموذج: "كتابة الوصفة الفعلية."
- حل النموذج: "القيام بالعمليات الحسابية لتحديد أوقات الطهي."
- البرمجة: "تشغيل الموقد فعلياً وخلط العجين."
- تحليل النتائج: "تذوق الطعام والتحقق مما إذا كان صالحاً للأكل."
لقد أنشأوا معايير تقييم مخصصة لكل خطوة من كل مشكلة، تم التحقق منها بواسطة خبراء بشريين (فائزين حقيقيين في مسابقات الرياضيات). وهذا يضمن تقييم الذكاء الاصطناعي بناءً على ما إذا كان قد حل المشكلة بالفعل، وليس فقط بناءً على مدى جودة حديثه عنها.
النتائج: "فجوة الاستيعاب والتنفيذ"
عندما أجروا الاختبار، وجدوا انقساماً صادماً في قدرات الذكاء الاصطناعي.
1. الذكاء الاصطناعي "مخطط" بارع (الاستيعاب)
في المراحل الأولى (تحديد المشكلة ووضع الخطة)، سجل الذكاء الاصطناعي نتائج تقارب الخبراء البشر. كان بإمكانه قراءة المشكلة الفوضوية، وفهم المطلوب، وكتابة مقدمة منطقية وجميلة. كان يشبه "مساعد الطاهي" الذي يمكنه وصف القائمة والمكونات بدقة مثالية.
2. الذكاء الاصطناعي "طاهٍ" سيء (التنفيذ)
بمجرد انتقال المهمة إلى الأمور الصعبة — القيام بالرياضيات الفعلية، وكتابة الكود، والتحقق من عمل الأرقام — انهار أداء الذكاء الاصطناعي.
- الهبوط: بينما حافظ البشر على مستوى ثابت، انخفضت درجات الذكاء الاصطناعي بشكل حاد في مرحلتي "حل النموذج" و"تنفيذ الكود".
- النتيجة: كان الذكاء الاصطناعي يقترح فكرة عبقرية، لكنه يفشل في بناء المحرك الذي يجعلها تعمل. كان الأمر يشبه طاهياً صمم "سوفليه" مثالياً ولكنه نسي تشغيل الفرن، أو كتب وصفة تطلب "رشة من السحر" بدلاً من السكر.
"تأثير كرة الثلج" للأخطاء
اكتشفت الورقة أيضاً عادة خطيرة لدى الذكاء الاصطناعي: إنه لا يصحح أخطاءه.
- إذا ارتكب الذكاء الاصطناعي خطأً صغيراً في مرحلة "الافتراضات" (مثل افتراض أن الرياح غير موجودة)، فإنه سيحمل هذا الخطأ طوال الطريق حتى النهاية.
- لن يتوقف ويقول: "مهلاً، الكود الخاص بي لا يعمل لأن افتراضي كان خاطئاً". بدلاً من ذلك، سيستمر في المضي قدماً، مما يؤدي إلى تراكم الخطأ حتى تصبح النتيجة النهائية غير صالحة.
- التشبيه: الأمر يشبه بناء منزل على أساس مائل. يستمر الذكاء الاصطناعي في إضافة الطوابق وطلاء الجدران، ولكن لأن الأساس كان خاطئاً، فإن المنزل بأكمله محكوم عليه بالفشل. الخبير البشري سيلاحظ الأساس المائل ويصلحه قبل بناء الطابق الثاني.
هل الحجم الأكبر يعني الأفضل؟ (أسطورة "الأكبر ليس بالضرورة الأفضل")
اختبر الباحثون نماذج ذكاء اصطناعي بأحجام مختلفة (من الصغيرة إلى الضخمة).
- الأخبار الجيدة: أصبحت النماذج الأكبر أفضل قليلاً في فهم المشكلة وكتابة الخطة.
- الأخبار السيئة: جعل النموذج أكبر بـ 100 مرة لم يحل مشكلة التنفيذ. فالنماذج الضخمة لا تزال تفشل في كتابة كود برمجي يعمل أو التحقق من رياضياتها.
- الدرس المستفاد: مجرد ضخ المزيد من الأموال في "عقل أكبر" لا يحل حقيقة أن الذكاء الاصطناعي سيء في القيام بالعمل. إنه يشبه إعطاء طالب عبقري مكتبة أكبر؛ قد يعرف حقائق أكثر، لكنه لا يزال لا يستطيع إصلاح سقف مسرب.
الخلاصة: ما الخطوة التالية؟
تخلص الورقة إلى أننا لم نصل بعد. بينما يبدو الذكاء الاصطناعي رائعاً في الكلام والتخطيط، إلا أنه حالياً غير موثوق به في "العمل الشاق" لحل المشكلات الواقعية.
للوصول بالذكاء الاصطناعي إلى مستوى الخبير البشري، لا يمكننا فقط جعل النماذج أكبر. نحن بحاجة إلى تعليمه العملية. نحن بحاجة إلى بناء أنظمة تجبر الذكاء الاصطناعي على:
- مراجعة عمله في كل خطوة.
- إصلاح الأخطاء فوراً بدلاً من تجاهلها.
- تشغيل الكود فعلياً والتحقق من الأرقام، بدلاً من مجرد التخمين بشأن ما يجب أن تكون عليه الأرقام.
باخت تختصر: الذكاء الاصطناعي هو "حكواتي" رائع، لكنه لا يزال "بناءً" أخرق. وإلى أن يتعلم البناء بنفس جودة حكاياته، لا يمكنه استبدال الخبراء البشر في المهام المعقدة والواقعية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.