CelloAI Benchmarks: Toward Repeatable Evaluation of AI Assistants
تقدم هذه الورقة CelloAI، وهي مجموعة من الاختبارات المعيارية القابلة للتكرار والأتمتة والمصممة لتقييم النماذج اللغوية الكبيرة في مهام محددة في مجالات فيزياء الطاقات العالية والحوسبة عالية الأداء (HEP/HPC)، بما في ذلك توثيق الكود، وتوليد نوى وحدة معالجة الرسومات (GPU kernels)، وتحليل البيانات الرسومية، وذلك لمعالجة القيود الفريدة لتطوير البرمجيات العلمية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم متدرب جديد، ذكي ولكنه ساذج قليلاً (وهو الذكاء الاصطناعي)، كيف يعمل في مصنع ضخم، قديم، ومعقد للغاية. هذا المصنع لا يصنع السيارات؛ بل يحاكي ولادة الكون باستخدام الحواسيب الفائقة. المخططات طولها آلاف الصفحات، كتبها أشخاص مختلفون على مدى عقود، وإذا ارتكب المتدرب خطأً بسيطاً، فقد تنهار المحاكاة بأكملها أو، والأسوأ من ذلك، تعطيك إجابة خاطئة حول كيفية عمل الكون.
هذه الورقة البحثية تتحدث عن CelloAI، وهو فريق من الباحثين الذين قرروا أن "الاختبارات" القياسية التي نستخدمها للتحقق من مهارات البرمجة لدى الذكاء الاصطناعي ليست جيدة بما يكفي لهذه المهمة عالية الخطورة. لقد بنوا مجموعة جديدة من تدريبات التدريب المتخصصة (المعايير المرجعية) ليروا ما إذا كان بإمكان الذكاء الاصطناعي التعامل فعلياً مع الوظيفة الحقيقية المعقدة للبرمجة العلمية.
إليك تفصيل لتدريباتهم الثلاثة الرئيسية، مشروحة ببساطة:
1. تدريب "المترجم" (توثيق الكود)
المشكلة: كتيبات المصنع في حالة فوضى. بعض الأجزاء ليس عليها ملصقات، والملصقات الموجود الموجودة غامضة. يحتاج الذكاء الاصطناعي إلى كتابة ملاحظات واضحة ومنظمة (مثل تعليقات "Doxygen") لكل جزء من أجزاء الآلة حتى يعرف العمال المستقبليون ما هي وظيفتها.
التدريب: طلبوا من نماذج ذكاء اصطناني مختلفة كتابة هذه الملاحظات.
- بطاقة التقييم: لم يكتفوا بالتحقق مما إذا كان الذكاء الاصطناعي قد كتب شيئاً ما فحسب، بل تحققوا من:
- هل أغفل أي شيء؟ (التغطية): هل وضع ملصقاً على كل برغي وسلك؟
- هل كان الكلام منطقياً؟ (الدلالات): هل وصف الآلة بشكل صحيح، أم أنه بدا وكأنه يتحدث بهراء فقط؟
النتيجة: معظم نماذج الذكاء الاصطناعي بارعة في تذكر وضع ملصق على كل جزء (تغطية عالية)، لكنها غالباً ما تكافح لكتابة وصف جيد يطابق ما قد يقوله خبير بشري. الأمر يشبه متدرباً يضع ملصقات على كل أداة، لكنه يكتب "هذا شيء" بدلاً من "هذه مفتاح ربط لشد البراغي".
2. تدريب "يوم الانتقال" (نقل الكود)
المشكلة: المصنع يقوم بتحديث آلاته. هم بحاجة لنقل عملية معقدة من آلة قديمة وبطيئة (CPU) إلى آلة جديدة فائقة السرعة (GPU). هذا يشبه محاولة نقل آلية ساعة دقيقة ومعقدة من صندوق خشبي إلى غطاء فولاذي عالي التقنية دون كسر ترس واحد.
التدريب: أعطوا الذكاء الاصطناعي مهمة محددة وصعبة: خذ قطعة من الكود تعمل على كمبيوتر عادي وأعد كتابتها لتعمل على بطاقة رسوميات (GPU) تُستخدم لمحاكاة الفيزياء عالية السرعة.
- بطاقة التقييم: لم يسألوا فقط "هل يبدو الكود صحيحاً؟"، بل قاموا بتشغيل الكود.
- هل تمكن من التجميع (Compile)؟ (هل اشتغل؟)
- هل اشتغل؟ (هل عمل دون أن يتوقف فجأة؟)
- هل أعطى الإجابة الصحيحة؟ (هل حاكى الفيزياء بشكل صحيح؟)
النتيجة: كان هذا هو الاختبار الأصعب.
- المهام السهلة: المهام البسيطة (مثل إعادة ضبط عداد) كانت سهلة بالنسبة للذكاء الاصطناعي.
- المهام الصعبة: مهام "المحاكاة" المعقدة كانت كارثية. حتى أذكى نماذج الذكاء الاصطناعي فشلت في جعل الكود يعمل بشكل صحيح أكثر من مرة أو مرتين من أصل 10. أظهر ذلك أنه بينما يجيد الذكاء الاصطناعي كتابة مقتطفات صغيرة، فإنه يعاني مع المنطق الشامل المطلوب لنقل الأنظمة المعقدة دون كسرها.
3. تدريب "المحقق" (تحليل البيانات الرسومية)
المشكلة: ينظر العلماء إلى آلاف المخططات والرسوم البيانية للعثور على المشكلات. إذا بدا الرسم البياني مختلفاً قليلاً عن الأمس، فقد يعني ذلك وجود آلة معطلة أو اكتشافاً جديداً. البشر جيدون في رصد هذه "الأخطاء". هل يمكن للذكاء الاصطناعي النظر إلى صورة رسم بياني وقول: "مهلاً، هذا الخط غريب"؟
التدريب: عرضوا على الذكاء الاصطناعي صوراً لمخططات توزيع (histograms) تحتوي على خط "طبيعي" وخط "مراقب" يحتوي على بعض الأخطاء.
- بطاقة التقييم: كان على الذكاء الاصطناعي تحديد مكان عدم تطابق الخطوط بالضبط وتحديد النقاط الغريبة.
النتيجة: كان الذكاء الاصطناعي جيداً في رصد الأخطاء الواضحة، لكنه لم يكن بارعاً في كون محققاً دقيقاً. بعض النماذج أغفلت الأدلة تماماً، بينما وجدت نماذج أخرى الأدلة لكنها ارتبكت بشأن مكان بدء المشكلة بالضبط. الأمر يشبه إظهار صورة لمسرح جريمة لمحقق؛ يمكنه رؤية أن هناك خطباً ما، لكنه لا يستطيع دائماً تحديد مكان البصمة بدقة.
الخلاصة الكبرى
الرسالة الرئيسية لهذه الورقة هي: نحن بحاجة إلى اختبارات أفضل للذكاء الاصطناي.
الاختبارات الحالية تشبه سؤال الذكاء الاصطناعي عن حل لغز رياضي على ورقة نظيفة. لكن البرمجة العلمية الحقيقية تشبه إصلاح تسرب في سد بينما تندفع المياه فوقه. لا يمكنك مجرد كتابة الكود؛ بل يجب أن تتأكد من أنه يتناسب مع نظام ضخم وهش، وأنه يتم تجميعه، ويعمل، ولا يكسر قوانين الفيزياء.
لقد بنى الباحثون هذه "التدريبات" الجديدة لكي نتمكن في المستقبل من مقارنة نماذج الذكاء الاصطناعي بشكل عادل ومعرفة أي منها مستعد حقاً لمساعدة العلماء في بناء الجيل القادم من الحواسيب الفائقة، بدلاً من مجرد النماذج الجيدة في كتابة مقالات الواجبات المنزلية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.