Benchmarking the Quantum Leap: Auditing LLM Evaluation for Quantum Code Generation
تدقق هذه الورقة في موثوقية تقييم النماذج اللغوية الكبيرة لتوليد الكود الكمي من خلال اختبار ٢٥ نموذجاً عبر مجموعات متعددة، كاشفةً أن لوحات المتصدرين الحالية معيبة بسبب تصميمات المقيمين الفاشلة، والاعتماد المتبادل على معايير الاختبار، وعدم الدلالة الإحصائية، مما يستلزم بيئات تنفيذ معزولة وتقارير دقيقة عن عدم اليقين لضمان تقييم سليم للتقدم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في مجال الحوسبة الكمومية الناشئ، يعمل العلماء على بناء آلات تعمل وفق القواعد الغريبة لعالم الجسيمات دون الذرية، وذلك لحل مشكلات قد تستغرق الحواسيب الفائقة الحالية آلاف السنين لفك شفرتها. ولجعل هذه الآلات تعمل، يجب على الباحثين كتابة تعليمات معقدة، تُعرف باسم "الكود" (البرمجية)، والتي تخبر الأجهزة بكيفية التحكم في البتات الكمومية. ومؤخراً، أظهر نوع جديد من الذكاء الاصطناł يسمى "نموذج اللغة الكبير" قدرة على كتابة هذا الكود بمفرده، تماماً مثل برنامج كمبيوتر يمكنه صياغة رسائل البريد الإلكتروني أو كتابة القصص. وقد أثار هذا حماساً بشأن أتمتة إنشاء البرمجيات الكمومية. ومع ذلك، فإن مجرد قدرة الكمبيوتر على توليد النصوص لا يعني بالضرورة أن الكود الذي ينتجه سيعمل فعلياً عند تشغيله على آلة حقيقية. إن تحديد ما إذا كانت هذه الكتابات الاصطناعية قادرة حقاً على بناء دوائر كمومية وظيفية هو مهمة صعبة، تتطلب وسيلة لاختبار مخرجاتها مقابل القوانين الصارمة للفيزياء والمتطلبات المحددة للأجهزة الكمومية.
قرر فريق من الباحثين في مركز علوم الكم في أوك ريدج، تينيسي، إخضاع هذه الأنظمة من الذكاء الاصطناعي لاختبار صارم. فقد جمعوا خمسة عشر نموذجاً مختلفاً، تتراوح بين الأنظمة العامة المتاحة للجمهور والبرامج المتخصصة التي تم تدريبها خصيصاً على الفيزياء الكمومية. وطلبوا من هذه النماذج حل خمسمائة وثلاثين تحدياً برمجياً متميزاً عبر خمس مجموعات مختلفة من المهام. وشملت هذه التحديات كل شيء، بدءاً من بناء الدوائر الأساسية وصولاً إلى تصميم الخوارزميات المعقدة. لم يكتفِ الباحثون بمجرد النظر إلى الدرجات النهائية أو التصنيفات في لوحة الصدارة، بل قاموا ببناء نظام تدقيق مفصل لمراقبة كيفية تقييم الاختبارات، والتحقق من وجود عيوب خفية في عملية الاختبار نفسها. لقد أرادوا معرفة ليس فقط أي النماذج حصلت على أعلى درجة، بل ما إذا كانت تلك الدرجة تعكس بدقة قدرة النموذج الحقيقية على كتابة كود يعمل.
كشفت النتة عن مشهد أكثر تعقيداً من مجرد قائمة بسيطة للفائزين والخاسرين. ففي المجموعة الأسهل من المهام، كانت أقوى النماذج تؤدي بالفعل بمستوى جعل كل محاولة تقريباً صحيحة، حيث وصلت نسبة النجاح إلى ما يقرب من تسعة وتسعين بالمائة. ويشير هذا إلى أنه بالنسبة للبرمجة الكمومية الأساسية، فقد وصلت التكنولوجيا إلى نقطة تشبع بحيث لم تعد الاختبارات الحالية قادرة على التمييز بين أفضل النماذج. ومع ذلك، عندما انتقل الباحثون إلى التحديات الأصعب التي تتطلب تفكيراً أعمق وتصميماً متعدد الخطوات، انخفضت معدلات النجاح بشكل كبير، حيث حلت أفضل النماذ حوالي أربعة وستين بالمائة فقط من المشكلات. وهذا يشير إلى أنه بينما أتقنت الذكاء الاصطناعي الأساسيات، فإنه لا يزال يعاني مع الجوانب الأكثر صعوبة ودقة في الهندسة الكمومية.
ولعل الاكتشاف الأكثر إثارة للدهشة هو مدى قدرة طريقة تصميم الاختبار على تغيير النتيجة، وأحياناً أكثر من مهارة النموذج الفعلية. ففي مجموعة محددة من المهام الجديدة، وجد الباحثون أن نظام التصحيح كان يتحقق من تفاصيل لم تكن التعليمات الأصلية قد طلبتها قط. وعندما أزالوا هذه الفحوصات الإضافية غير المطلوبة من عملية التصحيح دون تغيير الكود الذي كتبته النماذج، قفز معدل نجاح أحد النماذج الرائدة من صفر بالمائة إلى ما يقرب من خمسة وتسعين بالمائة. لم يتحسن النموذج؛ بل كان الاختبار ببساطة صارماً للغاية بشأن أمور لا ينبغي له الاهتمام بها. يسلط هذا الاكتشاف الضوء على خلل حرج في كيفية قياس التقدم حالياً: فقد تعكس الدرجة العالية قدرة النموذج على تخمين ما يريده الاختبار، بدلاً من قدرته على حل المشكلة الفعلية.
كما كشف التدقيق عن أخطاء تقنية في أدوات الاختبار نفسها كانت تتسبب في حالات فشل ونجاح خاطئة. ففي إحدى الحالات، فشل برنامج الاختبار في تشغيل الفحوصات التي كان من المفترض أن يؤديها، مما سمح بمرور كود غير صحيح كأنه صحيح. وفي حالة أخرى، تضمن بيئة الاختبار بالخطأ أجزاءً من الحل المرجعي في المساحة التي يعمل فيها كود النموذج، مما أتاح للنموذج الوصول إلى إجابات لم يكن من المفترض أن يصل إليها. هذه العيوب تعني أن الدرجات التاريخية من الاختبارات المرجعية السابقة لا يمكن الوثوق بها كمقاييس دقيقة للقدرة. وجد الباحثون أن بعض النماذج بدت وكأنها تفشل لأن الاختبار كان معطلاً، بينما بدت نماذج أخرى وكأنها تنجح لأن الاختبار كان متساهلاً للغاية.
في الختام، تخلص الدراسة إلى أن الطريقة الحالية لتصنيف نماذج الذكاء الاصطناعي هذه غير كافية. فالاختلافات بين الأنظمة الأعلى أداءً غالباً ما تكون صغيرة جداً لدرجة أنها قد تعود إلى الصدفة العشوائية بدلاً من وجود فرق حقيقي في القدرة. علاوة على ذلك، تتأثر الدرجات بشدة بالتصميم المحدد للاختبار ومدى موثوقية أدوات التصحيح. ويجادل الباحثون بأنه لفهم التقدم في توليد الكود الكمومي حقاً، يجب على المجتمع تجاوز مجرد تصنيفات لوحات الصدارة. إنهم بحاجة إلى الإبلاغ عن نسبة عدم اليقين، والتحقق من أن الاختبارات تعمل بالفعل بشكل صحيح، وضمان أن النماذج يتم الحكم عليها بناءً على المهام التي طُلبت منها، وليس بناءً على متطلبات خفية أو نصوص تصحيح برمجية معطلة. وإلى أن يتم استيفاء هذه المعايير، ستظل القدرات الحقيقية للذكاء الاصطناعي في المجال الكمومي محجوبة بسبب عيوب أدوات القياس نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.