Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation
تقدم هذه الورقة تكييفاً قائماً على Qiskit لـ QuantumKatas من مايكروسوفت كمعيار شامل لتقييم النماذج اللغوية الكبيرة في مهام الحوسبة الكمومية، مما يكشف عن تفوق النماذج في تنفيذ الخوارزميات المعروفة، بينما تواجه صعوبة في ترميز المشكلات، وأن استخدام تقنية "سلسلة الأفكار" (chain-of-thought) يعطي نتائج متباينة عبر بنيات النماذج المختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مكتبة ضخمة تضم 350 لغزاً صُممت لتعليم شخص ما كيفية التحدث بلغة "الكم" (Quantum)، وهي لغة غريبة جديدة تُستخدم لبرمجة الحواسيب الكمية. لسنوات، كُتبت هذه الألغاز بلغة تسمى Q# (لهجة مايكروسوفت).
هذه الورقة البحثية تتناول موضوعين رئيسيين:
- ترجمة المكتبة: قام المؤلفون بأخذ تلك الألغاز الـ 350 وترجمتها إلى Qiskit، وهي "اللهجة" (الإطار البرمجي) الأكثر شهرة التي يستخدمها مبرمجو الكم اليوم.
- اختبار الطلاب: استخدموا هذه المكتبة المترجمة كاختبار ضخم لاختبار 16 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (AI) لمعرفة مدى براعتهم في حل هذه الألغاز الكمية.
إليك تفصيل لما وجدوه، باستخدام تشبيهات بسيطة:
1. الامتحان: "QuantumKatas"
اعتبر QuantumKatas كأنها لعبة فيديو تحتوي على 26 مستوى، تتراوح من "المرحلة التعليمية" (سهلة جداً) إلى "معركة الزعيم" (صعبة جداً).
- المستويات: تطلب بعض المستويات من الذكاء الاصطناعي القيام بحركات بسيطة، مثل قلب عملة معدنية (بوابة أساسية). وتطلب مستويات أخرى منه حل ألغاز معقدة، مثل البحث عن إبرة مخفية في كومة قش باستخدام خوارزمية معينة (بحث غروفر) أو إصلاح آلة معطلة (تصحيح الخطأ).
- الترجمة: لم يخترع المؤلفون ألغازاً جديدة؛ بل قاموا فقط بترجمتها من لغة Q# الخاصة بمايكروسوفت إلى لغة Qiskit الخاصة بـ IBM. هذا يضمن أن تكون الصعوبة عادلة وأن المفاهيم هي نفسها.
- التصحيح: لم يكتفوا بطلب كتابة الكود من الذكاء الاصطناعي فحسب؛ بل قاموا بتشغيل الكود في محاكي (كمبيوتر كمي افتراضي) لمعرفة ما إذا كان يعمل بالفعل. إذا لم تتطابق الرياضيات، فإن الذكاء الاصطناعي رسب.
2. الطلاب: 16 نموذج ذكاء اصطناعي
قاموا باختبار 16 طالباً من نماذج الذكاء الاصطناعي.
- الطلاب "النخبة" (النماذج الرائدة): هذه هي النماذج الضخمة والمكلفة والمملوكة لشركات (مثل GPT-5.5، وClaude Opus، وGemini 3.1).
- الطلاب "المفتوحون" (النماذج مفتوحة المصدر): هذه هي النماذج المجانية التي يمكن لأي شخص تحميلها (مثل Llama، وMistral، وGemma).
النتائج:
- الفجوة: سجل طلاب النخبة درجات أعلى بكثير من الطلاب المفتوحين. في المتوسط، أجاب طلاب النخبة على حوالي 75% من الألغاز بشكل صحيح، بينما نجح الطلاب المفتوحون في حوالي 49% فقط. الأمر يشبه الفرق بين طالب متفوق وطالب ناجح بالكاد.
- الحجم لا يفوز دائماً: من المثير للاهتمام أن امتلاك "دماغ أكبر" (عدد أكبر من المعلمات/Parameters) لم يضمن بالضرة درجة أفضل. فقد تفوقت بعض النماذج الأصغر والأكثر دقة في الضبط على نماذج ضخمة. الأمر لا يتعلق فقط بحجم الدماغ، بل بكيفية تدريبه.
3. تلميحات الدراسة (استراتيجيات التوجيه/Prompting)
حاول الباحثون استخدام طرق مختلفة لطرح الأسئلة لمعرفة ما إذا كان ذلك سيساعد الذكاء الاصطناعي على الأداء بشكل أفضل.
- طريقة "أرني مثالاً" (Few-Shot): أعطوا الذكاء الاصطناعي بعض الأمثلة لألغاز تم حلها قبل مطالبته بحل لغز جديد. كانت هذه هي الطريقة الأكثر موثوقية للجميع تقريباً. الأمر يشبه إظهار مسألة رياضية محلولة لطالب قبل إعطائه الاختبار.
- طريقة "التفكير بصوت عالٍ" (Chain-of-Thought): طلبوا من الذكاء الاصطناعي شرح منطقه خطوة بخطوة قبل كتابة الكود.
- المفاجأة: نجحت هذه الطريقة بشكل رائع مع النماذج "المُدربة على التفكير" (التي تم تدريبها خصيصاً للتفكير بعمق)، مما عزز درجاتها.
- الجانب السلبي: بالنسبة لمعظم النماذج الأخرى، جعلها التفكير بصوت عالٍ أسوأ. الأمر يشبه طلب من طالب أن يشرح كل خطوة من خطوات اللغز، فينشغل الطالب بالحديث وينسى الحل.
- طريقة "افعلها فقط" (Zero-Shot): مجرد طرح السؤال دون أي أمثلة. كانت هذه الطريقة الأفضل للنماذج الأكثر ذكاءً على الإطلاق (مثل GPT-5.5)، الذين لم يحتاجوا إلى مساعدة.
4. أين واجهوا الصعوبات؟
كان طلاب الذكاء الاصطناعي جيدين في بعض الأشياء وسيئين جداً في أشياء أخرى:
- نقطة القوة: كانوا بارعين في استرجاع الخوارزميات المعروفة. إذا كان اللغز يطلب: "اكتب الكود الخاص بخوارزمية سايمون"، فكانوا ينجحون في ذلك بنسبة 82% من المرات. إنه يشبه حفظ وصفة وطبخها بإتقان.
- نقطة الضعف: عانوا من ترميز المشكلات (Problem Encoding). إذا قال اللغز: "خذ هذه المشكلة الواقعية الفوضوية (مثل لغز منطقي) وحولها إلى وصفة كمية"، فقد فشلوا كثيراً (نسبة النجاح 34% فقط). إنه يشبه كون الشخص بارعاً في اتباع الوصفة لكنه سيء جداً في ابتكار طبق جديد من الصفر.
- فخ "القياس" (Measurement): واجهوا أيضاً صعوبة في المهام التي تتضمن "القياس" (التحقق من نتيجة الحالة الكمية). يبدو أن هذا يمثل نقطة ضعف محددة لنماذج الذكاء الاصطناعي الحالية.
5. الحكم النهائي
- الذكاء الاصطناعي يتحسن ولكنه ليس مثالياً: يمكن لأفضل ذكاء اصطناعي حل حوالي 83% من هذه الألغاز الكمية. هذا أمر مثير للإعجاب لموضوع صعب كهذا، لكنه ليس مثالياً بعد.
- مشكلة "الترجمة": الذكاء الاصطناعي أفضل في نسخ الأنماط المعروفة بدلاً من ترجمة مشكلة جديدة ومعقدة إلى كود كمي.
- ليس هناك مقاس واحد يناسب الجميع: لا ينبغي استخدام نفس "تلميح الدراسة" (Prompt) لكل ذكاء اصطناعي. فبعضهم يحتاج إلى أمثلة، وبعضهم يحتاج للتفكير بصوت عالٍ، وبعضهم يفضل تركه وشأنه.
باخت:// وجد المؤلفون أنهم بنوا "اختبار قيادة كمي" معياري في اللغة الأكثر شيوعاً. ووجدوا أنه بينما يجيد الذكاء الاصطناعي القيادة على الطرق المعروفة (الخوارزميات القياسية)، فإنه لا يزال يكافح للتنقل عندما تكون الخريطة مفقودة (حل المشكلات الجديدة). نماذج الذكاء الاصطناعي "النخبة" هي حالياً أفضل السائقين، لكن الفجوة بينها وبين النماذج "المفتوحة" كبيرة جداً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.