A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family
تقدم هذه الورقة مدققاً صارماً من فئة العقود وخالياً من التسامح، يكشف عن معدل الفشل المرتفع لنواة وحدات معالجة الرسومات (GPU kernels) الحالية المولدة بواسطة النماذج اللغوية الكبيرة (LLMs) عبر استبدال اختبارات الشكل الواحد الفضفاضة باثنتي عشرة بوابة عدائية، بينما يتحقق في الوقت ذاتما من تنفيذ خلفي أصيل لـ Blackwell لعائلة التكرار الخطي المبوّب (gated-linear-recurrence).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم ببناء روبوت طباخ ليطهو ملايين الوجبات في الثانية الواحدة. ولجعله سريعاً، تطلب من ذكاء اصطناعي فائق الذكاء كتابة تعليمات محددة (تسمى "النواة" أو "kernel") لعقل الروبوت عالي السرعة (وحدة معالجة الرسومات - GPU). الهدف هو جعل الروبوت يطهو بشكل أسرع مما يمكن لأي إنسان فعله. لكن هناك عقبة: إذا أحرق الروبوت الخبز أو قدم لك طبقاً من الحجارة بدلاً من الحساء، فلا يهم مدى سرعته. في عالم الذكاء الاصطناعي، هذه "الوصفات" هي المحرك الذي يدعم كل شيء، من برامج الدردشة الآلية إلى التشخيصات الطبية. لسنوات، كان العلماء يتحققون مما إذا كانت هذه الوصفات التي كتبها الذكاء الاصطناعي تعمل عبر تذوق بضع لقمات عشوائية؛ فإذا كان المذاق "قريباً بما يكفي" من الأصل، يعلنون نجاح الوصفة. ولكن ماذا لو كان الروبوت يقدم لك سراً سماً يبدو للوهلة الأولى كأنه حساء؟ ماذا لو عملت الوصفة بشكل مثالي لوعاء صغير، لكنها انفجرت عندما تحاول تقديم مأدبة كاملة؟ تسأل هذه الورقة البحثية سؤالاً مخيفاً: هل نحتفل بوصفات "سريعة" هي في الواقع معيبة، فقط لأن اختبارات التذوق لدينا كانت بسيطة للغاية لدرجة عدم ملاحظة ذلك؟
قرر مؤلفو هذه الورقة بناء مفتش أكثر صرامة، بمستوى "معايير العقود"، لفحص هذه الوصفات التي كتبها الذكاء الاصطناعي. فبدلاً من مجرد تذوق بضع لقمات، أنشأوا مجموعة من اثني عشر اختباراً مختلفاً—مثل التحقق مما إذا كان الروبوت يحرق الطعام، أو إذا كان يقدم أحجاماً خاطئة، أو إذا كان يستبدل سراً مكوناً صحياً بآخر سام. أجروا هذا المفتش الصارم على 2,638 وصفة أعلن نظام شهير بالفعل أنها "مثالية". وكانت النتيجة صادمة: 62.1% من تلك الوصفات "المثالية" كانت تحتوي في الواقع على خلل جوهري واحد على الأقل، و39.5% منها كانت معيبة لدرجة أنه لا يمكن لأي قدر من الرياضيات القائمة على مبدأ "القرب من الأصل" أن يبررها. لم تكن هذه مجرد أخطاء بسيطة في التتبيل؛ بل كانت كوارث صامتة، مثل روبوت يحول إشارة تحذير (مثل "NaN" أو اللانهاية) إلى رقم طبيعي، مما يخفي الانهيار حتى فوات الأوان.
ولإثبات أنهم لم يكونوا مجرد منحازين أو يستخدمون مسطرة مكسورة، فعل المؤلفون شيئاً ذكياً. لقد كتبوا وصفة متطورة للغاية خاصة بنوع معين من نماذج الذكاء الاصطناعي (تسمى عائلة Gated-Linear-Recurrence) من الصفر. كانت هذه مجموعة تعليمات جديدة مكتوبة يدوياً لأحدث أجيال الرقائق الحاسوبية (Blackwell). اختبروا وصفتهم الخاصة مقابل حاسبة ذات دقة مزدوجة (double-precision) وأثبتوا صحتها. ثم مرروا وصفتهم عبر المفتش الصارم، فاجتازت كل الاختبارات. كان هذا هو "التحكم الإيجابي" الخاص بهم: لو كان المفتش مجرد أداة مصممة لإفشال الجميع، لكان قد أفشل وصفتهم المثالية أيضاً. وبما أنها نجحت، فإن المفتش موثوق به. إن حقيقة اكتشافه لأخطائهم الصغيرة أثناء التطوير (مثل نقص فحص السلامة) أثبتت أنه قاضٍ عادل وليس متحيزاً.
كما تناولت الورقة مشكلة محددة ومعقدة تتعلق برقائق Blackwell الجديدة. تمتلك هذه الرقائق مساحة ذاكرة صغيرة وسريعة جداً (ذاكرة التنسور - Tensor Memory)، وهي محدودة للغاية. حاولت "الوصفة" الرسمية لهذه الرقائق استخدام الكثير من هذه المساحة، مما تسبب في تجمد الكمبيوتر أو انهياره. لكن وصفة المؤلفين الجديدة وجدت كيفية إدارة هذه المساحة بشكل مثالي، متجنبة الانهيار. ومع ذلك، فقد كانوا صادقين بشأن المقايضة: بينما كانت وصفتهم الجديدة آمنة وصحيحة، إلا أنها كانت أبطأ من المكتبات "السريعة" الموجودة. لم يدّعوا أنها الأسرع على الإطلاق؛ بل أثبتوا فقط أنها الأولى التي تكون أصلية (native) لهذه الشريحة وتعمل بشكل صحيح بالفعل.
في النهاية، تكشف الورقة عن "فجوة في الدقة". إن الطريقة الحالية لاختبار الكود المولد بواسطة الذكاء الاصطناعي تشبه التحقق مما إذا كان الجسر يصمد عبر قيادة سيارة واحدة فوقه لمرة واحدة فقط. أما هذا المفتش الجديد فهو يشبه إرسال شاحنة، ودبابة، وعاصفة عبر الجسر لترى مدى صموده حقاً. تشير النتائج إلى أن التقدم المُبلغ عنه في هذا المجال أضعف بكثير مما تبدو عليه الأرقام. لقد كانت 1,487 وصفة من "الأنوية المقبولة" معيبة في الواقع، بينما لم يكتشف الاختبار القياسي سوى 14 من الوصفات الجيدة التي رفضها المفتش الجديد. يجادل المؤلفون بأننا بحاجة إلى التوقف عن قبول مبدأ "القرب من الأصل" والبدء في المطالبة بـ "صحة معايير العقود"—عبر التحقق من أشياء مثل "هل يتعامل مع اللانهاية بشكل صحيح؟" و"هل يعطي نفس الإجابة في كل مرة؟"—لضمان أن أنظمة المستقبل تُبنى على أسس صلبة، وليس على أوهام السرعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.