PTXBench: Benchmark and Adapt LLMs for GPU Kernel Optimization with Architecture-specific PTX

تعمل وحدة معالجة الرسومات، أو الـ GPU، داخل الكمبيوتر الحديث كمحرك قوي مصمم للتعامل مع كميات هائلة من البيانات في وقت واحد. ولتحقيق أقصى استفادة من هذا المحرك، يكتب مطورو البرمجيات تعليمات متخصصة تخبر الأجهزة بدقة كيفية نقل البيانات وإجراء الحسابات. تُكتب هذه التعليمات بلغة منخفضة المستوى تسمى PTX، والتي تمنح المبرمج تحكماً مباشراً في الآليات الداخلية للآلة. وبينما توجد أدوات عالية المستوى لتسهيل هذه العملية، إلا أنها تفشل أحياناً في استغلال الميزات الفريدة لأحدث أجيال الأجهزة. ومع تطور هذه الآلات بسرعة، يصبح الحفاظ على ضبط البرمجيات بشكل مثالي لتناسب قدراتها المحددة تحدياً صعباً. وهنا يطرح السؤال نفسه: هل يمكن للذكاء الاصطناي، وتحديداً النماذج اللغوية الكبيرة، أن يتعلم كتابة هذه التعليمات الدقيقة ومنخفضة المستوى بمفرده، أم أنه لا يزال يعتمد على طرق قديمة وعامة تترك الأداء دون استغلال كامل؟

لقد وضع فريق من الباحثين هدفاً للإجابة على ذلك من خلال إنشاء ميدان اختبار جديد يسمى PTXBench. أرادوا معرفة ما إذا كانت هذه النماذج الذكية قادرة ليس فقط على كتابة كود يعمل، بل وأيضاً كود يستخدم بنشاط الميزات المتقدمة المحددة لأحدث وحدات معالجة الرسومات. ركز الباحثون على اثنين من أقوى بطاقات الرسومات المتاحة، وهما H100 وB200، واختبروا النماذج في مهام تتضمن عمليات رياضية معقدة تُستخدم في الذكاء الاصطناعي، مثل ضرب المصفوفات وآليات الانتباه (attention mechanisms). كان الهدف هو قياس ثلاثة أشياء: ما إذا كان الكود يعمل دون أخطاء، وما إذا كان قد حفز بالفعل تعليمات الأجهزة المحددة التي طلبها الباحثون، وما إذا كان يعمل بشكل أسرع من أفضل مكتبات البرمجيات الموجودة.

كشفت النتائج عن فجوة كبيرة بين ما يمكن للنماذج القيام به وما هو مطلوب لتحقيق الأداء العالي. فبينما نجحت نماذج الذكاء الاصطناعي غالباً في كتابة كود يعمل بشكل صحيح للمهام البسيطة، إلا أنها واجهت صعوبة كبيرة في العمليات الأكثر تعقيداً، وخاصة تلك المتعلقة بالمرور العكسي (backward pass) لآليات الانتباه، وهي عمليات حاسمة لتدريب أنظمة الذكاء الاصطناي. وحتى عندما تمكنت النماذج من كتابة كود ينفذ تعليمات الأجهزة المطلوبة، نادراً ما طابق ذلك الكود سرعة المكتبات الاحترافية الرائدة. وفي كثير من الحالات، كان الكود الناتج عن الذكاء الاصطناعي أبطأ، مما يشير إلى أن مجرد جعل التعليمات تعمل لم يكن كافياً لتحقيق التحسين الأمثل الحقيقي. ووجدت الدراسة أن النماذج غالباً ما تعود إلى أنماط برمجية عامة بدلاً من الاستففاد من الميزات الفريدة والخاصة بالبنية التحتية للشرائح الجديدة، حتى عندما تم وصف تلك الميزات لها صراحةً.

ولفهم كيفية تحسين هذه النماذج، أجرى الباحثون تجربة منضبطة حيث قاموا بتعليم نموذج ذكاء اصطناعي محدد باستخدام طريقة تسمى الضبط الدقيق الخاضع للإشراف (supervised fine-tuning). لقد عرضوا على النموذج أمثلة لأخطائه، جنباً إلى جنب مع نسخ مصححة من الكود وشروحات حول سبب نجاح هذه التصحيحات. ساعد هذا النهج، الذي أطلقوا عليه اسم Fixit، النموذج على التحسن في عدة مهام، لا سيما في توليد كود صحيح وظيفياً. ومع ذلك، لم يكن التحسن موحداً؛ إذ ظل النموذج يعاني في تعميم مهاراته الجديدة على أحجام مختلفة من المشكلات أو تنويعات المهام التي لم يسبق له رؤيتها أثناء التدريب. واكتشف الباحثون أن جودة التصحيحات وتوازن بيانات التدريب كانت لا تقل أهمية عن كمية البيانات نفسها. فقد كان النموذج المدرب على مجموعة متنوعة من المشكلات يؤدي بشكل أفضل من نموذج مدرب على مجموعة أكبر ولكن أقل تنوعاً، مما يشير إلى أن نوع تجربة التعلم كان أكثر أهمية من حجمها.

كما سلطت الدراسة الضوء على أهمية تزويد الذكاء الاصطناي بالسياق المناسب. فعندما أعطى الباحثون النماذج معلومات مفصلة حول القدرات المحددة للأجهزة، كانت النماذج أكثر عرضة لاستخدام التعليمات المطلوبة. وبدون هذه المعرفة المحددة، نادراً ما يستخدم النموذج لغة PTX المطلوبة. وهذا يشير إلى أنه بينما يمكن للذكاء الاصطناي تعلم البرمجة بهذا المستوى المنخفض، فإنه يتطلب توجيهاً دقيقاً وأمثلة عالية الجودة للقيام بذلك بفعالية. وخلص الباحثون إلى أنه على الرغم من أن نماذج الذكاء الاصطناي الحالية تظهر إمكانات واعدة، إلا أنها ليست جاهزة بعد لاستبدال المهندسين البشر الخبراء في تحسين الكود لأحدث الأجهزة. إن المسار المستقبلي يتطلب بيانات تدريب أفضل، وتجارب تعلم أكثر توازناً، وفهماً أعمق لكيفية تعليم هذه النماذج التفكير في القيود المحددة لبنيات الحاسوب المتطورة.