Evaluating CUDA Tile for AI Workloads on Hopper and Blackwell GPUs
تقيم هذه الورقة تجريد "CUDA Tile" (CuTile) القائم على لغة بايثون والمطور من قبل NVIDIA عبر معالجات الرسوميات من طرازي Hopper وBlackwell، وتجد أنه في حين يوفر مكاسب كبيرة في الأداء وبساطة في الكود لأعباء عمل محددة مثل "fused attention" على أجهزة Blackwell عالية الأداء، إلا أنه يفتقر إلى إمكانية النقل عبر البنيات المختلفة والأداء المتسق الذي يتميز به Triton.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ محترف في مطعم راقٍ. لتقديم وجبة عالمية المستوى، لديك خياران: إما أن تقضي سنوات في إتقان فن تقطيع كل نوع من الخضروات يدوياً باستخدام سكين متخصص (وهذا يشبه كتابة كود CUDA المحسّن يدوياً)، أو تستخدم محضرة طعام عالية التقنية، تقوم بمعظم العمل بدلاً منك (وهذا هو أداة NVIDIA الجديدة، CuTile).
هذه الورقة البحثية هي بمثابة "اختبار تذوق مستقل" لمعرفة ما إذا كانت محضرة الطعام الجديدة هذه تستحق الضجة المثارة حولها بالفعل.
اللاعبون (أدوات المطبخ)
قارن الباحثون بين عدة طرق لـ "طهي" البيانات (تشغيل عمليات الذكاء الاصطناعي الرياضية) على أحدث رقائق NVIDIA فائقة القوة (رقائق Blackwell و Hopper):
- cuBLAS (الطاهي الماهر): خبير أسطوري مغلق المصدر. إنه سريع للغاية، لكن لا يمكنك إخباره بكيفية تغيير وصفته.
- Triton (مساعد الطاهي الموثوق): أداة شائعة جداً ومرنة. ليست بسرعة "الطاهي الماهر"، لكنها تعمل بشكل مثالي على أي موقد في المطبخ تقريباً.
- CuTile (الأداة عالية التقنية الجديدة): أداة NVIDIA الجديدة القائمة على لغة بايثون. تعدك بأن تتيح لك كتابة "الوصفات" في بضعة أسطر فقط بدلاً من المئات، مع الحفاظ على سرعة هائلة.
- WMMA (الطريقة اليدوية التقليدية): طريقة برمجة دقيقة للغاية، لكنها تتطلب قدراً هائلاً ومجهداً من العمل اليدوي.
النتائج: حكاية مطبخين
وجد الباحثون أن CuTile يتصرف كـ "نجم مدلل"؛ فأداؤه يعتمد كلياً على أي "موقد" (وحدة معالجة رسومية - GPU) تقوم بتوصيله به.
1. "المطبخ الخارق" (وحدة معالجة الرسوميات B200 لمراكز البيانات)
على موقد NVIDIA الاحترافي الأغلى والأكثر تطوراً، يظهر CuTile كالنجم المتألق.
- الفوز: بالنسبة لمهمة محددة تسمى "Attention" (وهي الطريقة التي تركز بها نماذج الذكاء الاصطناعي على المعلومات)، كان CuTile أسرع بمقدار 2.5 مرة من المعيار الصناعي الحالي (FlashAttention-2).
- السحر: حقق ذلك باستخدام 60 سطراً فقط من الكود، بينما كانت الطريقة القديمة تتطلب آلاف الأسطر. إنه يشبه أداة تنتج وجبة ذات 5 نجوم بضغطة زر واحدة.
2. "مطبخ المحترفين المنزلي" (وحدة معالجة الرسوميات RTX PRO 6000 لمحطات العمل)
على موقد محطات العمل الاحترافية الأصغر قليلاً، تعثر CuTile.
- الفشل: كان أبطأ بكثير من المنافسين.
- السبب: يعتقد الباحثون أن "العقل البرمجي" (المترجم - Compiler) داخل CuTile لم يتم تدريبه بالكامل بعد للتعامل مع هذا الموقد تحديداً. الأمر يشبه امتلاك فرن عالي التقنية يعرف كيف يطهو ببراعة في المطبخ الاحترافي، ولكنه يحرق الخبز في المطبخ المنزلي.
3. "المهام القياسية" (رياضيات المصفوفات GEMM)
بالنسبة للعمليات الرياضية الأساسية اليومية (GEMM)، يعد CuTile ترقية رائعة للعمال اليدويين. إذا كنت تستخدم سابقاً "الطريقة اليدوية التقليدية" (WMMA)، فإن CuTile أسرع بكثير ويتطلب جهداً أقل بكثير. ومع ذلك، إذا كان "الطاهي الماهر" (cuBLAS) متاحاً بالفعل، فإن CuTile ليس سريعاً بما يكفي لاستبداله بعد.
"ورقة الغش" (متى يجب أن تستخدمه؟)
تنتهي الورقة بدليل لمطوري الذكاء الاصطناعي، يشبه إلى حد كبير مخططاً انسيابياً لـ "أي أداة يجب أن تستخدم؟":
- استخدم CuTile إذا: كنت تعمل على أقوى رقائق مراكز البيانات (B200) وتريد إنشاء ميزات ذكاء اصطناعي مخصصة وفائقة السرعة بأقل مجهود ممكن.
- استخدم Triton إذا: كنت تريد أن يعمل الكود الخاص بك في كل مكان (على الرقائق القديمة والجديدة) دون الحاجة لإعادة كتابته في كل مرة تشتري فيها وحدة معالجة رسوميات جديدة.
- تمسك بـ cuBLAS إذا: كنت تحتاج فقط لإنجاز الرياضيات القياسية بأقصى سرعة ممكنة ولا تحتاج لتخصيص الوصفة.
الصورة الكبيرة
يخلص الباحثون إلى أننا نشهد تحولاً جذرياً في النموذج السائد. نحن ننتقل من عالم تحتاج فيه إلى أن تكون "راهباً في الرياضيات" تكتب آلاف الأسطر من الكود المعقد، إلى عالم يمكنك فيه "برمجة" أجهزة فائقة السرعة باستخدام تعليمات بسيطة وعالية المستوى. CuTile ليس مثالياً بعد، ولكن عصر "محضرة الطعام" في مجال الذكاء الاصطناعي قد بدأ رسمياً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.