KernelArc: A Multi-Agent Framework for GPU Kernel Optimization
تُعد KernelArc إطار عمل متعدد الوكلاء يعمل على تحسين نوى وحدات معالجة الرسومات (GPU kernels) ذاتياً من خلال وكلاء متخصصين في الاستراتيجيات يعملون بالتوازي ويتنسقون عبر ذاكرة مشتركة وحواجز حماية حتمية، مما حقق مراكز متقدمة في قائمة SOL-ExecBench لأعباء العمل المتنوعة على وحدات NVIDIA H100 وB200.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد الحواسيب الحديثة على رقائق متخصصة تسمى وحدات معالجة الرسومات، أو الـ GPUs، للتعامل مع الحسابات الهائلة المطلوبة بالذكاء الاصطناعي. هذه الرقائق قوية للغاية، لكنها أيضاً آلات معقدة تحتوي على أجزاء مختلفة يجب أن تعمل في تناغم تام. ولتحقيق أقصى استفادة منها، يتعين على المهندسين كتابة برامج صغيرة وعالية التخصص تسمى "kernels" (النوى)، والتي تخبر الرقاقة بدقة كيفية نقل البيانات وإجراء العمليات الحسابية. لسنوات طويلة، كان هذا العمل من نصيب الخبراء البشريين الذين يقضون ساعات لا تحصى في ضبط الكود، وموازنة استخدام الذاكرة، وتوقيت العمليات لاستخراج كل ذرة من السرعة. ومع ازدياد تعقيد هذه الرقائق، أصبح العمل اليدوي أكثر صعوبة، واتسعت الفجوة بين ما يمكن للأجهزة القيام به وما يحققه البرامج.
بدأ الباحثون في استخدام النماذج اللغوية الكبيرة — وهي برامج حاسوبية مدربة على كميات هائلة من النصوص — للمساعدة في كتابة وتحسين هذا الكود. يمكن لهذه النماذج اقتراح تغييرات، واختبارها، والتعلم من النتائج، مما يجعلها تعمل كمهندس آلي. ومع ذلك، غالباً ما يعلق الوكيل الآلي الواحد في مكان ما؛ فقد يجد حلاً جيداً ويستمر في صقله، متجاهلاً طرقاً أخرى أفضل تقع في اتجاه مختلف. الأمر يشبه متنزهاً وجد مساراً جميلاً لصعود جبل واستمر في المشي فيه، دون أن يدرك أن درباً آخر قريباً منه يؤدي إلى قمة أعلى بكثير. ولحل هذه المشكلة، طور فريق من الباحثين في IMEC نظاماً جديداً يسمى KernelArc، يستخدم مجموعة من هذه الوكلاء الآليين الذين يعملون معاً لاستكشاف مسارات عديدة في آن واحد.
يعمل نظام KernelArc عن طريق تخصيص استراتيجيات مختلفة لعدة وكلاء يعملون بالتوازي. فبدلاً من أن يحاول وكيل واحد حل المشكلة بمفرده، يركز كل وكيل في المجموعة على زاوية هجوم مختلفة، مثل تغيير طريقة تخزين البيانات، أو تعديل الدقة الرياضية المستخدمة، أو دمج عدة خطوات في خطوة واحدة. ولا يشارك هؤلاء الوكلاء عملية تفكيرهم الكاملة أو كل خطوة يتخذونها، لأن ذلك سيكون فوضوياً ومربكاً؛ وبدلاً من ذلك، يشاركون فقط استنتاجاتهم النهائية: ما الذي نجح وما الذي فشل. يقومون بكتابة هذه النتائج في مساحة ذاكرة مشتركة تعمل مثل لوحة الإعلانات. إذا اكتشف أحد الوكلاء حيلة تسرع عملية حسابية، فإنه ينشر النتيجة. ويمكن للوكلاء الآخرين قراءة هذا المنشور واستخدام تلك الرؤية لتوجيه عملهم الخاص، مما يساعدهم على تجنب الطرق المسدودة والبناء على النجاح.
ولضمان عدم إضاعة الوكلاء للوقت في كود معطل، يتضمن النظام "حكماً" آلياً صارماً. يقوم هذا الحكم بتشغيل كل اقتراح كود جديد عبر سلسلة من الاختبارات للتحقق من صحته ومدى سرعته. إذا فشل الاقتراح في الاختبار، يتم استبعاده فوراً. وإذا كان يعمل ولكنه ليس أسرع من النسخة الأفضل الحالية، فإنه يُحتفظ به كنسخة احتياطية ولكن لا يحل محل النسخة الرائدة. وفقط عندما تكون النسخة الجديدة صحيحة وأسرع، تصبح هي المعيار الجديد. تسمح هذه العملية لفريق الوكلاء باستكشاف مجموعة واسعة من الاحتمالات دون الضياع في تفاصيل كل محاولة بمفردها. كما يحتوي النظام على آلية سلامة تعمل إذا علق أحد الوكلاء في "هضبة"، حيث لا يمكن العثور على مزيد من التحسينات؛ وعند حدوث ذلك، يجبر النظام الوكيل على تجربة نهج مختلف تماماً، مما يضمن استمرار البحث في المضي قدماً.
اختبر الباحثون هذا النظام على اثنين من أكثر وحدات معالجة الرسومات تقدماً المتاحة حالياً، وهما NVIDIA H100 وB200. وقد ركزوا على مجموعة من المهام القياسية المستخدمة لقياس الأداء، والتي تشمل عمليات مثل ضرب المصفوفات، وآليات الانتباه (attention mechanisms) المستخدمة في النماذج اللغوية، وأشكالاً مختلفة من دمج البيانات. وفي اختبار محدد تضمن وكيلاً واحداً يعمل بمفرده مع دليل تفصيلي، تمكن النظام من الوصول إلى سرعة 766 تيرافلوب، وهي أسرع بنسبة 3.2 بالمائة من أفضل مكتبة موجودة لتلك المهمة المحددة. أظهر هذا أن وكيلاً واحداً يمكنه التعمق كثيراً في مشكلة معينة إذا أُعطي مساراً واضحاً. ومع ذلك، عندما انتقل الباحثون إلى نظام KernelArc متعدد الوكلاء لمعالجة مجموعة أوسع من المهام، كانت النتائج أكثر إثارة للإعجاب. فقد أنتج النظام تنفيذات مخصصة لعمليات معقدة مختلفة، بما في ذلك آليات انتباه متخصصة وطبقات مدمجة للنماذج اللغوية الكبيرة.
وفي لوحة صدارة عامة تصنف سرعة هذه العمليات عبر العديد من أشكال وأحجام البيانات، احتلت مشاركات KernelArc المركز الأول في عدة فئات. ففي مهمة واحدة تتعلق بالانتباه والجمع المتبقي (residual addition)، علق وكيل واحد عند أداء قدره 0.441، بينما تمكن نظام متعدد الوكلاء، من خلال مشاركة الرؤى واستكشاف اتجاهات مختلفة، من كسر هذا الحاجز والوصول إلى 0.481. وفي اختبار آخر يتعلق بمهمة انتباه معقدة، حقق النظام متعدد الوكلاء تسريعاً يقترب من 291 ضعفاً مقارنة بالتنفيذ المرجعي القياسي، وأكثر من 143 ضعفاً مقارنة بنموذج أساسي عالي التحسين. تشير هذه النتائج إلى أن وجود وكلاء متعددين يتشاركون نتائجهم يسمح للنظام بإيجاد حلول أفضل بشكل أسرع من وكيل واحد يعمل بمفرده، خاصة عندما تكون مساحة المشكلة واسعة ومتنوعة.
كما بحثت الدراسة في كيفية سلوك النظام عندما يتغير عدد الوكلاء وحجم الذاكرة المشتركة. ووجدوا أن منح الوكلاء ذاكرة مشتركة حيث يمكنهم نشر نجاحاتهم وإخفاقاتهم ساعدهم على الوصول إلى نتائج أقوى ضمن عدد محدد من المحاولات. وعندما كانت الذاكرة غير محدودة، قدم النظام أفضل أداء، حيث وصل إلى تسريع يزيد عن 290 ضعفاً مقارنة بنقطة البداية. يشير هذا إلى أن القدرة على التعلم من الخبرة الجماعية للمجموعة هي عامل رئيسي في النجاح. وأشار الباحثون إلى أن قيمة كل ميزة، مثل الذاكرة المشتركة أو تخصص الاستراتيجيات، تعتمد على المهمة المحددة ومرحلة البحث. فأحياناً يحتاج الوكلاء إلى الاستكشاف على نطاق واسع، وأحياناً أخرى يحتاجون إلى صقل حل معين.
لا يدعي هذا العمل أنه حل جميع مشكلات التحسين الحاسوبي، ولا يشير إلى أن المهندسين البشريين لم يعودوا مطلوبين. فالنتائج محددة بالمهام والأجهزة التي تم اختبارها، ولا يزال النظام يعتمد على إطار عمل من تصميم البشر لتوجيه الوكلاء. ومع ذلك، تظهر النتائج أن مجموعة منسقة من الوكلاء الآليين يمكنها استكشاف نطاق أوسع من الحلول مقارنة بوكيل واحد. ومن خلال مشاركة استنتاجاتهم الأكثر قيمة فقط، يمكن لهؤلاء الوكلاء تجنب تكرار الأخطاء والبناء على اكتشافات بعضهم البعض. يوفر هذا النهج طريقة واعدة للتعامل مع التعقيد المتزايد للحوسبة الحديثة، حيث تستمر الفجوة بين إمكانات الأجهزة وأداء البرامج في الاتساع. ويظهر النظام أنه مع التنسيق المناسب، يمكن للأدوات الآلية أن تساعد في إطلاق القوة الكاملة للرقائق التي تقود الجيل القادم من الذكاء الاصطناعي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.