LEAP: Lean Environment-Feedback via Adaptive Pruning for Code RL in GPU Kernel Generation

تخيل عالماً لا تكتفي فيه الحواسيب باتباع التعليمات فحسب، بل تتعلم فعلياً كتابة برمجياتها الخاصة، تماماً مثل طالب يتعلم البرمجة عن طريق التجربة والخطأ. هذا هو مجال التعلم التعزيزي (Reinforcement Learning - RL) في الذكاء الاصطناعي. في هذا الركن من العلم، يحاول نموذج الذكاء الاصطناعي حل مشكلة ما، ويحصل على "درجة" بناءً على نجاحه أو فشله، ويستخدم تلك التغذية الراجعة ليصبح أفضل في المرة القادمة. بالنسبة للمهام البسيطة، يكون الأمر سهلاً: يكتب الذكاء الاصطناعي سطراً من الكود، يتحقق مما إذا كان يعمل، ثم يمضي قدماً. ولكن عندما تصبح المهمة صعبة حقاً — مثل كتابة تعليمات معقدة لبطاقات الرسوميات القوية (المعروفة باسم نواة كودا - CUDA kernels) — تصبح العملية فوضوية. قد يفشل الذكاء الاصطناعي، يحصل على تلميح، يحاول مجدداً، يفشل مرة أخرى، ويستمر في الدوران في حلقة مفرغة. عملية "تصحيح الأخطاء متعددة الأدوار" هذه قوية، لكنها أيضاً بطيئة ومكلفة للغاية، كمن يحاول تعلم قيادة سيارة سباق عن طريق إعادة بناء المحرك في كل مرة يتوقف فيها المحرك عن العمل. السؤال الكبير الذي يطرحه الباحثون هو: كيف يمكننا تعليم نماذج الذكاء الاصطناعي هذه تصحيح الأخطاء في الأكواد المعقدة بكفاءة دون استهلاك كل طاقة الحاسوب ووقتنا؟

إليك LEAP (البيئة التكيفية لتقليم التغذية الراجعة عبر البيئات - Lean Environment-Feedback via Adaptive Pruning)، وهي طريقة جديدة مصممة لجعل عملية التعلم هذه أكثر ذكاءً وسرعة. فكر في جلسة تدريب الذكاء الاصطناعي كأنها فصل دراسي ضخم حيث يتعين على المعلم (النظام الحاسوبي) تقييم مئات المحاولات الطلابية. في الطريقة القديمة، كان المعلم يجبر كل طالب، من العبقري الذي حل المشكلة فوراً إلى ذاك الذي لم يستطع حتى البدء، على المرور بسلسلة طويلة ومرهقة من الإعادات والتصحيحات. هذا أضاع الكثير من الوقت على المشكلات السهلة، ومع ذلك لم يساعد في حل المشكلات الأكثر صعوبة بشكل كافٍ.

يغير LEAP قواعد اللعبة من خلال العمل كمعلم خارق الملاحظة يعرف تماماً متى يتوقف. فهو يستخدم خدعة ذكية تسمى التقليم المشروط بالصعوبة (Difficulty-Conditioned Pruning - DCP). تخيل المعلم وهو ينظر إلى المحاولة الأولى للطالب؛ إذا حل الطالب المشكلة فوراً، يقول المعلم: "عمل رائع! لا داعي لإعادة المحاولة؛ لننتقل إلى شيء أصعب". ولكن إذا كان الطالب يعاني، يقول المعلم: "حسناً، هذا صعب. لنأخذ نفساً عميقاً ونحاول إصلاح الأمر خطوة بخطوة". والأهم من ذلك، إذا كانت المشكلة صعبة جداً لدرجة أن الطالب يبدو يائساً، فإن المعلم ينهي الحلقة هناك أيضاً، مما يوفر الوقت من الدوران في حلقات مفرغة حول مهام مستحيلة. هذا "التقليم" يعني أن الكمبيوتر لا ينفق طاقته الغالية إلا على المشكلات التي تحتاج فعلياً إلى فرصة ثانية (أو ثالثة).

ولضمان تعلم الذكاء الاصطناعي الدروس الصحيحة خلال فرص المحاولة الثانية هذه، يقدم LEAP طريقة جديدة لتسجيل النقاط تسمى المكافأة القائمة على التصنيف (Rank-Based Reward). فبدلاً من إعطاء عدد ثابت من النقاط مقابل "محاولة جيدة"، ينظر النظام إلى كيفية مقارنة محاولات الذكاء الاصطناعي ببعضها البعض. إذا حل الذكاء الاصطناعي المشكلة في محاولة واحدة، فإنه يحصل على نجمة ذهبية كبيرة. وإذا حلها في محاولتين، فإنه يحصل على نجمة فضية، ولكن فقط إذا كان الحل في محاولة واحدة نادراً بالنسبة لتلك المشكلة تحديداً. أما إذا كانت المشكلة سهلة واستغرق الذكاء الاصطناعي محاولتين، فإنه يحصل على "وقت مستقطع" لأنه كان غير فعال. هذا النظام يعلم الذكاء الاصطناعي بشكل طبيعي أن يكون سريعاً في المهام السهلة ومثابراً في المهام الصعبة، دون أن يضطر الباحثون إلى تخمين "الأرقام السحرية" المثالية للتسجيل.

النتائج التي حققها هذا النهج واعدة. ففي الاختبارات المتعلقة بتوليد كود لبطاقات الرسوميات، تمكن LEAP من الوصول إلى نفس مستوى دقة الطرق الأخرى ولكنه فعل ذلك بسرعة أكبر بمقدار 1.93 مرة. لم يوفر الوقت فحسب، بل أصبح بالفعل أفضل في حل المشكلات من المحاولة الأولى مع الحفاظ على قدرته على إصلاح الأخطاء عندما تسوء الأمور. ومن خلال قطع الحلقات غير الضرورية والتركيز على الطاقة حيث تكمن الأهمية، يشير LEAP إلى مسار أكثر كفاءة لتعليم الذكاء الاصطناعي كيفية التعامل مع الأكواد المعقدة ومنخفضة المستوى التي تشغل تقنياتنا الحديثة.