AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization
إن AccelOpt هو نظام وكيل لغوي كبير (LLM) ذاتي التحسين يعمل على تحسين نوى مسرعات الذكاء الاصطناحي ذاتياً من خلال الاستفادة من ذاكرة قائمة على الخبرة، محققاً مكاسب كبيرة في معدل الإنتاجية على أجهزة AWS Trainium مع مضاهاة أداء النماذج الاحتكارية باهظة الثمن بجزء ضئيل من التكلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك حاسوباً فائق القدرة وجديداً كلياً (مثل جهاز Trainium من أمازون). هذا الحاسوب مُصمم لحل مشكلات الذكاء الاصطناي الضخمة، مثل تدريب الجيل القادم من روبوتات الدردشة. لكن هناك عقبة: هذا الحاسوب يتحدث لغة محددة وصعبة للغاية تسمى "واجهة نواة العصبون" (Neuron Kernel Interface - NKI).
لجعل هذا الحاسوب يعمل بسرعة، تحتاج إلى كتابة تعليمات صغيرة ومنخفضة المستوى تسمى "النواة" (Kernels). فكر في هذه النواة على أنها "الوصفات" التي تخبر الحاسوب بكيفية طهي البيانات. إذا كانت الوصفة سيئة، سيحرق الحاسوب الطعام (مما يهدر الوقت والمال). أما إذا كانت الوصفة مثالية، فسيطهي وليمة في ثوانٍ معدودة.
المشكلة:
كتابة هذه الوصفات المثالية أمر صعب للغاية. عادة ما يتطلب الأمر فريقاً من الخبراء النخبة الذين قضوا سنوات في دراسة المخططات الهندسية للحاسوب. ولكن بالنسبة لهذه الحواسيب الجديدة، فإن المخططات لا تزال جديدة، والخبراء نادرون، و"الوصفات" التي نملكها حالياً غالباً ما تكون بطيئة وغير فعالة. الأمر يشبه محاولة قيادة سيارة فورمولا 1 باستخدام دليل تشغيل مخصص لدراجة هوائية.
الحل: AccelOpt
قام مؤلفو هذه الورقة البحثية ببناء نظام يسمى AccelOpt. فبدلاً من توظيف خبير بشري لكتابة كل وصفة، قاموا ببناء وكيل ذكاء اصطناعي ذاتي التحسين يتعلم كيفية كتابة هذه الوصفات بمفرده.
إليك كيف يعمل AccelOpt، باستخدام تشبيه بسيط:
1. فريق وكلاء الذكاء الاصطناعي
ليس AccelOpt مجرد روبوت واحد؛ بل هو فريق صغير مكون من ثلاثة متخصصين في الذكاء الاصطناعي يعملون معاً:
- المخطط (The Planner): ينظر هذا الوكيل إلى وصفة بطيئة ويقول: "مهلاً، أرى أننا نذهب ونعود إلى الثلاجة كثيراً. لننقل الثلاجة لتكون أقرب". إنه يضع استراتيجية لإصلاح الكود.
- المنفذ (The Executor): هذا الوكيل يحاول فعلياً إعادة كتابة الكود بناءً على استراتيجية المخطط. إنه العامل العملي الذي ينفذ المهام.
- الملخص (The Summarizer): هذا الوكيل هو المعلم. بعد أن يجرب المنفذ نسخة جديدة، ينظر الملخص إلى النسخة "قبل" و"بعد". إذا كانت النسخة الجديدة أسرع، يدون الملخص ملاحظة: "نقل الثلاجة لتكون أقرب وفر 5 دقائق. تذكر هذه الحيلة!"
2. "ذاكرة التحسين" (الدماغ)
هذا هو السر الحقيقي. معظم أنظمة الذكاء الاصطناعي تحاول حل المشكلة من الصفر في كل مرة. لكن AccelOpt مختلف؛ فهو يحتفظ بـ دفتر ملاحظات (ذاكرة التحسين).
- في كل مرة يجد فيها الفريق طريقة لجعل "النواة" أسرع، يدونونها في الدفتر.
- وفي كل مرة يجربون شيئاً يجعله أبطأ، يدونون ذلك أيضاً (حتى لا يكرروا الخطأ).
- في الجولة التالية من العمل، يقرأ الفريق دفتر الملاحظات أولاً. هم لا يبدأون من الصفر؛ بل يبدأون بالدروس التي تعلموها بالأمس.
3. "البحث الشعاعي" (استكشاف مسارات متعددة)
تخيل أنك تحاول إيجاد أسرع طريق عبر متاهة.
- الطريقة القديمة: تختار مساراً واحداً، تسلكه، وإذا كان طريقاً مسدوداً، تعود وتجرب مساراً آخر.
- طريقة AccelOpt (البحث الشعاعي - Beam Search): ترسل 6 مستكشفين مختلفين في نفس الوقت. كل واحد منهم يجرب منعطفاً مختلفاً قليلاً. تحتفظ بأفضل 6 مسارات وترسلهم للجولة التالية، مستبعدة المسارات المسدودة. بهذه الطوام، تستكشف المتاهة بشكل أسرع وتجد المخرج (الكود الأسرع) دون أن تتعثر.
النتائج: لماذا هذا مهم؟
اختبر الباحثون AccelOpt على مهام ذكاء اصطناعي حقيقية باستخدام رقائق Trainium من أمازون.
- قبل AccelOpt: كان الذكاء الاصطناعي يستخدم فقط حوالي 45-49% من سرعة الحاسوب المحتملة. كان الأمر يشبه قيادة سيارة فيراري في منطقة مدرسية.
- بعد AccelOpt: رفع الذكاء الاصطناعي الأداء إلى 59-61% من سرعة الذروة.
- التكلفة: عادةً، للحصول على هذا النوع من التحسن، ستحتاج إلى توظيف خبير بشري أو استخدام نموذج ذكاء اصطناعي باهظ الثمن ومملوك لجهة معينة (مثل "Claude Sonnet 4" المذكور في الورقة). حقق AccelOpt نفس النتائج باستخدام نماذج مفتوحة المصدر (مجانية أو رخيصة) وكان أقل تكلفة بمقدار 26 مرة من البدائل الغالية.
الصورة الكبيرة
فكر في AccelOpt كأنه ميكانيكي يعلّم نفسه بنفسه.
في الماضي، إذا اشتريت محركاً جديداً ذا شكل غريب، كان عليك الانتظار حتى يكتشف ميكانيكي بشري ماهر كيفية ضبطه. مع Accel0pt، يمكنك ببساطة تسليم المحرك للروبوت. يحاول الروبوت ملايين التعديلات، ويتذكر ما نجح، وينسى ما لم ينجح، وفي النهاية يضبط المحرك ليعمل بأقصى أداء—كل ذلك دون أن يلمس إنسان أي مفتاح ربط.
هذه خطوة كبيرة للأمام لأننا بينما يكبر حجم الذكاء الاصطناعي ونبني رقائق مخصصة أكثر، لن يكون لدينا عدد كافٍ من الخبراء البشر لضبط كل واحدة منها. نحن بحاجة إلى أنظمة مثل AccelOpt يمكنها التعلم والتحسن من تلقاء نفسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.