LEAF: LUT-aware Efficient Attention on FPGAs
تقدم الورقة البحثية LEAF، وهو أول نموذج محول (transformer) بمقياس النانو ثانية ومعتمد على جداول البحث (LUT-aware) لشرائح FPGA، والذي يحقق زمن انتقال فائق الانخفاض عبر تحويل آليات الانتباه إلى طبقات أصلية لـ FPGA، مما يؤدي إلى تحسين الدقة وكفاءة الموارد بشكل كبير للتطبيقات في الوقت الفعلي مثل تحديد نوع النفاثات (jet tagging) في CERN.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في قلب أوروبا، يصدم مصادم الهادرونات الكبير الجسيمات ببعضها البعض بسرعة تقارب سرعة الضوء، مما يولد سيلاً من البيانات هائلاً لدرجة أنه لا يمكن حفظه بالكامل. في كل ثانية، تتدفق مئات التيرابايتات من المعلومات من نقاط التصادم، لكن الآلات التي تسجل هذه الأحداث لا تملك سوى قدر ضئيل جداً من الذاكرة للاحتفاظ بأي شيء. ولإدارة هذا الفيضان، يعتمد العلماء على نظام تصفية مكون من مرحلتين. المرحلة الأولى هي "المُشغّل العتادي" (hardware trigger)، وهو عبم رقاقة حاسوبية متخصصة يجب أن تقرر في جزء من الميكروثانية ما إذا كان التصادم مثيراً للاهتمام بما يكفي للاحتفاظ به أو إذا كان ينبغي التخلص منه للأبد. إذا اتخذت الرقاقة قراراً خاطئاً، فقد تضيع إشارة نادرة من الكون المبكر، أو قد يهدر النظام مساحة ثمينة على ضجيج غير مهم. لعقود من الزمن، استخدمت هذه الرقائق قواعد بسيطة وسريعة لاتخاذ القرارات، لكن الفيزيائيين أرادوا منذ فترة طويلة استخدام ذكاء اصطناعي أكثر تطوراً لرصد الأنماط الدقيقة التي تغفل عنها القواعد البسيطة. وقد تمثل التحدي في أن نماذج الذكاء الاصطناعي الأكثر قوة كانت كبيرة جداً وبطيئة جداً بحيث لا يمكن استيعابها في الرقائق الصغيرة التي تشغل المُشغّل، مما خلق عنق زجاجة بين الرغبة في كشف أذكى والواقع المتمثل في محدودية العتاد.
قام فريق من الباحثين الآن ببناء نوع جديد من طبقات الذكاء الاصطناعي المصممة خصيصاً لحل هذه المشكلة، مما يسمح للنماذج المعقدة بالعمل على هذه الرقائق العتادية بسرعة وكفاءة غير مسبوقتين. وقد أطلقوا على ابتكارهم اسم LEAF، وهو اختصار لـ "الاهتمام الفعال المدرك لجداول البحث (LUT) على مصفوفات البوابات المنطقية القابلة للبرمجة (FPGAs)". ويكمن جوهر ابتكارهم في طريقة تغير كيفية تفكير النموذج في حساباته الخاصة. فبدلاً من تنفيذ كل خطوة رياضية عن طريق ضرب الأرقام معاً بالطريقة التقليدية، يتعلم النظام الجديد استبدال العديد من هذه الخطوات بجداول بحث جاهزة. تخيل قاموساً ضخماً حيث تكون الإجابة على سؤال معين مكتوبة وجاهزة للقراءة فوراً، بدلاً من حسابها من الصفر في كل مرة. ومن خلال تدريب النموذج على التعرف على الأجزاء من عمله التي يمكن تحويلها إلى عمليات بحث فورية هذه، أنشأ الباحثون نظاماً يتميز بالسرعة الفائقة والصغر المفاجئ.
اختبر الباحثون هذا النهج الجديد في مهمة تُعرف باسم "تحديد نوع النفاثات" (jet tagging)، والتي تتضمن تحديد نوع الجسيم الذي تسبب في رذاذ من الحطام بعد التصادم. وتعد هذه خطوة حاسمة في نظام المُشغّل لأن التمييز بين جسيم نادر ومثير للاهتمام وبين الخلفية الساحقة من الجسيمات الشائعة أمر ضروري لاكتشاف فيزياء جديدة. لقد دربوا نموذجهم على النظر في تسلسل من الجسيمات، وقياس زخمها وموقعها، ثم تصنيف الرذاذ إلى واحدة من خمس فئات. وعندما قارنوا نموذج LEAF الجديد بمحاولات سابقة بلغت أحدث مستويات الكفاءة، كانت النتائج مذهلة. ففي اختبار قياسي مع 32 جسيماً مدخلاً، حقق نموذجهم دقة أعلى من أي محاولة سابقة مع استخدام أقل بنحو ثلاثة أضعاف من اللبنات الأساسية للرقاقة، والمعروفة بجداول البحث (lookup tables). وفي النسخة الأكثر كفاءة من تصميمهم، والتي عالجت 64 جسيماً، وصل النموذج إلى دقة تصنيف بلغت 80.4 بالمائة باستخدام 28,000 جدول بحث فقط واتخاذ القرار في غضون 35 نانو ثانية فقط.
إن ما يجعل هذا الإنجاز مهماً بشكل خاص هو كيفية تعامل الباحثين مع الجزء الأكثر صعوبة في نموذج الذكاء الاصطناعي، وهو "آلية الاهتمام" (attention mechanism). هذه الآلية هي ما يسمح للنموذج بوزن أهمية الجسيمات المختلفة بالنسبة لبعضها البعض، ولكن من الصعب جداً تنفيذها على العتاد لأنها تتطلب ضرب قيمتين متغيرتين معاً، وهي عملية لا تتناسب بسلاسة مع جدول البحث. وقد وجد الفريق طريقة للالتفاف على ذلك من خلال تحويل أجزاء النموذج التي تستخدم أرقاماً ثابتة وغير متغيرة إلى جداول بحث، بينما تُترك الأجزاء المتغيرة في شكلها الحسابي القياسي. سمح هذا النهج الهجين بتدريب النظام بأكمله معاً، مما يوازن تلقائياً بين الحاجة إلى الدقة والقيود الصارمة للعتاد. والنتيجة هي نموذج لا يعمل بشكل أسرع فحسب، بل يعمل بذكاء أكبر ضمن القيود الضيقة للرقاقة.
قام الفريق بدمج طبقاتهم الجديدة في أداة برمجية مفتوحة المصدر، مما جعل هذه التكنولوجيا متاحة للعلماء الآخرين لاستخدامها في تطبيقاتهم الخاصة. وقد أثبتوا أن طريقتهم لا تعمل فقط مع النماذج القياسية، ولكن أيضاً مع نسخة مبسطة تسمى "لينفورمر" (linformer)، وهي مصممة لتكون أكثر كفاءة. وفي اختباراتهم، حققت نسخة "لينفورمر" مع 64 جسيماً مدخلاً دقة بلغت 80.4 بالمائة عند 28,000 جدول بحث و35 نانو ثانية، متفوقة على الطرق السابقة التي تطلبت موارد أكثر بكثير لتحقيق دقة أقل. وقد أظهر الباحثون أنه من خلال إعادة تصميم كيفية تفاعل النموذج مع العتاد بعناية، استطاعوا دفع حدود الممكن، ونقل الذكاء الاصطناعي المعقد من مجال الإمكان النظري إلى الواقع العملي لفيزياء الجسيمات في الوقت الفعلي. ويشير هذا العمل إلى أن أنظمة المُشغلات المستقبلية يمكن أن تصبح أكثر حساسية، مما قد يكشف عن أحداث نادرة كانت مخفية سابقاً بسبب قيود العتاد الأقدم والأقل كفاءة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.