A Methodology for Selecting and Ranking High-Performance GPU Configurations in Deep Learning Training

في عالم الذكاء الاصطناعي، غالبًا ما تأتي الاختراقات الأكثر وضوحًا من البرمجيات، ولكن المحرك الذي يدفعها هو الأجهزة (العتاد). لتعليم الكمبيوتر التعرف على قطة في صورة أو ترجمة جملة إلى لغة أخرى، يجب على المهندسين تدريب نماذج رياضية معقدة. عملية التدريب هذه متطلبة للغاية، حيث تتطلب من الكمبيوتر إجراء مليارات العمليات الحسابية في وقت قصير جدًا. وللتعامل مع عبء العمل هذا، يعتمد الباحثون على رقائق متخصصة تسمى وحدات معالجة الرسومات، أو GPUs، والتي صُممت لمعالجة مهام عديدة في وقت واحد. ومع ذلك، فإن مجرد إضافة المزيد من هذه الرقائق القوية لا يجعل المهمة أسرع دائمًا. فتمامًا كما يمكن لفريق كبير من العمال أن يبطئ مشروعًا إذا كان المكتب صغيرًا جدًا أو إذا كانت الأدوات تُشارك بشكل سيئ، فإن إضافة المزيد من وحدات معالجة الرسومات يمكن أن تخلق أحيانًا اختناقات حيث تقضي الرقائق وقتًا في انتظار البيانات أكثر مما تقضيه في العمل الفعلي. ويتمثل التحدي الذي يواجه العلماء والمهندسين في إيجاد النقطة المثالية التي تُستخدم فيها الأجهزة بكفاءة، مع موازنة السرعة مع تكلفة وتعقيد النظام.

لقد طور فريق من الباحثين من جامعة جزر البليار طريقة جديدة لحل هذا اللغز. فقد ابتكروا طريقة للبحث في مختلف إعدادات الكمبيوتر المستخدمة لتدريب نموذج مشهور للتعرف على الصور يُعرف باسم ResNet-50. وبدلاً من مجرد النظر في أي الأنظمة أنهى المهمة بشكل أسرع، أرادوا فهم أي الأنظمة كانت الأكثر كفاءة. لقد عاملوا أداء هذه الآلات كأنه منظر طبيعي، حيث بحثوا عن أنماط في كيفية تغير وقت التدريب والسرعة واستخدام الموارد مع زيادة عدد الرقائق. ومن خلال تجميع الأنظمة المتشابهة معًا ومقارنتها، اكتشفوا أن الإعدادات الأكثر قوة ليست دائمًا هي تلك التي تمتلك أكبر عدد من الرقائق.

بدأ الباحثون بجمع البيانات من معيار صناعي واسع الاستخدام يسمى MLPerf Training. تحتوي هذه المجموعة من البيانات على نتائج العديد من المنظمات التي تختبر أجهزتها على نفس مهمة التعرف على الصور. نظر الفريق في تفاصيل محددة لكل نظام، مثل نوع رقائق الرسومات المستخدمة، وعددها المثبت، والوقت الذي استغرقه التدريب، وعدد الصور التي يمكن للنظام معالجتها في الثانية الواحدة. ثم استخدموا تقنية حاسوبية لقياس أي من هذه التفاصيل كان أكثر أهمية. ومن خلال تحليل البيانات المتاحة، حددوا مجموعة من المتغيرات التي كان لها تأثير كبير على أداء النظام وكفاءته، مع التركيز على الدوافع الرئيسية لقابلية التوسع التي يمكن قياسها. ووجدوا أن العلاقة بين عدد الرقائق والسرعة المكتسبة لم تكن خطًا مستقيمًا. ففي عالم مثالي، يؤدي مضاعفة عدد الرقائق إلى تقليل وقت التدريب إلى النصف. وفي الواقع، لاحظ الباحثون أنه مع نمو الأنظمة لتصبح أكبر، بدأت السرعة الإضافية المكتسبة من كل شريحة جديدة في التضاؤل.

ولفهم هذه البيانات المعقدة، قام الباحثون بتجميع إعدادات الكمبيوتر المختلفة إلى خمس فئات متميزة بناءً على أدائها. ووجدوا أن مجموعة واحدة محددة برزت كالأكثر فعالية؛ حيث استخدمت هذه الأنظمة عددًا متوسطًا من أحدث أجيال رقائق الرسومات، عادة ما يكون بين أربع وست عشرة وحدة، مقترنة بمعالجات مركزية قوية. حققت هذه التكوينات توازنًا ملحوظًا: فقد قامت بتدريب النموذج بسرعة كبيرة مع استخدام مواردها بكفاءة عالية. وفي المقابل، فإن الأنظمة ذات العدد الأكبر من الرقائق، والتي تستخدم بعضها آلاف الوحدات، أنهت المهمة في أقصر وقت مطلق ولكنها كانت أقل كفاءة بكثير. في هذه الإعدادات الضخمة، لم تكن الرقائق تعمل بأقصى طاقتها لأنها كانت تنتظر البيانات أو تنتظر بعضها البعض، مما يعني أن جزءًا كبيرًا من الأجهزة باهظة الثمن كان يقبع في حالة خمول.

تشير الدراسة إلى أن أفضل نهج لتدريب نماذج الذكاء الاصطناعي ليس مجرد إلقاء المزيد من الأجهزة على المشكلة. بدلاً من ذلك، فإن الأنظمة الأكثر فعالية هي تلك التي تعمل فيها المكونات المختلفة في تناغم. وجد الباحثون أن الإعدادات المثالية تستخدم اتصالات عالية السرعة بين الرقائق ومعالجات قوية لتزويدها بالبيانات دون تأخير، مما سمح لرقائق الرسومات بالبقاء مشغولة ومنتجة. وتشير النتائج إلى أن النظام الأصغر والأكثر ضبطًا يمكنه غالبًا أن يتفوق على نظام ضخم وغير متوازن. وبالنسبة للمؤسسات التي تبني هذه الأنظمة، فإن هذا يعني أن الاستثمار في عدد مختار بعناية من الرقائق رفيعة المستوى وضمان توصيلها بشكل صحيح قد يكون خيارًا أذكى من شراء أكبر تجمع ممكن من الأجهزة. يوفر هذا البحث دليلًا واضحًا لاختيار الأدوات المناسبة، موضحًا أن الكفاءة والأداء يتحققان بشكل أفضل من خلال التوازن وليس من خلال الحجم المجرد.