Concurrent Scheduling of High-Level Parallel Programs on Multi-GPU Systems
تقدم هذه الورقة جدولة مخطط التعليمات ضمن بيئة تشغيل Celerity لنقل تحليل الذاكرة والاتصالات المعقد خارج المسار الحرج لبرامج SYCL على الأنظمة متعددة وحدات معالجة الرسومات، مما يتيح التنفيذ المتزامن وتخصيص الذاكرة الأمثل الذي يحقق توسعاً قوياً عبر ما يصل إلى 128 وحدة معالجة رسومات.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
لم تعد الحواسيب الفائقة الحديثة مجرد نسخ أسرع من الآلات التي كانت موجودة قبل بضعة عقود؛ بل هي مجموعات هائلة من آلاف المعالجات المتخصصة التي تعمل معاً. ولتحقيق أقصى استفادة من هذه الأنظمة الضخمة، يعتمد العلماء على برمجيات يمكنها تلقائياً تحديد أي جزء من الحساب يذهب إلى أي معالج وكيفية انتقال البيانات بينها. وهذه مهمة صعبة لأن البرنامج يجب أن يدير الذاكرة والاتصالات دون إبطاء العمل الفعلي. فإذا قضى النظام وقتاً طويلاً في تحديد مكان وضع البيانات أو كيفية الحفاظ على اتساقها، فإن المعالجات القوية ستظل خاملة، مما يهدر الطاقة والوقت. ويكمن التحدي في جعل هذه القرارات سريعة بما يكفي بحيث لا يتوقف الكمبيوتر ليفكر، مما يحافظ على تدفق العمل بسلاسة تشبه تدفق المياه في النهر.
لقز طور باحثون في جامعة إنسبروكك طريقة جديدة للتعامل مع مشكلة الجدولة هذه للأنظمة المجهزة بالعديد من وحدات معالجة الرسومات، أو ما يعرف بـ (GPUs). هذه الرقائق مصممة للتعامل مع كميات هائلة من العمل المتوازي، لكن تنسيق مئات منها يتطلب مديراً متطوراً. قدم الفريق طريقة تسمى "جدولة مخطط التعليمات" (instruction-graph scheduling)، والتي تعمل كخريطة تفصيلية منخفضة المستوى لكل عملية فردية يحتاج الكمبيوتر للقيام بها. وبدلاً من اتخاذ القرارات أثناء التنفيذ عند الحاجة لكل خطوة، يبني النظام خطة كاملة تتضمن تخصيص الذاكرة، ونقل البيانات، والحسابات الفعلية. ويتم إنشاء هذه الخطة بينما يعمل الكمبيوتر بالفعل على مهام سابقة، مما يسمح للمجدول فعلياً بالنظر مسبقاً وتحضير الخطوات التالية دون مقاطعة التدفق الحالي.
جوهر هذا النهج هو تحول في كيفية رؤية البرنامج للعمل. في السابق، كان النظام ينشئ قائمة عالية المستوى من المهام ثم يحدد التفاصيل المحددة، مثل نسخ الذاكرة، فقط عندما يحين وقت تنفيذها. وغالباً ما أدى ذلك إلى تأخيرات لأن النظام كان يضطر للتوقف وتحليل التبعيات في منتصف عملية حسابية. الطريقة الجديدة تفكك كل مهمة إلى أصغر مكوناتها، مثل تخصيص كتلة محددة من الذاكرة أو إرسال قطعة صغيرة من البيانات إلى معالج مجاور. ومن خلال ترتيب هذه الخطوات الصغيرة في مخطط واحد مترابط، يستطيع النظام رؤية أي الخطوات يمكن أن تحدث في نفس الوقت. وهذا يسمح للكمبيوتر بالتداخل بين الاتصالات والحسابات، مما يعني أن البيانات يمكن أن تتحرك بين المعالجات بينما تنشغل الرقائق بمعالجة الأرقام، بدلاً من الانتظار حتى ينتهي أحدها قبل أن يبدأ الآخر.
لاختبار هذه الفكرة، دمج الباحثون نظامهم في إطار برمجيات يسمى "سيليريتي" (Celerity)، وهو مصمم لتشغيل عمليات محاكاة معقدة على مجموعات من وحدات معالجة الرسومات. وقد قاموا بتشغيل ثلاثة تطبيقات علمية مختلفة لمعرفة مدى كفاءة المجدول الجديد مقارنة بالنسخة القياسية. قام أحد التطبيقات بمحاكاة قوة الجذب بين مليارات الجسيمات، وآخر نما كيفية ارتداد الصوت في غرفة، والثالث تتبع كيفية تحرك الموجات عبر وسط ما. وفي كل حالة، قاموا بقياس مدى سرعة تشغيل البرنامج مع إضافة المزيد من وحدات معالجة الرسومات، وهو مقياس يُعرف باسم "التوسع القوي" (strong scaling). وأظهرت النتائج أن النهج الجديد تفوق باستمرار على النظام الأساسي، خاصة مع زيادة عدد المعالجات. ففي نظام يحتوي على 128 وحدة معالجة رسومات، سمح المجدول الجديد لتطبيق محاكاة الغرفة بالعمل بسرعة تزيد عن ضعفي الطريقة القديمة، بينما شهدت محاكاة الجسيمات أيضاً دفعة كبيرة في السرعة.
يكمن الابتكار الرئيسي في هذا العمل في تقنية تسمى "النظر المسبق للمجدول" (scheduler lookahead)، والتي تحل مشكلة محددة تتعلق باستخدام الذاكرة. في العديد من عمليات المحاكاة، يمكن أن يتغير مقدار البيانات التي يحتاج البرنامج لتخزينها من خطوة إلى أخرى. وبدون وسيلة للتنبؤ بهذه التغييرات، قد يخصص البرنامج كتلة صغيرة من الذاكرة، ليجدها صغيرة جداً بعد لحظة، مما يضطره لتخصيص كتلة أكبر ونسخ جميع البيانات إليها. عملية تغيير الحجم هذه بطيئة ويمكن أن تهدر وقتاً ثميناً. ينظر النظام الجديد إلى المهام القادمة ليرى ما إذا كانت متطلبات الذاكرة تزداد. وإذا اكتشف نمطاً يشير إلى أن حجم البيانات سيزداد، فإنه ينتظر تخصيص الذاكرة حتى يعرف الحجم النهائي المطلوب، متجنباً خطوة تغيير الحجم المكلفة بالكامل. وهذا فعال بشكل خاص للتطبيقات التي ينمو فيها حجم البيانات بشكل مطرد، مما يسمح للنظام بتخصيص الكمية الصحيحة من الذاكرة في خطوة واحدة.
كما بنى الباحثون بنية نظام تفصل بين عمل التخطيط وعمل التنفيذ. فقد أنشأوا "خيط تنفيذ" (thread) مخصصاً، أو مسار تنفيذ منفصل، مسؤول حصرياً عن بناء مخططات التعليمات التفصيلية هذه. وفي الوقت نفسه، تتعامل الخيوط الأخرى مع التنفيذ الفعلي للتعليمات على وحدات معالجة الرسومات. يضمن هذا الفصل أن عملية التخطيط للخطوات التالية لا تعيق الخطوات الحالية التي يتم تنفيذها. وتعمل العمليتان جنباً إلى جنب، حيث تتواصلان عبر طابور انسيابي ينقل التعليمات من المخطط إلى المنفذ. يقلل هذا التصميم من الوقت الذي يقضيه النظام في الانتظار، مما يضمن بقاء وحدات معالجة الرسومات مشغولة بعمل مفيد بدلاً من الجلوس خاملة بينما يكتشف البرنامج ما يجب فعله تالياً.
أُجريت التجارب على الحاسوب الفائق "ليوناردو" في إيطاليا، وهو آلة تحتوي على آلاف المعالجات والاتصالات عالية السرعة. واستخدم الفريق أكواداً علمية حقيقية لضمان صمود نتائجهم في السيناريوهات العملية. ووجدوا أنه بينما لم يغير أسلوبهم الجديد الحدود الأساسية لكمية البيانات التي يمكن تخزينها أو حجم المشكلة التي يمكن معالجتها، إلا أنه حسن بشكل كبير كفاءة توزيع ذلك العمل. وكانت التحسينات أكثر وضوحاً في التطبيقات التي تكون فيها أنماط الوصول إلى البيانات معقدة أو متغيرة، حيث استطاع النظام إخفاء الوقت المستغرق في الاتصالات وإدارة الذاكرة بشكل أفضل. وبالنسبات للتطبيقات ذات خطوات الحساب القصيرة جداً، قلل المجدول الجديد من العبء الإضافي بما يكفي للحفاظ على كفاءة النظام حتى مع وجود عدد كبير من المعالجات.
يوضح هذا العمل أن الطريقة التي تدير بها البرمجيات اللوجستيات الداخلية للحاسوب الفائق لا تقل أهمية عن القوة الخام للأجهزة نفسها. ومن خلال نقل عبء التخط heavy lifting بعيداً عن المسار الحرج وإلى عملية موازية، أظهر الباحثون أنه من الممكن إبقاء هذه الآلات الضخمة تعمل بأقصى كفاءة. يوفر نهج "مخطط التعليمات" طريقة لتصور وإدارة الشبكة المعقدة من التبعيات الموجودة في البرامج المتوازية الحديثة، محولاً ما كان يوماً ما عنق زجاجة إلى خط إنتاج انسيابي. ومع استمرار نمو الحواسيب الفائقة في الحجم والتعقيد، ستكون تقنيات كهذه ضرورية لضمان حصول العلماء على أقصى استفادة من استثماراتهم، مما يسمح لهم بحل مشكلات كانت في السابق أكبر أو أبطأ مما يمكن التعامل معه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.