Extending WRSS to Rust, Julia, Haskell, and Python Under Irregular Parallel Workloads

عندما يبني المهندسون برمجيات لحل مشكلات ضخمة، فإنهم غالبًا ما يقسمون العمل إلى قطع أصغر ويوزعونها على العديد من المعالجات في وقت واحد، آملين أن ينتهي العمل بشكل أسرع. هذه الاستراتيجية، المعروفة باسم الحوسبة المتوازية، تعمل بشكل رائع عندما يكون العمل متساويًا تمامًا، مثل فرز مجموعة من أوراق اللعب حيث تحتوي كل كومة على نفس العدد من الأوراق. في هذه المواقف المنظمة، طور الباحثون طريقة لقياس المكان الذي يتوقف فيه تحسن السرعة بدقة، وهي النقطة التي لا يؤدي فيها إضافة المزيد من العمال إلى أي فائدة. هذه الأداة القياسية، المسماة "بصمة قياس مقياس زمن التشغيل وحجم العمل" (Workload–Runtime Scaling Signature)، نجحت في رسم حدود الأداء لعدة لغات برمجة عندما تكون المهام متوقعة ومنتظمة. ومع ذلك، فإن العالم الحقيقي نادرًا ما يكون مرتبًا بهذا الشكل؛ إذ تتضمن العديد من التطبيقات العلمية والتجارية بيانات غير منتظمة وفوضوية، حيث يحصل بعض العمال على جبل من العمل بينما لا يحصل الآخرون على شيء تقريبًا، مما يخلق عنق زجاجة خفيًا لا تستطيع الأدوات القياسية رؤيته.

شرع باحث في اختبار ما إذا كانت أداة القياس الموجودة لديه يمكنها التعامل مع هذه الفوضى. لقد أخذ الإطار الذي نجح في المهام المنتظمة والمنظمة وطبقه على أربع وظائف صعبة وغير منتظمة: البحث عبر الشبكات المعقدة، والتنقل في أشجار القرار العميقة، وضرب المصفوفات المتناثرة، ومحاكاة الجسيمات التي تتحرك عبر الفضاء. قام بتشغيل هذه المهام باستخدام أربع لغات برمجة مختلفة تمامًا — Rust وJulia وHaskell وPython — على نظام حاسوبي قوي. كان الهدف هو معرفة ما إذا كانت الطريقة القديمة لا تزال قادرة على إخبارهم أين تحدث التباطؤات عندما يكون توزيع العمل غير متوقع ويعتمد على البيانات نفسها.

اكتشف الباحث أن الأداة الأصلية كانت تفتقد إلى قطعة حاسمة من اللغز. في الطريقة القديمة، كان يتم دمج كل الوقت المستغرق في الحوسبة ضمن فئة واحدة. ولكن في هذه الوظائف غير المنتظمة، غالبًا ما يضطر أبطأ عامل للقيام بعمل أكثر بكثير من متوسط العامل، ببساطة لأن البيانات فرضت عليه ذلك. أدرك الباحث أن هذا العبء الإضافي، الناتج عن التوزيع غير المتساوي للعمل، يمثل مشكلة متميزة منفصلة عن إجمالي مقدار الحساب المطلوب. اقترح طريقة جديدة للنظر إلى البيانات، تقسم وقت الحوسبة إلى جزأين: متوسط العمل الذي يقوم به الجميع، والعمل الإضافي غير العادل المفروض على أبطأ عامل. كشفت هذه الرؤية الجديدة المكونة من أربعة أجزاء أن الرؤية القديمة المكونة من ثلاثة أجزاء كانت غالبًا ما تضللهم بشأن مكان وجود عنق الزجاجة الحقيقي.

عندما طبق الباحث هذه الرؤية الجديدة الأكثر تفصيلًا على اختباراته، تغيرت النتائج بشكل كبير. ففي مهام مثل البحث عبر الشبكات المعقدة أو محاكاة الجسيمات في تجمعات كثيفة، ادعت الطريقة القديمة أن أجهزة الكمبيوتر لا تزال محدودة بكمية الحساب الهائلة، مما يوحي بأن إضافة المزيد من العمال ستستمر في تقديم الفائدة. ومع ذلك، أظهرت الطريقة الجديدة أن المشكلة الحقيقية كانت في عدم التوازن نفسه. وفي كثير من الحالات، كان العمل الإضافي على أبطأ عامل كبيرًا جدًا لدرجة أنه حجب حقيقة أن النظام قد اصطدم بالفعل بحائط مسدود ناتج عن الانتظار والتنسيق. على سبيل المثال، في اختبار واحد مع شبكة مكونة من أربعة ملايين نقطة، أظهرت الطريقة الجديدة أن عدم التوازن كان يمثل ما يصل إلى 34 بالمائة من إجمالي الوقت، وهو عامل أخفته الطريقة القديمة داخل أرقام الحساب العامة.

غير هذا التحول في المنظور فهم الباحث لمتى يجب التوقف عن إضافة العمال. في الرؤية القديمة، قد يبدو البرنامج وكأنه يتوسع جيدًا حتى ستة عشر عاملًا. أما في الرؤية الجديدة، فقد يظهر نفس البرنامج أن الفوائد توقفت عند أربعة أو ثمانية عمال فقط لأن عدم التوازن أصبح هو المشكلة المهيمنة. وجدت الدراسة أن هذا التشخيص الجديد ضروري لأعباء العمل غير المنتظمة ولكنه غير ضروري للأعباء المنتظمة، حيث يكون العمل متوازنًا بطبيعته. وخلص الباحث إلى أنه بدون فصل متوسط الجهد عن العمل الإضافي غير العادل، يمكن للدراسات الأداء أن تضلل المهندسين بشكل منهجي حول كيفية تحسين برمجياتهم.

كما سلطت الدراسة الضوء على كيفية تعامل لغات البرمجة المختلفة مع هذه الفوضى. أظهرت اللغة المعروفة باسم Rust، التي تدير الذاكرة بصرامة شدة، أفضل قدرة على الحفاظ على توازن العمل، مع أقل قدر من الوقت الإضافي غير العادل. أما Python، التي تستخدم نهجًا مختلفًا لتشغيل المهام، فقد أظهرت أكبر قدر من عدم التوازن، ويرجع ذلك على الأرجح إلى أن طريقتها في تقسيم العمل كانت خشنة للغاية بحيث لا تستطيع التعامل مع حالات عدم الانتظام الدقيقة. وجاءت لغتا Julia وHaskell في مكان ما بينهما، حيث أظهرت Julia بعض التباين اعتمادًا على البيانات المحددة التي واجهتها. تشير هذه النتائج إلى أنه بالنسبة للمهام غير المنتظمة وغير المتوقعة، فإن اختيار اللغة لا يتعلق فقط بالسرعة الخام، بل بمدى قدرة تلك اللغة على توزيع الحمل غير المتساوي بين عمالها.

في نهاية المطاف، توفر هذه الأبحاث خريطة أوضح للتنقل في تعقيدات الحوسبة الحديثة. إنها تثبت أنه عندما يكون العمل غير منتظم، فإن القواعد التقليدية لم تعد تنطبق. ومن خلال مجرد فصل الجهد المتوسط عن العبء الإضافي المفروض على أبطأ عامل، يمكن للمهندسين أخيرًا رؤية الحدود الحقيقية لأنظمتهم. يتيح هذا الوضوح لهم اتخاذ قرارات أفضل بشأن متى يضيفون المزيد من القوة ومتى يركزون على موازنة الحمل، مما يضمن أداء برمجياتهم بأكبر قدر ممكن من الكفاءة في الواقع الفوضوي للبيانات الحقيقية.