تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يفهم العالم. للقيام بذلك، تغذيه بكميات هائلة من البيانات، مثل آلاف الساعات من الفيديو، أو ملايين الصفحات من النصوص، أو نماذج علمية معقدة. يتعلم الروبوت من خلال النظر إلى هذه "التسلسلات" من المعلومات. ولكن هناك مشكلة: ليست كل التسلسلات متساوية في الطول. فبعضها قصير، مثل تغريدة سريعة، بينما البعض الآخر طويل للغاية، مثل فيلم كامل أو كتاب بأكره.

عندما تقوم بتدريب هذه الروبوتات، فإنك عادة ما تقسم العمل عبر العديد من الحواسيب القوية (التي تسمى وحدات معالجة الرسومات - GPUs) التي تعمل معًا. فكر في الأمر كفريق من الطهاة في مطبخ ضخم. إذا حصل كل طاهٍ على وصفة بنفس الحجم، فسينتهون جميعًا في نفس الوقت ويمكنهم البدء في الطبخة التالية معًا. لكن في العالم الحقيقي، تختلف الوصفات بشكل هائل. قد يحصل أحد الطهاة على مقبلات صغيرة جدًا، بينما يحصل آخر على مأدبة ضخمة مكونة من 10 أطباق. هذا الطاهي الذي لديه طبق صغير سينتهي في ثوانٍ ويضطر للوقوف دون فعل شيء، منتظرًا الطاهي صاحب المأدبة حتى ينتهي. يُسمى هذا "عدم توازن عبء العمل"، وهو ما يهدر كمية هائلة من الوقت والطاقة. التحدي الذي يواجهه العلماء هو معرفة كيفية إبقاء المطبخ يعمل بسلاسة عندما تكون الطلبات مختلفة تمامًا، دون جعل النظام معقدًا لدرجة لا يمكن لأحد استخدامه.

هذا هو بالضبط المشكلة التي يعالجها أسلوب جديد يسمى التوازي المتمحور حول البيانات (DCP)، والذي قدمه باحثون من جامعة سنغافورة الوطنية. بدلاً من إجبار جميع البيانات على الدخول في نظام صارم وواحد يناسب الجميع، يسمح DCP للبيانات نفسها بتحديد كيفية تنفيذ العمل. تخيل مدير مطبخ ذكي ينظر إلى كل طلب يأتي ويقرر فورًا: "حسنًا، بالنسبة لهذه المقبلات الصغيرة، سنستخدم طاهيًا واحدًا فقط ونجعله يطبخ بسرعة. أما بالنسبة لهذه المأدبة الضخمة، فسنستدعي فريقًا كاملاً من الطهاة للتقطيع والطبخ في وقت واحد".

وجد البحث أنهم من خلال ضبط حجم الفريق واستراتيجية الطبخ ديناميكيًا لكل دفعة من البيانات، يمكنهم جعل عملية التدريب أسرع بكثير. في اختباراتهم باستخدام 32 من وحدات معالجة الرسومات القوية H200، جعل هذا النهج التدريب أسرع بمقدار يصل إلى 2.88 مرة من الطرق القديمة. كما أظهروا أن هذا النظام مرن للغاية؛ إذ يمكن إضافته إلى أي نموذج ذكاء اصطناعي جديد تقريبًا باستخدام 10 أسطر فقط من الكود البرمجي، مما يجعله أداة بسيطة وقوية لمستقبل الذكاء الاصطناعي.

المشكلة: مطبخ "الانتظار والترقب"

لفهم سبب أهمية هذا الأمر، دعونا ننظر إلى كيف كانت الأمور تسير في الماضي. في السابق، حاول الباحثون حل مشكلة "الطلبات غير المتساوية" بطريقتين رئيسيتين، وكلتاهما كانتا تعانيان من عيوب خطيرة.

الطريقة الأولى كانت تشبه رئيس طهاة صارم يقول: "سنستخدم دائمًا 8 طهاة لكل طلب، بغضًا عن كونه كبيرًا أو صغيرًا". إذا كان الطلب عبارة عن مقبلات صغيرة، فسيقف 7 طهاة لمجرد مشاهدة الطاهي الثامن وهو يطبخ. يُسمى هذا التوازي بالدلاء (Bucket Parallel). إنه بسيط، ولكنه يهدر الكثير من الموارد. ينتهي الطهاة ذوو الطلبات الصغيرة فورًا، لكن المطبخ بأكمله يجب أن ينتظر أبطأ طاهٍ لينهي الطلبات الكبيرة قبل أن يتمكنوا جميعًا من بدء الجولة التالية. يؤدي هذا إلى الكثير من وقت الخمول.

الطريقة الثانية كانت محاولة موازنة الحمل من خلال إعطاء الطهاة ذوي الطلبات الكبيرة عددًا أقل من المكونات لطهيها في المرة الواحدة. هذا يشبه إخبار الطاهي المسؤول عن مأدبة الـ 10 أطباق بأن يطبخ طبقًا واحدًا فقط في كل مرة، بينما يطبخ طاهي المقبلات الوجبة كاملة في وقت واحد. يُسمى هذا التوازي المعبأ (Packed Parallel) أو تعديل أحجام الدفعات. وبينما يساعد هذا الطهاة على الانتهاء في نفس الوقت، فإنه يخلق مشكلة جديدة: يتعين على المطبخ القيام برحلات أكثر بكثير إلى المخزن للحصول على جميع المكونات. في مصطلحات الكمبيوتر، يعني هذا زيادة هائلة في تكاليف الاتصال، مما يبطئ كل شيء.

جادل الباحثون بأن المشكلة الأساسية هي أن هذه الأساليب القديمة اعتمدت على إعدادات ثابتة — وهي قواعد تُقرر قبل بدء الطبخ فعليًا. لم تسمح للبيانات بتغيير الخطة في الوقت الفعلي.

الحل: مدير ذكي وموجه بالبيانات

الأسلوب الجديد، التوازي المتمحور حول البيانات (DCP)، يغير قواعد اللعبة من خلال ترك البيانات تقود وقت التشغيل. بدلاً من كتاب قواعد ثابتة، يعمل النظام كمدير ذكي ومتكيف ينظر إلى طول التسلسل (الطلب) ويضبط الإعدادات فورًا.

قسم الباحثون هذا إلى استراتيجيتين ذكيتين:

1. DCP-inter (استراتيجية "العمل الجماعي"):
   تركز هذه الاستراتيجية على موازنة عبء العمل دون إهدار المكونات. إذا كانت دفعة من البيانات تحتوي على تسلسل طويل جدًا (طلب كبير)، فبدلاً من تقليل حجم الدفعة (الذي يسبب عبء الاتصال المذكور سابقًا)، يستخدم النظام تراكم التدرج (gradient accumulation). فكر في هذا كأن الطاهي يطبخ الطلب الكبير في عدة خطوات أصغر، مع الحفاظ على حجم الفريق نفسه. هذا يملأ "وقت الخمول" للعمال السريعين بجعلهم يساعدون في الطلبات الكبيرة بطريقة لا تبطئ المطبخ بأكمله. إنه يوازن الوقت الذي يقضيه الجميع في العمل دون تقليل كفاءة الطلبات القصيرة.

2. DCP-intra (استراتيجية "الذاكرة"):
   تعالج هذه الاستراتيجية مشكلة الذاكرة. عند التدريب على تسلسلات طويلة، غالبًا ما تضطر الحواسيب إلى حفظ الكثير من "الملاحظات الوسيطة" (النشطات/activations) لتذكر كيفية حساب الإجابة النهائية لاحقًا. هذا يستهلك الكثير من الذاكرة. ولتوفير المساحة، يستخدمون حيلة تسمى نقاط تفتيش التدرج (gradient checkpointing)، وتعني أنهم يتخلصون من الملاحظات ويعيدون حسابها لاحقًا. هذا يوفر الذاكرة ولكنه يستغرق وقتًا إضافيًا لإعادة إجراء العمليات الحسابية.
   لاحظ الباحثون أنه بالنسبة للتسلسلات القصيرة، تمتلك الحواسيب في الواقع ذاكرة فائضة. لذا، تقول استراتيجية DCP-intra: "مهلاً، بالنسبة لهذه الطلبات القصيرة، لسنا بحاجة للتخلص من الملاحظات! لنحتفظ بها ونتخطى إعادة الحساب". هذا يجعل الطلبات القصيرة أسرع. وإذا نفدت الذاكرة من الكمبيوتر بسبب طلب طويل، فإنه ببساطة يعدل حجم الفريق (توازي التسلسل) لتوفير مساحة، كل ذلك دون إبطاء العملية.

النتائج: السرعة والبساطة

اختبر الباحثون هذا الأسلوب الجديد على نوعين مختلفين من نماذج الذكاء الاصطناعي (أحدهما للبيانات أحادية الأبعاد مثل النصوص، والآخر للبيانات ثنائية الأبعاد مثل الفيديو) باستخدام ثلاثة أنواع مختلفة من مجموعات البيانات: التسلسلات القصيرة، والتسلسلات المتوازنة، والتسلسلات الطويلة. أجروا هذه الاختبارات على مجموعة من 32 وحدة معالجة رسومات NVIDIA H200.

كانت النتائج مبهرة. مقارنة بطريقة "الدلو" القديمة، جعل DCP-inter وحده التدريب أسرع بمقدار 1.68 إلى 2.70 مرة. وعندما أضافوا الاستراتيجية الثانية (DCP-intra) لتحسين استخدام الذاكرة، ارتفعت سرعة التحسن لتصل إلى 2.88 مرة في أكثر مجموعات البيانات تحديًا.

وربما الأهم من ذلك، وجد الباحثون أن هذا النظام سهل الاستخدام للغاية. فقد أظهروا أنه يمكنك دمج DCP في أي نموذج ذكاء اصطناعي موجود تقريبًا مع تغيير 10 أسطر فقط من الكود. وهذا يشير إلى أن الطريقة ليست مجرد فكرة نظرية، بل هي أداة عملية يمكن اعتمادها على نطاق واسع.

ماذا يعني هذا؟

تشير الورقة البحثية إلى أنه من خلال الابتعاد عن القواعد الصارمة والمحددة مسبقًا وترك البيانات نفسها تملي كيفية حدوث التدريب، يمكننا حل مشكلة عدم الكفاءة القديمة في تدريب الذكاء الاصطناعي. قام الباحثون بقياس هذه الزيادات في السرعة في عمليات محاكاة واقعية على أجهزة قوية، مما أظهر أن الطريقة تعمل جيدًا عبر أحجام النماذج وتوزيعات البيانات المختلفة.

وعلى الرغم من أن الطريقة الحالية تقتصر على نماذج Transformer (نوع الذكاء الاصطناعي المستخدم في معظم نماذج توليد النصوص والصور الحديثة)، إلا أن المؤلفين يعتقدون أن هذا النهج يضع معيارًا جديدًا. فهو يثبت أنك لست مضطرًا للاختيار بين نظام سهل الاستخدام ونظام عالي الكفاءة؛ فمع "التوازي المتمحور حول البيانات" (DCP)، يمكنك الحصول على كليهما، مما يمهد الطريق لتدريب نماذج ذكاء اصطنا حتى أكبر وأكثر تعقيدًا في المستقبل.