ML-for-ML

تخيل أنك تحاول خبز كعكة الشوكولاتة المثالية في مطبخ مشترك ومزدحم. لديك وصفة (نموذج تعلم آلي خاص بك) تحتاج إلى تعديلها مراراً وتكراراً حتى يصبح مذاقها مثالياً. لكن العقبة هي أنك لست الطباخ الوحيد؛ فهناك طهاة آخرون يتبعون وصفاتهم الخاصة، ويستخدمون نفس الأفران، والمواقد، والأهم من ذلك، نفس الممر الضيق لنقل المكونات ذهاباً وإياباً.

في عالم الذكاء الاصطناعي، هذا "المطبخ" هو حاسوب سحابي ضخم، و"المكونات" هي البيانات. لتعليم الذكاء الاصطناعي، يجب على الحواسيب أن تتحدث باستمرار مع بعضها البعض، وتبادل قطع من المعلومات تسمى "التدرجات" (gradients) لمعرفة كيفية التحسن. يسمى هذا التدريب الموزع (distributed training). عادةً، يركز الأشخاص الذين يديرون المطبخ (مهندسو الشبكات) على التأكد من عدم انسداد الممر، بينما يركز الطهاة (باحثو الذكاء الاصطناعي) على كمية العجين التي يتم خلطها في المرة الواحدة. يعملان في صوامع منفصلة؛ يحاول فريق الشبكة إزالة الاختناقات المرورية، بينما يحاول فريق الذكاء الاصطناعي خلط دفعات أسرع. ولكن ماذا لو لم يكن أفضل طريق للوصول إلى كعكة مثالية هو مجرد إصلاح الممر أو الخلط بشكل أسرع، بل القيام بكليهما في نفس الوقت وبانسجام تام؟

هذا هو السؤال الكبير الذي تعالجه ورقة بحثية جديدة بعنوان "ML-for-ML". يجادل الباحثون، وهم فريق من الجامعات والشركات التقنية، بأن التعامل مع الشبكة والتدريب على الذكاء الاصطناعي كمشكلتين منفصلتين يضيع الكثير من الأداء. إنهم يقترحون طريقة تفكير جديدة حيث يتحدث الذكاء الاصطناعي والشبكة مع بعضهما باستمرار، ويتخذان قرارات مشتركة للوصول إلى الهدف بشكل أسرع.

المشكلة: فريقان، وممر فوضوي واحد

فكر في تدريب الذكاء الاصطناعي كسباق تتابع حيث يتعين على العدائين (الحواسيب) تمرير العصا (البيانات) لبعضهم البعض. إذا كان الممر مزدحماً بعدائين آخرين (حركة مرور خلفية)، فستتأخر العصا.

تقليدياً، حاولنا حل ذلك بطريقتين منفصلتين:

1. إصلاح فريق الشبكة: يحاولون جعل الممر أوسع أو أسرع. يستخدمون "التحكم في الازدحام" لإبطاء العدائين عندما يصبح المكان مزدحماً للغاية، أو يقومون بضغط العصا بحيث تشغل مساحة أقل.
2. إصلاح فريق الذكاء الاصطناعي: يحاولون تغيير طريقة ركض العدائين. قد يطلبون من العدائين حمل عصي أكبر (أحجام دفعات أكبر) حتى لا يضطروا للتوقف والتبديل كثيراً، أو قد يطلبون منهم الركض بضع لفات إضافية بمفردهم قبل التوقف للتبديل.

تجادل الورقة البحثية بأن هذه الفرق تلعب لعبة "ضرب الخلد" (whack-a-mole) دون التحدث مع بعضها البعض. إذا قام فريق الشبكة بضغط البيانات، فقد لا يحتاج فريق الذكاء الاصطناعي لتغيير أسلوب ركضهم. ولكن إذا قرر فريق الذكاء الاصطناعي الركض لعدد أقل من اللفات، فقد لا يحتاج فريق الشبكة لضغط البيانات كثيراً. عندما يعملون بمفردهم، غالباً ما يختارون خيارات تبدو جيدة من منظورهم الخاص، لكنها تتعارض عند الجمع بينها، مما يؤدي إلى إبطاء الجميع.

الحل: متحكم "ML-for-ML"

يقدم المؤلفون "متحكماً" يعمل مثل رئيس طهاة ذكي للغاية. هذا الطاهي لا ينظر فقط إلى الممر أو وعاء الخلط؛ بل ينظر إلى كليهما في وقت واحد. هدفه بسيط: إيصال الكعكة لمذاق مثالي (الوصول إلى "خسارة مستهدفة" محددة) بأسرع وقت ممكن.

يمتلك هذا المتحكم مجموعتين من "مقابض الضبط":

• مقابض الشبكة: أشياء مثل مدى ضغط البيانات أو سرعة إرسالها.
• مقابض الذكاء الاصطناعي: أشياء مثل حجم دفعة البيانات التي يتم معالجتها قبل التوقف للحديث.

بدلاً من تدوير مقبض واحد، والانتظار لرؤية ما سيحدث، ثم تدوير المقبض الآخر، يحاول المتحكم تجربة مجموعات مختلفة من كلا المقبضين معاً. ويتساءل: "إذا قمت بضغط البيانات وزيادة حجم الدفعة الآن، فهل سيكون ذلك أسرع من مجرد ضغط البيانات فقط؟"

ما وجدوه: سحر العمل الجماعي

لاختبار ذلك، أجرى الباحثون سلسلة من المحاكاة. أنشأوا مطبخاً رقمياً حيث يحاول نموذج ذكاء اصطناي (GPT-2 Large) التعلم بينما تعمل وظائف أخرى مزدحمة (نماذج GPT-1B) في الخلفية، مما يؤدي إلى ازدحام الشبكة.

قارنوا بين أربع استراتيجيات مختلفة:

1. الثابت (Static): لا يغير أي شيء أبداً.
2. دقة المقبض (Knob-Precision): يغير فقط مقدار ضغط البيانات.
3. الخوارزمية الجينية للمقبض (Knob-GA): يغير فقط حجم الدفعة.
4. المنفصل (Decoupled): يغير الضغط وحجم الدفعة بشكل منفصل، بناءً على ما يبدو الأفضل لكل منهما على حدة.
5. المشترك (Joint - ML-for-ML): يغير كليهما معاً، بحثاً عن أفضل زوج من الإعدادات.

كانت النتائج كاشفة. النهج "المنفصل"، حيث تم ضبط المقبضين بشكل منفصل ثم دمجهما ببساطة، كان أبطأ باستمرار. في الواقع، استغرق وقتاً أطول بمقدار 1.13 إلى 1.42 مرة للوصول إلى الجودة المستهدفة مقارنة بالنهج "المشترك".

لماذا؟ لأن الخيار الأفضل يتغير حسب الموقف.

• عندما يكون الممر فارغاً: يكون ضغط البيانات (جعلها أصغر) أمراً رائعاً لأنه يوفر الوقت، ولا تحتاج لتغيير عدد مرات التوقف للحديث.
• عندما يكون الممر مزدحماً: يساعد الضغط، لكنه ليس كافياً. حركة المرور المتبقية لا تزال عالية. في هذه الحالة، فإن أفضل حركة هي أيضاً تقليل عدد مرات التوقف للحديث (عبر زيادة حجم الدفعة).

لقد أدرك المتحكم "المشترك" هذا الأمر فوراً. فقد أدرك أنه عندما تصبح الشبكة مزدحمة جداً، فإن مزيج "البيانات المضغوطة + توقفات أقل" هو الفائز. أما المتحكم "المنفصل"، فقد استمر في اختيار "أفضل" الإعدادات الفردية دون أن يدرك أنها لا تعمل بشكل جيد معاً في تلك اللحظة المحددة.

في اختبارهم الأكثر تطرفاً، حيث كانت الشبكة مزدحمة بشدة، وصلت استراتيجية "المشترك" إلى الجودة المستهدفة بسرعة أكبر بنسبة تصل إلى 42% من الطرق القديمة.

الخلاصة

تشير الورقة البحثية إلى أن مستقبل تدريب الذكاء الاصطناعي لا يتعلق فقط بالشبكات الأسرع أو الخوارزميات الأذكى بشكل منعزل. بل يتعلق بنهج موحد حيث يتعلم النظام والشبكة الرقص معاً. ومن خلال السماح لمتحكم مركزي باختيار المزيج المثالي من إعدادات الشبكة وإعدادات الذكاء الاصطناعي في الوقت الفعلي، يمكننا تدريب هذه النماذج الضخمة بشكل أسرع وأكثر كفاءة بكثير.

على الرغم من أن هذا تم اختباره في عمليات محاكاة، إلا أن النتائج تلمح إلى طريقة جديدة قوية لإدارة المطابخ الرقمية المعقدة والمزدحمة في المستقبل. بدلاً من أن يصرخ فريق الشبكة وفريق الذكاء الاصطناعي ببعضهما البعض من غرف منفصلة، يمكنهما أخيراً الجلوس على نفس الطاولة واتخاذ أفضل قرار معاً.