Bounded-Horizon Local Transformer Training on CPUs: Quality, Throughput, and Memory
تقيم هذه الورقة البحثية التدريب المحلي ذو الأفق المحدود لنماذج "ترانسفورمر" (Transformer) المكونة من 24 طبقة على مستوى البايت فوق وحدات معالجة مركزية متعددة الأنوية، حيث وجدت أنه بينما تحقق طريقة إجماع تدرج القراءة المقترحة زيادة في الإنتاجية بنسبة 38% مقارنة بالانتشار العكسي العالمي، إلا أنها تفشل في تلبية معيار عدم الدونية بنسبة 1% لجودة النموذج عبر جميع مجموعات البيانات المختبرة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت عملاق وذكي للغاية كيف يكتب القصص. لكي تفعل ذلك، عليك أن تريه ملايين الأمثلة. ولكن الجزء الصعب هو أن الروبوت مبني مثل خط طويل من 24 عاملاً صغيراً، واحد تلو الآخر. العامل الأول يرى الكلمة الأولى، والثاني يرى الكلمة الثانية، وهكذا حتى يقرر العامل الأخير ما هي الكلمة التالية.
في الطريقة القديمة لتعليم هذه الروبوتات (والتي تسمى "الانتشار العكسي العالمي" - global backpropagation)، إذا ارتكب العامل الأخير خطأً، فعليه أن يرسل رسالة عائدة إلى العامل الأول ليقول له: "مهلاً، لقد بدأتَ بشكل خاطئ!" هذا يشبه لعبة "التليفون المقطوع" حيث يجب أن تسافر الرسالة عبر الخط بأكمله، ويضطر العمال للانتظال حتى يأتي دورهم للإصلاح. إنها طريقة دقيقة، لكنها بطيئة لأن الجميع عالقون في انتظار الشخص الذي خلفهم.
مؤخراً، جرب بعض العلماء فكرة جديدة: ماذا لو قام كل عامل بإصلاح أخطائه الخاصة بناءً على ما يراه هو؟ تسمى هذه الطريقة "التعلم المحلي" (local learning). الأمر يشبه قولك لكل عامل: "فقط ابذل قصارى جهدك الآن، ولا تقلق بشأن بقية الخط". يبدو أن هذا سيكون سريعاً للغاية لأن الجميع يمكنهم العمل في نفس الوقت. ولكن هناك مشكلة: إذا كان كل واحد منهم يصلح أخطاءه بشكل مستقل، فقد لا تصبح القصة النهائية منطقية، أو قد يصاب الروبوت بالارتباك حول من المسؤول فعلياً عن النتيجة النهائية. يسأل هذا البحث: هل يمكننا جعل طريقة "العمل معاً" هذه سريعة بما يكفي على شرائح الكمبيوتر العادية (CPUs) دون إفساد جودة القصة؟ وهل يمكننا معرفة كيفية السماح للعمال بمشاركة اللوم على الخطأ النهائي بدقة؟
سباق المعالجات المركزية العظيم: السرعة مقابل الذكاء
في هذه الدراسة، أقام باحث يدعى فيكرام ليكس (Vikram Lex) سباقاً على جهاز كمبيوتر قوي يحتوي على 64 نواة (تخيلها كـ 64 دماغاً صغيراً تعمل معاً). أراد أن يرى ما إذا كان بإمكانه تدريب "ترانسفورمر" (Transformer) مكون من 24 طبقة (وهو الاسم الفاخر لعقل الروبوت) باستخدام هذه الطريقة "المحلية" على وحدة معالجة مركزية (CPU) عادية، بدلاً من استخدام بطاقات الرسوميات (GPUs) باهظة الثمن التي تُستخدم عادةً.
الإعداد: خط التجميع
تخيل عقل الروبوت كخط تجميع يتكون من أربع محطات كبرى (مراحل). في الطريقة التقليدية، يجب أن يتوقف الخط بأكمله وينتظر فحص الجودة النهائي قبل أن يتمكن أي شخص من إجراء أي تغيير. في تجربة "ليكس"، حاول ترك كل محطة تعمل على مهمتها الصغيرة الخاصة. وللحفاظ على عدم تباعد المحطات كثيراً، استحدث قاعدة جديدة تسمى "إجماع تدرج المخرجات" (Readout-Gradient Consensus - RGC).
فكر في RGC كأنه "لوحة نتائج مشتركة". في كل مرة تنهي فيها محطة ما مهمة، فهي لا تكتفي بإصلاح عملها فحسب، بل ترسل ملاحظة سريعة إلى المحطة النهائية تقول فيها: "إليك مقدار مساهمة عملي في النتيجة النهائية". تقوم المحطة النهائية بعد ذلك بمتوسط كل هذه الملاحظات وتحديث "المُفكك" (decoder) (الجزء الذي يقرر الكلمة التالية) بناءً على التغذية الراجعة الجماعية للمجموعة. بهذه الطريقة، لا يزال الجميع يعملون على مهامهم الخاصة، لكنهم جميعاً يهدفون إلى نفس الهدف.
النتائج: سريعة، ولكن بثمن
كانت النتائج مزيجاً من الأخبار المثيرة والواقع الصادم.
- دفعة السرعة: كانت الطريقة الجديدة أسرع بالفعل! على الإعداد المكون من 31 نواة المستخدم في الاختبار، كانت طريقة RGC غير المتزامنة أسرع بمقدار 1.382 مرة من الطريقة التقليدية. هذه قفزة كبيرة، مما يعني أن الروبوت تعلم أكثر بنسبة 38% في نفس القدر من الوقت.
- ثمن الذاكرة: ومع ذلك، لم تأتِ السرعة مجاناً. استخدمت الطريقة التقليدية حوالي 1.94 جيجابايت من الذاكرة (مساحة التفكير قصير المدى للكمبيوتر). أما الطريقة الجديدة الأسرع، فقد احتاجت إلى 4.31 جيجابايت—أي أكثر من الضعف! وذلك لأن الطريقة الجديدة كان عليها الاحتفاظ بنسخ إضافية من ملاحظات العمال واللقطات الزمنية في الذاكرة لضمان بقاء الجميع في حالة تزامن.
- سؤال الجودة: هنا تصبح القصة مثيرة للاهتمام. وضع الباحثون قاعدة صارمة: يجب أن تكون الطريقة الجديدة على الأقل بجودة الطريقة القديمة، مع هامش خطأ ضئيل (لا يزيد عن 1% سوءاً).
- الطريقة الجديدة كانت قريبة جداً من ذلك. كان متوسط الفرق هو 0.841% فقط أسوأ.
- ولكن، عندما نظروا إلى "هامش الأمان" (الثقة الإحصائية)، كان أسوأ سيناريو هو 2.095% أسوأ. ولأن هذا الهامش تجاوز خط الـ 1%، اضطر الباحثون للقول: "لا يمكننا إثبات أن هذه الطريقة جيدة تماماً مثل الأخرى." لم يتمكنوا من الادعاء بأنها بديل مثالي.
ما لم ينجح (وما تم استبعاده)
الورقة البحثية حذرة جداً فيما لا تدعيه.
- ليست حلاً سحرياً لكل الأحجام: عندما جربوا الطريقة على مجموعة بيانات مختلفة تسمى "TinyStories" (وهي عبارة عن مجموعة من قصص الأطفال البسيطة جداً)، انخفضت الجودة بشكل كبير (بأكثر من 2.5%). وهذا يعني أن الطريقة لا تعمل بشكل مثالي مع كل نوع من القصص أو البيانات.
- ليست "وجبة مجانية" للخوارزميات: لم تأتِ زيادة السرعة لأن الرياضيات أصبحت فجأة أسهل. بل جاءت لأن الكمبيوتر كان يستخدم خيوط معالجة (threads) أكثر (29 بدلاً من 24) ولأن مجموعات العمال الأصغر كانت أكثر كفاءة. تنص الورقة صراحة على أن هذا "مكسب في الأنظمة" (استخدام أفضل لأجهزة الكمبيوتر)، وليس تغييراً جوهرياً في كيفية عمل الخوارزمية نفسها.
- ليست "قابلة للتطبيق بيولوجياً": لا تزال الطريقة تستخدم الرياضيات القياسية (الاشتقاق في الوضع العكسي) داخل كل محطة. إنها ليست طريقة جديدة لكيفية عمل الدماغ؛ بل هي مجرد طريقة ذكية لتنظيم عمل الكمبيوتر.
الحكم النهائي
إذاً، ماذا تعلمنا؟ نجح الباحثون في بناء نظام تدريب "محدود الأفق" يعمل بشكل أسرع على أجهزة الكمبيوتر العادية عن طريق السماح لأجزاء مختلفة من الشبكة بالعمل بالتوازي. لقد أثبتوا أنه يمكنك الحصول على زيادة في السرعة بمقدار 1.38 ضعف، ولكن عليك دفع الثمن بـ أكثر من ضعف الذاكرة.
ومع ذلك، فقد أثبتوا أيضاً أن هذه السرعة تأتي مع مخاطرة: الجودة في التعلم ليست مضمونة لتكون مطابقة تماماً للطريقة البطيئة والدقيقة. وبينما نجحت الطريقة في بعض الاختبارات المحددة (مثل مجموعة بيانات النصوص "enwik8")، إلا أنها فشلت في اجتياز اختبار "عدم الدونية" الصارم، وعانت مع مجموعة بيانات "TinyStories".
باختصار، توضح هذه الورقة البحثية طريقة واعدة لجعل تدريب الذكاء الاصطناعي أسرع على أجهزة الكمبيوتر العادية، لكنها تضع أيضاً خطاً واضحاً في الرمال: يمكننا مقايضة الذاكرة بالسرعة، لكننا لم نجد بعد طريقة للقيام بذلك دون التضحية بجزء ضئيل من الجودة. إنها خطوة جيدة للأمام لفهم المقايضات، لكن طريقة التدريب المحلية "المثالية" التي تعمل في كل مكان لا تزال قيد التطوير.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.