Local Credit Assignment for CPU Transformers: Readout Consensus and the Cost of Predictive Coding
تقيم هذه الورقة طرق تخصيص الائتمان المحلي لنماذج المحولات القائمة على وحدة المعالجة المركزية، حيث وجدت أنه في حين أن إجماع تدرج القراءة غير المتزامن يحسن إنتاجية التدريب، فإن كلاً من هذا النهج ونهج الترميز التنبؤي يفشلان في مضاهاة جودة الانتشار العكسي أو إرساء بديل تسريع عام يحافظ على الجودة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم الذكاء الاصطناي، تُبنى أقوى الأنظمة مثل أبراج شاهقة من المنطق، حيث تعالج كل طبقة فيها المعلومات ثم تمررها إلى الطبقة التي تليها. ولتعليم هذه الأبراج التفكير، يستخدم العلماء تقليديًا طريقة تسمى "الانتشار العكسي" (backpropagation). تخيل معلمًا يتجول عبر المبنى بأكمله، من الطابق العلوي وصولاً إلى الأساس، ليصحح الأخطاء في كل خطوة بناءً على النتيجة النهائية. يضمن هذا أن الهيكل بأكمله يتعلم بشكل صحيح، لكنه عملية تسلسلية بطيئة: فلا يمكن للمعلم الانتقال إلى الطابق التالي حتى ينتهي من الطابق الحالي. وهذا يخلق عنق زجاجة، خاصة عند محاولة تشغيل هذه الأنظمة الضخمة على معالجات الكمبيوتر القياسية، المصممة للتعامل مع مهام متعددة في وقت واحد بدلاً من سلسلة طويلة من الأحداث المتتالية.
لطالما تساءل الباحثون عما إذا كان بإمكانهم كسر هذه السلسلة. ماذا لو تعلم كل طابق في البرج من أخطائه المحلية الخاصة، بحيث يعمل بالتوازي مع الطوابق الأخرى، دون انتظار المعلم ليمشي نزولاً إلى الأسفل؟ هذه الفكرة، المعروفة باسم "التعلم المحلي"، تعد بإطلاق العنان لسرعة الرقائق الحاسوبية الحديثة. ومع ذلك، هناك عقبة؛ فإذا نظر كل طابق فقط إلى أخطائه المباشرة، فقد يغفل عن الصورة الأكبر لكيفية تأثير عمله على النتيجة النهائية. والسؤال الجوهري لعلماء الكمبيوتر هو ما إذا كانت هذه السرعة ستأتي على حساب الذكاء، أو ما إذا كانت هناك طريقة لتنسيق هؤلاء العمال المستقلين لضمان تعلمهم الدروس الصحيحة.
وضعت دراسة حديثة أجراها فيكرام ليكس في "KarLex AI" هدفًا لاختبار هذه المقايضة على أجهزة حقيقية. قام الفريق ببناء برج رقمي مكون من أربع وعشرين طبقة وأجروا تجارب على خادم قوي مجهز بوحدات معالجة مركزية قياسية. وقارنوا بين الطريقة التقليدية البطيئة لتعليم البرج بأكمله دفعة واحدة، وبين نهج جديد تتعلم فيه أقسام مختلفة من البرج في وقت واحد. ولإنجاح ذلك، استحدثوا نظامًا يسمى "إجماع تدرج القراءة" (readout-gradient consensus). في هذا الإعداد، يحسب كل قسم من أقسام البرج مدى مساهمة جزئه المحدد في المخرج النهائي ويرسل هذه المعلومات إلى منسق مركزي. يقوم المنسق بعد ذلك بمتوسط هذه التقارير لتحديث الجزء النهائي من عملية اتخاذ القرار في النموذج. وهذا يسمح للأقسام المختلفة بالعمل بالتوازي، مما يؤدي نظريًا إلى تسريع عملية التدريب بشكل كبير.
أظهرت النتائج أن هذا النهج المتوازي كان بالفعل أسرع؛ حيث عالج النظام الجديد البيانات بسرعة تبلغ حوالي 1.38 ضعف الطريقة التقليدية. ومع ذلك، جاء هذا المكسب بثمن باهظ، إذ تضاعفت الذاكرة المطلوبة لتشغيل النظام المتوازي لأكثر من مرتين، حيث قفزت من أقل من اثنين جيجابايت إلى أكثر من أربعة جيجابايت. والأهم من ذلك، أن السرعة لم تأتِ مع ضمان لجودة متساوية؛ فعندما اختبر الباحثون النماذج على بيانات لم يسبق لهم رؤيتها، فشلت الطريقة الأسرع في تلبية معيار صارم للدقة. وبالرغم من أن الفرق في الأداء كان صغيرًا من الناحية المطلقة، إلا أنه كان ذا دلالة إحصائية كافية لاستبعادها كبديل مباشر للطريقة التقليدية. ووجدت الدراسة أنه بينما يمكن للنظام المتوازي التعلم، فإنه يعاني من أجل الحفاظ على نفس مستوى الدقة الذي توفره الطريقة الأبطأ والأكثر دقة.
كما بحث الباحثون فيما إذا كان بإمكانهم استعادة الجودة المفقودة عن طريق إضافة آلية لنقل المعلومات حول الأخطاء المستقبلية إلى الطبقات الأولى. وقد جربوا تقنية تسمى "الترميز التنبؤي" (predictive coding)، والتي تحاول تخمين النتيجة النهائية وإرسال هذا التنبؤ إلى الخلف لتوجيه الطبقات الأولى. وفي تجربة منفصلة وأصغر لبرج مكون من اثنتي عشرة طبقة، تمكنت هذه الطريقة من الاقتراب كثيرًا من جودة النهج التقليدي. ومع ذلك، تطلبت تشغيل النظام عبر جولات متعددة من "الاستدلال" (inference)، أو "التفكير"، لكل خطوة من خطوات التعلم. وهذا جعل عملية التدريب أبطأ بنحو ثلاث مرات من الطريقة القياسية. وخلصت الدراسة إلى أنه رغم إمكانية استعادة الدقة المفقودة، إلا أن التكلفة الحسابية للقيام بذلك مرتفبة للغاية حاليًا بحيث تجعلها غير عملية.
وكان أحد النتائج الرئيسية للبحث هو إثبات أن معرفة كيفية تفاعل الجزء النهائي من النظام ليست كافية لإعادة بناء مسار التعلم للأجزاء الأولى بشكل مثالي. فقد أظهر الفريق أن حالتين داخليتين مختلفتين يمكن أن تنتجا المخرج النهائي نفسه والخطأ النهائي نفسه، ومع ذلك تتطلبان تصحيحات مختلفة تمامًا للطبقات الأولى. وهذا يعني أن مجرد مشاركة التقرير النهائي ليس كافيًا؛ بل يحتاج النظام إلى فهم أعمق وأكثر تعقيدًا للمسار الذي سلكه للوصول إلى تلك النتيجة. وقد استبعدت الدراسة فكرة أن مجرد إجراء متوسط للتقارير يمكن أن يحل محل طريقة التدريس التقليدية خطوة بخطوة دون تكبد تكاليف كبيرة سواء في الجودة أو السرعة.
في نهاية المطاف، يقدم هذا العمل خريطة واضحة للمشهد الحالي لتدريب الذكاء الاصطناعي على معالجات الكمبيوتر القياسية. فهو يؤكد أنه بينما يمكن للتعلم المتوازي أن يوفر دفعة في السرعة، إلا أنه ليس "غداءً مجانيًا". فالزيادات في السرعة يصاحبها زيادة كبيرة في استخدام الذاكرة وانخفاض ملموس في الدقة لا يمكن إصلاحه بسهء. وتشير الدراسة إلى أنه بالنسبة للمؤسسات التي تعتمد على أجهزة الكمبيوتر القياسية، فإن المسار الأكثر موثوقية يظل هو الطريقة التقلية المتسلسلة، أو نهجًا هجينًا يوازن بعناقة بين هذه المقايضات. لا يقدم البحث حلاً سحريًا يجعل التدريب أسرع وأفضل في آن واحد، ولكنه يقدم قياسًا دقيقًا للتكاليف المترتبة على محاولة تحقيق ذلك الهدف. ومن خلال توثيق المواضع التي تفشل فيها الطريقة وتكلفة محاولة إصلاحها، يساعد البحث المهندسين على اتخاذ قرارات مدروسة حول كيفية بناء وتدريب الجيل القادم من الأنظمة الذكية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.