MKOR: Momentum-Enabled Kronecker-Factor-Based Optimizer Using Rank-1 Updates
تقدم هذه الورقة MKOR، وهو مُحسّن من الدرجة الثانية مدعوم بالزخم يستخدم تحديثات من الرتبة-1 وعمليات عكس تعتمد على صيغة شيرمان-موريسون لتقليل التعقيد الحسابي والتواصلي من الدرجة التكعيبية إلى الدرجة التربيعية والخطية على التوالي، مما يؤدي إلى تسريع تدريب وتقارب النماذج اللغوية الكبيرة بشكل كبير مقارنة بأحدث أساليب الدرجة الأولى والدرجة الثانية.
في المشهد الشاسع للذكاء الاصطناعي الحديث، تُبنى أقوى الأنظمة على الشبكات العصبية العميقة، وهي هياكل رياضية معقدة تتعلم التعرف على الأنماط، وترجمة اللغات، وتوليد النصوص. ولتعليم هذه الأنظمة، يجب على الباحثين حل مشكلة تحسين هائلة: وهي إيجاد المجموعة المثالية من الأرقام الداخلية، أو الأوزان، التي تسمح للشبكة بتقديم تنبؤات دقيقة. لعقود من الزمن، كان النهج القياسي هو دفع هذه الأوزان في الاتجاه الذي يقلل الخطأ بأسرع ما يمكن، وهي طريقة تشبه متسلقاً يشق طريقه للأسفل في جبل ضبابي عبر التحسس للمنحدر تحت قدميه. هذه الطريقة من الدرجة الأولى موثوقة وتُستخدم على نطاق واسع، لكنها قد تكون بطيئة، حيث تستغرق غالباً آلاف الخطوات للوصول إلى قاع الوادي.
أما الاستراتيجية الأكثر طموحاً، والمعروفة باسم التحسين من الدرجة الثانية، فتحاول تزويد المتسلق بخريطة للتضاريس بأكملها، بما في ذلك انحناء الأرض، مما يسمح بعمليات هبوط أسرع بكثير. ومن خلال فهم كيفية تغير المنحدر، يمكن لهذه الطرق نظرياً الوصول إلى الحل الأمثل في عدد أقل بكال كثير من الخطوات. ومع ذلك، كان هذا النهج تاريخياً مكلفاً للغاية من الناحية الحسابية بحيث لا يمكن تطبيقه عملياً على النماذج الضخمة المستخدمة اليوم. فلحساب معلومات الانحناء اللازمة لشبكة كبيرة، يتطلب الأمر قدرة معالجة وذاكرة هائلة، مما يجعل الطريقة غالباً أبطأ من النهج الأبسط الذي تهدف إلى استبداله. كان التحدي يكمن في التقاط سرعة المتسلق الذي يقرأ الخريطة دون عبء حمل الخريطة الثقيل.
قام فريق من الباحثين من جامعة تورنتو، وجامعة روتجرز، ومركز تكساس للحوسبة المتقدمة بتطوير أداة جديدة تسمى MKOR تحل هذه المعضلة. لقد ابتكروا مُحسِّناً مدعوماً بالزخم يستخدم اختصاراً رياضياً محدداً لتقريب شكل التضاريس دون حساب كل التفاصيل. وبدلاً من محاولة حساب الانحناء الكامل والمعقد لمشهد الخسارة، يستخدم MKOR تقنية تسمى تحديثات الرتبة الأولى (rank-1 updates). يبسط هذا النهج عملية الحساب من خلال التركيز على أهم اتجاه للتغيير، مما يقلل فعلياً من التكلفة الحسابية من علاقة تكعيبية إلى علاقة تربيعية. ومن الناحية العملية، يعني هذا أن الطريقة تتوسع بشكل أفضل بكثير مع كبر حجم النماذج، مما يتجنب الاختناقات التي منعت سابقاً استخدام طرق الدرجة الثانية في النماذج اللغوية الكبيرة.
اختبر الباحثون هذا المُحسِّن الجديد على نموذج لغوي كبير يُعرف باسم BERT-Large-Uncased، حيث أجروا تجارب على 64 معالج رسوميات عالي الأداء. وقارنوا MKOR بأفضل طرق الدرجة الأولى الموجودة حالياً وبأكثر تطبيقات الدرجة الثانية تقدماً والمتاحة. كانت النتائج مذهلة؛ ففي مهمة تتضمن الإجابة على الأسئلة، تطلبت طريقة الدرجة الأولى القياسية 1,536 خطوة للوصzial إلى مستوى معين من الدقة، بينما وصلت طريقة MKOR الجديدة إلى نفس الدقة أو أفضل منها في 600 خطوة فقط. وعند قياس الوقت الإجمالي المطلوب لإتمام التدريب، أنهى MKOR المهمة في ثلاث ساعات وبقليل، بينما استغرقت الطريقة القياسية ما يقرب من ثماني ساعات. ويمثل هذا تسريعًا بمقدار 2.57 مرة، مما أدى فعلياً إلى تقليص وقت التدريب بأكثر من النصف.
وإلى جانب السرعة الخام، تناولت الدراسة مشكلة استقرار حرجة غالباً ما تعيب طرق الدرجة الثانية. ولأن هذه الطرق تعدل عملية التعلم بناءً على عوامل رياضية معقدة، فإنها عرضة لظاهرة "انفجار التدرجات" (exploding gradients)، وهي ظاهرة تصبح فيها التعديلات كبيرة جداً لدرجة تؤدي إلى انهيار عملية التدريب أو تباعدها. كانت الحلول السابقة تتطلب غالباً إبطاء معدل التعلم بشكل كبير للحفاظ على السلامة، مما يلغي فوائد السرعة. يتضمن MKOR مُثبتاً مدمجاً يراقب حجم هذه التعديلات؛ فإذا نمت القيم بشكل كبير جداً، يقوم النظام تلقائياً بإعادة ضبط مقياسها، مما يمنع التدريب من الانهيار مع الحفاظ على الوتيرة القوية لنهج الدرجة الثانية. وهذا يسمح للمُحسِّن بالتحرك بسرعة دون خطر عدم الاستقرار.
لاحظ الباحثون أيضاً أن ميزة طرق الدرجة الثانية تظهر بوضوح أكبر في المراحل الأولى من التدريب، عندما يتعلم النموذج المعالم العريضة للبيانات. ومع اقتراب النموذج من الحل الأمثل، تتضاءل فوائد حسابات الانحناء المعقدة. ولمعالجة ذلك، قدموا نسخة هجينة من المُحسِّن تسمى MKOR-H. تبدأ هذه النسخة بطريقة الدرجة الثانية القوية لتسريع مرحلة التعلم الأولية، لكنها تنتقل تلقائياً إلى طريقة أبسط من الدرجة الأولى بمجرد توقف خسارة التدريب عن التناقص بسرعة. سمح هذا النهج الهجين للنظام بالتقارب في عدد خطوات أقل، محققاً نفس الدقة النهائية للطريقة القياسية في أقل من نصف الوقت.
كما بحثت الدراسة في سبب نجاح هذا الاختصار الرياضي المحدد بشكل جيد. حلل الباحثون هياكل البيانات داخل الشبكة العصبية ووجدوا أن مصفوفات التغاير (covariance matrices)، التي تصف كيفية تفاعل أجزاء الشبكة المختلفة، غالباً ما تكون من رتبة منخفضة. وهذا يعني أنه على الرغم من الأبعاد العالية للبيانات، فإن المعلومات تتركز في اتجاهات رئيسية قليلة. ومن خلال تقريب هذه المصفوفات باستخدام تحديثات الرتبة الأولى، يلتقط MKOR المعلومات الأساسية اللازمة للتحسين دون العبء الإضافي لحسابات المصفوفة الكاملة. وقد تحقق الفريق من خلال اختبارات مكثفة أن هذا التقريب لا يسبب إلا قدراً ضئيلاً جداً من الخطأ، مما يؤكد أن التبسيط لا يأتي على حساب الدقة.
بالإضافة إلى السرعة والاستقرار، تقلل الطريقة الجديدة بشكل كبير من كمية البيانات التي يجب نقلها بين المعالجات المختلفة أثناء التدريب. ففي الحوسبة الموزعة، حيث تعمل آلاف المعالجات معاً، يمكن أن يصبح التواصل عائقاً رئيسياً. يقلل MKOR من تعقيد الاتصال هذا من علاقة تربيعية إلى علاقة خطية، مما يعني أنه مع إضافة المزيد من المعالجات، يتوسع النظام بكفاءة دون أن يعوقه تأخير نقل البيانات. وتسمح هذه الكفاءة للطريقة بالتعامل مع أحجام الدفعات الضخمة التي تتطلبها النماذج اللغوية الكبيرة الحديثة، وهو ما كان يمثل عائقاً أمام أساليب الدرجة الثانية السابقة.
تتجاوز آثار هذا العمل مجرد تدريب نموذج واحد محدد. فمن خلال جعل تحسين الدرجة الثانية عملياً للأنظمة واسعة النطاق، يوفر MKOR مساراً نحو تدريب أكثر كفاءة للذكاء الاصطناعي. وأشار الباحثون إلى أن طريقتهم يمكن أن تساعد في توفير كميات كبيرة من الطاقة والوقت لممارسي تعلم الآلة. وبينما تعد التكنولوجيا نفسها أداة محايدة، فإن تطبيقها في مجالات تتراوح من التشخيص الطبي إلى نمذجة المناخ يمكن أن يسرع الاكتشاف العلمي. ومع ذلك، أقر المؤلفون أيضاً بأن خوارزميات التحسين الفعالة يمكن تطبيقها على أي نموذج، بما في ذلك تلك ذات الآثار الاجتماعية السلبية، مؤكدين أن الاستخدام المسؤول لهذه التكنولوجيا يعتمد على خيارات الأشخاص الذين يستخدمونها.
في الختام، تقدم الورقة حلاً ملموساً لمشكلة طويلة الأمد في التعلم العميق. فمن خلال الجمع بين الزخم، وتقريبات الرتبة الأولى، وآلية التبديل الهجينة، ابتكر الباحثون مُحسِّناً أسرع وأكثر استقراراً وقابلية للتوسع من سابقيه. وتثبت التجارب أنه من الممكن تسخير قوة طرق الدرجة الثانية دون التكاليف الحسابية الباهظة التي أبقتها في الظل. ومع استمرار مجال الذكاء الاصطناعي في الدفع نحو نماذج أكبر وأكثر تعقيداً، توفر أدوات مثل MKOR وسيلة لتدريب هذه الأنظمة بكفاءة أكبر، محولةً ما كان يوماً ميزة نظرية إلى واقع عملي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.