Many Optimizers But Only One Training Path: Repeated Resampling for Adaptive Optimizer Selection
تقدم هذه الورقة طريقة إعادة أخذ عينات المُحسِّن المتكررة (ROR)، وهي طريقة تختار ديناميكيًا أفضل مُحسِّن خلال عملية تدريب واحدة عن طريق استكشاف المُحسِّنات المرشحة لفترات قصيرة بشكل دوري، مما يحقق أداءً مشابهًا لعمليات البحث الشاملة للمُحسِّنات الثابتة مع استخدام موارد حوسبية أقل بكثير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعتمد التعلم العميق، وهو التقنية التي تقف وراء كل شيء بدءاً من المساعدات الصوتية وصولاً إلى التصوير الطبي، على أدمغة اصطناعية تُعرف بالشبكات العصبية. ولتعليم هذه الشبكات، يجب على الباحثين اختيار أداة رياضية تُعرف باسم "المُحسِّن" (optimizer). فكر في المُحسِّن كأنه مجموعة القواعد التي يستخدمها الطالب لتصحيح أخطائه أثناء الدراسة؛ فهو يقرر مقدار تعديل فهمه بعد كل معلومة جديدة. لسنوات عديدة، كان الممارسة القياسية هي اختيار مجموعة واحدة من القواعد في بداية التدريب والالتزام بها حتى تنتهي المهمة. وغالباً ما يتم اتخاذ هذا الخيار بناءً على التخمين أو العادة، ومع ذلك فهو قرار حاسم يمكن أن يحدد ما إذا كان النموذج النهائي سيكون عبقرياً أم متوسطاً فحسب. والمشكلة تكمكمن في أن أفضل مجموعة من القواعد لبداية الدرس قد لا تكون هي الأفضل لنهايته، ومحاولة إيجاد القاعدة المثالية عبر اختبار كل الاحتمالات واحداً تلو الآخر أمر مكلف للغاية، ويتطلب كميات هائلة من الوقت وقدرات حوسبة غالباً ما تذهب سدى.
لقد وضع فريق من الباحثين من insureAI وETH Zürich هدفاً متمثلاً في معرفة ما إذا كان بإمكانهم جعل هذه العملية أكثر ذكاءً وأقل تكلفة. فبدلاً من تثبيت مُحسِّن واحد قبل بدء التدريب، طوروا طريقة تسمى "إعادة أخذ عينات المُحسِّن المتكررة" (Repeated Optimizer Resampling)، أو ROR. تخيل سباقاً طويلاً، بدلاً من تعيين عداء واحد للمسار بأكمله، يقوم المدرب بالتحقق من سير السباق كل بضعة أميال. عند كل نقطة تفتيش، يرسل المدرب فريقاً صغيراً من العدائين المختلفين، يستخدم كل منهم استراتيجية مختلفة، ليركضوا مسافة قصيرة فقط للأمام. يراقب المدرب من أداؤهم هو الأفضل خلال تلك المسافة القصيرة، فيحتفظ بهذا العداء، ويرسله ليكمل المسار التالي، بينما يتم إرسال الآخرين إلى المنزل. تتكرر هذه العملية طوال جلسة التدريب، مما يسمح للفريق بتغيير الاستراتيجيات مع تقدم الرحلة. اختبر الباحثون هذه الفكرة في أربع مهام مختلفة: اثنتان تتعلقان بتصنيف صور الأرقام المكتوبة بخط اليد والملابس، واثنتان تتعلقان بالتنبؤ بمطالبات التأمين من جداول بيانات معقدة.
أظهرت النتائج أن هذا النهج الديناميكي يعمل بشكل جيد للغاية، ولكن مع تحول مفاجئ فيما يتعلق بالجهد المطلوب. فقد وجد الباحثون أن جولات "الاستطلاع" القصيرة لم تكن بحاجة لأن تكون طويلة لتكون فعالة. في الواقع، كان إرسال العدائين لخطوة واحدة فقط قبل اتخاذ القرار بشأن من سيتم الاحتفاظ به كافياً لإيجاد مسار يؤدي بشكل جيد تقريباً مثل أفضل استراتيجية ثابتة تم العثور عليها عبر الاختبار الشامل لكل الخيارات. وباستخدام طريقة الاستطلاع ذات الخطوة الواحدة هذه، استخدم الفريق حوالي ربع إلى ثلث إجمالي قدرة الحوسبة المطلوبة لتشغيل تسع استراتيجيات مختلفة حتى النهاية. وهذا يعني أنهم حققوا نتائج عالية الجودة تقريباً مع توفير هائل في الوقت والطاقة. وقد استطاعت الطريقة تحديد أن المهام المختلفة تتطلب استراتيجيات مختلفة؛ فعلى سبيل المثال، فضلت إحدى مهام الصور مُحسِّناً معيناً من البداية إلى النهاية، بينما قام نموذج تأمين بتغيير الاستراتيجيات عدة مرات أثناء تعلمه، مما يثبت أن القاعدة الثابتة الواحدة ليست دائماً الخيار الأفضل.
كما قارنت الدراسة بين طريقتين للتعامل مع "ذاكرة" المُحسِّن. في نسخة واحدة، إذا فازت نفس الاستراتيجية في جولتين متتاليتين، فإنها تحتفظ بمعرفتها المتراكمة وزخمها. وفي النسخة الأخرى، في كل مرة يتم فيها اختيار استراتيجية، تبدأ من لوح نظيف وجديد. وجد الباحثون أن الاحتفاظ بالذاكرة لم يؤدِ باستمرار إلى نتائج أفضل أو تكاليف أقل. وكان الاكتشاف الأكثر أهمية هو أن طول فترة الاستطلاع كان أكثر أهمية للتكلفة منه للأداء النهائي. ولأن التعلم الأكثر أهمية يحدث في الخطوات الأولى من التدريب، فإن الفحص الموجز يعد كافياً لرصد الاتجاه الأكثر واعداً. وبينما كان الفحص المبكر الواحد، المعروف باسم "الاختيار لمرة واحدة"، أرخص وعمل بشكل جيد في مهام الصور حيث ظلت الاستراتيجية الأفضل ثابتة، أثبتت عمليات التحقق المتكررة لـ ROR قيمتها في نماذج التأمين حيث تتغير الاستراتيجية الأفضل بمرور الوقت.
في نهاية المطاف، تشير الأبحاث إلى أننا لسنا بحاجة إلى اختبار كل الاحتمالات بشكل شامل للعثور على مسار تدريب جيد، كما أننا لسنا بحاجة إلى الالتزام بصرامة باختيار واحد. فمن خلال السماح لعملية التدريب بالتكيف وتغيير الاستراتيجيات بناءً على فحوصات قصيرة ومتكررة، يمكننا الوصول إلى أداء عالٍ بجزء ضئيل من التكلفة المعتادة. لا تضمن الطريقة نتيجة أفضل من أفضل استراتيجية ثابتة يتم العثور عليها بعد بحث كامل، لكنها تقترب جداً من ذروة الأداء تلك مع استخدام موارد أقل بكثير. وهذا يقدم طريقة عملية للتنقل في المشهد المعقد لتدريب الذكاء الاصطناعي، موضحاً أن النهج المرن والتكيفي يمكن أن يكون فعالاً بقدر البحث الشامل الضخم، بشرما كانت عمليات التحقق متكررة والقرارات تُتخذ بسرعة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.