Cautious Optimizers: Improving Training with One Line of Code
تقدم هذه الورقة البحثية "المُحسِّنات الحذرة" (Cautious Optimizers)، وهي تعديل من سطر واحد على المُحسِّنات القائمة على الزخم مثل AdamW، يحافظ على ضمانات التقارب النظرية مع تقديم تسريع متسق في تدريب النماذج اللغوية الكبيرة وتصنيف الصور مع حد أدنى من ضبط المعلمات الفائقة.