On the Interaction of Batch Noise, Adaptivity, and Compression, under -Smoothness: An SDE Approach
تؤسس هذه الورقة إطاراً نظرياً موحداً لخوارزميتي Distributed Compressed SGD وSignSGD تحت معيار التنعيم (L0, L1)، وذلك عبر اشتقاق معادلات تفاضلية عشوائية (SDEs) من الدرجة الأولى مبتكرة تُنمذج بدقة التفاعل بين ضجيج الدفعة، والضغط، والتكيف، كاشفةً أن تطبيع التحديث (update normalization) أمر بالغ الأهمية للاستقرار في DCSGD، بينما تظل DSignSGD قوية حتى في ظل وجود ضجيج ذي ذيول ثقيلة.