Dropout and Random Gradient Masking Are Asymptotically Equivalent in Large ResNets
यह शोध पत्र यह प्रदर्शित करता है कि यादृच्छिकता (randomness) इंजेक्ट करने के अपने विशिष्ट तंत्रों के बावजूद, ड्रॉपआउट (Dropout) और रैंडम ग्रेडिएंट मास्किंग (RaM), बड़े ResNets में स्पर्शोन्मुखी रूप से (asymptotically) समान हो जाते हैं, जो पूर्ण फीचर लर्निंग रिजीम (complete feature learning regime) में एक ही सीमित गतिकी (limiting dynamics) की ओर अभिसरित होते हैं।