Typhoon: Towards an Effective Task-Specific Masking Strategy for Pre-trained Language Models
यह शोध पत्र 'टाइफून' (Typhoon) को प्रस्तुत करता है, जो प्री-ट्रेंड लैंग्वेज मॉडल्स के लिए एक टास्क-एडेप्टिव मास्किंग रणनीति है जो ग्रेडिएंट-आधारित टोकन सैलिएंसी का उपयोग करती है, लेकिन कई सीड्स और बैकबोन्स के माध्यम से कठोर मूल्यांकन यह प्रकट करता है कि मानक रैंडम मास्किंग पर इसके स्पष्ट लाभ सांख्यिकीय रूप से महत्वपूर्ण नहीं हैं, जो ऐसी विधियों की पुनरुत्पादकता (reproducibility) पर एक चेतावनी के रूप में कार्य करता है।