Intermittent Semi-Working Mask: A New Masking Paradigm for LLMs
यह शोध पत्र इंटरमिटेंट सेमी-वर्किंग मास्क (ISM) को प्रस्तुत करता है, जो एक पैरामीटर-मुक्त मास्किंग योजना है जो इन्फरेंस दक्षता बनाए रखते हुए और महंगी प्रशिक्षण डेटा विस्तार से बचते हुए, मल्टी-टर्न संवाद और संदर्भ-गहन तर्क प्रदर्शन को बढ़ाने के लिए कॉज़ल (causal) LLMs में स्पार्स द्विदिश अटेंशन (sparse bidirectional attention) को इंजेक्ट करता है।