A Pre-Training Analogue of Grokking in Language Models: Tracing Delayed Grammatical Generalization
यह शोध पत्र BLiMP मिनिमल पेयर्स का उपयोग करके LLM प्री-ट्रेनिंग के दौरान ग्रौकिंग-जैसे (grokking-like) गतिकी का अध्ययन करने के लिए एक एक्सपोज़र-आधारित ढांचे का प्रस्ताव करता है, जो यह प्रकट करता है कि मॉडल विलंबित व्याकरणिक सामान्यीकरण (delayed grammatical generalization) प्रदर्शित करते हैं, जिसके साथ अधिक भविष्य कहने योग्य, उच्च-आयामी व्याकरणिक अवधारणा वैक्टर्स और केंद्रित अटेंशन पैटर्न का उदय होता है।