🔬 condensed matter
Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining
यह शोध पत्र "नेचुरल अनग्रॉकिंग" (natural ungrokking) को प्रस्तुत करता है, जो एक ऐसी घटना है जहाँ भाषा मॉडल प्रीट्रेनिंग के दौरान स्वतः ही विशिष्ट नियमों को सीख लेते हैं और फिर उन्हें अचानक भूल जाते हैं क्योंकि प्रशिक्षण कॉर्पस में नियम-समर्थक साक्ष्य की आवृत्ति किसी नियम के अस्तित्व को निर्धारित करती है, एक ऐसी प्रक्रिया जो विषम नियंत्रण (asymmetric control) द्वारा अभिलक्षित है जहाँ एक नियम को नष्ट करना आसान है लेकिन उसे पुन: स्थापित करना असंभव है।