Distinct mechanisms underlying in-context learning in transformers
यह शोध पत्र डिस्क्रीट मार्कोव चेन पर प्रशिक्षित ट्रांसफॉर्मर में इन-कॉन्टेक्स्ट लर्निंग का एक पूर्ण यांत्रिक लक्षण वर्णन प्रदान करता है, जो विशिष्ट मल्टी-लेयर सबसर्किट्स द्वारा कार्यान्वित चार एल्गोरिद्मिक चरणों को प्रकट करता है और उन विशिष्ट डेटा विविधता थ्रेशोल्ड और प्रशिक्षण गतिकी की पहचान करता है जो मेमोराइजेशन और जनरलाइजेशन रणनीतियों के बीच संक्रमण को नियंत्रित करते हैं।