💬 NLP
Learning without training: The implicit dynamics of in-context learning
यह शोध पत्र प्रस्तावित करता है कि लार्ज लैंग्वेज मॉडल्स (Large Language Models) में इन-कॉन्टेक्स्ट लर्निंग (in-context learning) एक ऐसी प्रक्रिया से उत्पन्न होती है जहाँ सेल्फ-अटेंशन लेयर्स (self-attention layers) फॉरवर्ड पास के दौरान एमएलपी वेट्स (MLP weights) में निहित रूप से लो-रैंक अपडेट्स (low-rank updates) प्रेरित करती हैं, जो वास्तविक वेट परिवर्तनों के बिना प्रदान किए गए कॉन्टेक्स्ट उदाहरणों पर प्रशिक्षण के गणितीय रूप से समकक्ष है।