When Do Attention Circuits Form? Developmental Trajectories of Capability and Attention-Sink Emergence Across Three 1B-ClassArchitectures
यह शोध पत्र तीन 1B-श्रेणी के भाषा मॉडलों में अटेंशन सर्किट के विकासात्मक प्रक्षेपवक्रों (developmental trajectories) का पता लगाता है, जो यह प्रकट करता है कि इंडक्शन सर्किट और अटेंशन सिंक का निर्माण एक एकल घटना के बजाय अलग-अलग, समयबद्ध रूप से पृथक संक्रमण हैं, और विशिष्ट सर्किट क्षमताओं को अंतिम मॉडल की आवश्यकता के बिना प्रशिक्षण के शुरुआती चरणों में ही पहचाना जा सकता है।