🤖 machine learning
Where's the Plan? Locating Latent Planning in Language Models with Lightweight Mechanistic Interventions
यह शोध पत्र इस बात की जांच करता है कि भाषा मॉडल योजना बनाने के दौरान भविष्य के बाधाओं (constraints) के आंतरिक निरूपण कहाँ और कैसे बनाते हैं, यह प्रकट करते हुए कि जबकि भविष्य-तुकबंदी (future-rhyme) की जानकारी कई मॉडल परिवारों और पैमानों में रैखिक रूप से डिकोडेबल है, केवल Gemma-3-27B इस जानकारी का उपयोग करने के लिए एक विशिष्ट विलंबित-परत हैंडऑफ तंत्र (late-layer handoff mechanism) पर कारणवश निर्भर करता है, जबकि अन्य मॉडल तुकबंदी वाले शब्द पर ही आधारित होते हैं बावजूद इसके कि वे मजबूत प्रोब सिग्नल प्रदर्शित करते हैं।