🤖 machine learning
Lost in the Middle at Birth: An Exact Theory of Transformer Position Bias
यह शोध पत्र तर्क देता है कि लार्ज लैंग्वेज मॉडल्स में "लॉस्ट इन द मिडल" (Lost in the Middle) घटना कॉज़ल डिकोडर आर्किटेक्चर का एक अंतर्निहित ज्यामितीय गुण है जो इनिशियलाइजेशन के समय मौजूद होता है, जो कॉज़ल मास्किंग और रेसिडुअल कनेक्शन्स के बीच परस्पर क्रिया के कारण होता है जो कॉन्टेक्स्ट के मध्य में एक संरचनात्मक रूप से प्रतिकूल "डेड ज़ोन" (dead zone) बनाता है, एक ऐसा पूर्वाग्रह जो मानक प्रीट्रेनिंग के बाद भी बना रहता है।