🤖 machine learning
Why Do Accumulated Transformations Extrapolate?
यह शोध पत्र यह प्रदर्शित करता है कि अटेंशन मैकेनिज्म में स्थिति-अनुक्रमित रोटेशन (position-indexed rotations) को संचित, टोकन-निर्भर ऑर्थोगोनल रूपांतरणों (जैसे कि हाउसहोल्डर रिफ्लेक्शन या SO(2) रोटेशन) से बदलने से स्वाभाविक रूप से लेंथ एक्सट्रपलेशन (length extrapolation) में सुधार होता है, क्योंकि यह एक परिमित मिश्रण विंडो (finite mixing window) बनाता है और इनकोहेरेंस (incoherence) के माध्यम से दूरस्थ टोकन को दबा देता है, हालांकि ALiBi जैसे स्पष्ट 'फार-मास कंट्रोल' तंत्र के बिना अत्यधिक लंबाई पर प्रदर्शन अंततः कम हो जाता है।