Sequential Correlations Change In-Context Learning: Effective Context Length and Architectural Mismatch
यह शोधपत्र इन-कॉन्टेक्स्ट लर्निंग थ्योरी को अनुक्रमिक रूप से सह-संबंधित डेटा (sequentially correlated data) तक विस्तारित करता है, जो यह प्रकट करता है कि ऐसे सहसंबंध प्रभावी कॉन्टेक्स्ट लंबाई को कम कर देते हैं जब क्वेरी स्वतंत्र होती हैं, लेकिन टेस्ट एरर में सुधार करते हैं जब क्वेरी भी सह-संबंधित होती हैं, जिससे लीनियर और सॉफ्टमैक्स अटेंशन आर्किटेक्चर के बीच इष्टतम चयन प्रभावित होता है।