Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE
Jet-Long एक ट्यूनिंग-मुक्त, ज़ीरो-शॉट विधि है जो लघु-संदर्भ निष्ठा (short-context fidelity) और दीर्घ-संदर्भ एक्सट्रपलेशन (long-context extrapolation) को संतुलित करने के लिए RoPE रीस्केलिंग कारकों को गतिशील रूप से अनुकूलित करती है, जो एक कुशल द्वि-फोकल अटेंशन (bifocal attention) तंत्र के माध्यम से न्यूनतम इन्फरेंस ओवरहेड के साथ दीर्घ-संदर्भ बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त करती है।