YaRN: Efficient Context Window Extension of Large Language Models
تُعدُّ YaRN طريقةً فعالةً من حيث الحوسبة لتوسيع نافذة السياق للنماذج اللغوية الكبيرة باستخدام تضمينات الموضع الدوارة (RoPE)، وهي تتطلب عدداً أقل بكثير من الرموز وخطوات التدريب مقارنة بالطرق السابقة مع تحقيق أداء متفوق وقدرات استقراء فائقة.