YaRN: Efficient Context Window Extension of Large Language Models
تُعدُّ YaRN طريقةً فعالةً من حيث الحوسبة لتوسيع نافذة السياق للنماذج اللغوية الكبيرة باستخدام تضمينات الموضع الدوارة (RoPE)، وهي تتطلب عدداً أقل بكثير من الرموز وخطوات التدريب مقارنة بالطرق السابقة مع تحقيق أداء متفوق وقدرات استقراء فائقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك مساعداً ذكياً جداً، وهو بارع للغاية في قراءة الكتب. ومع ذلك، فإن هذا المساعد لديه قيد محدد: لديه "سبورة ذهنية" لا يمكنها استيعاب أكثر من 10 صفحات من المعلومات في المرة الواحدة. إذا حاولت إعطاءه الصفحة الحادية عشرة، فإنه ينسى فوراً كل ما في الصفحة الأولى ليفسح مجالاً لها.
هكذا تعمل النماذج اللغوية الكبيرة (LLMs) اليوم. لديها "نافذة سياق" (Context Window)—وهي حد لكمية النص الذي يمكنها "رؤيته" ومعالجته في وقت واحد.
ورقة البحث "YaRN" هي في الأساس مخطط لطريقة لتطوير تلك السبورة الذهنية، مما يجعلها أكبر بكثير دون الحاجة إلى إعادة تدريب عقل المساعد بالكامل من الص0.
إليك كيف يفعلون ذلك، مشروحاً من خلال ثلاث استعارات بسيطة:
1. مشكلة "الرباط المطاطي" (المشكلة في الطرق القديمة)
تخيل أن المساعد يستخدم مسطرة لتتبع أما- أين توجد الكلمات على الصفحة (وهذا ما يسمى "ترميز الموضع" أو Position Encoding).
حاول الباحثون السابقون توسيع السياق باستخدام "طريقة التمدد" (استيفاء الموضع - Position Interpolation). تخيل أخذ رباط مطاطي عليه علامات وتمديده ليغطي مسافة أطول بكثير. المشكلة هي؟ عندما تمد الرباط المطاطي، تصبح العلامات ضبابية ومتباعدة. يستطيع المساعد رؤية الكلمات، لكنه يفقد القدرة على تحديد مدى بعدها عن بعضها بدقة. تصبح لديه "رؤية ضبابية" للمسافات، ويبدأ في ارتكاب الأخطاء.
2. "الزوم الذكي" (حل YaRN)
بدلاً من مجرد تمديد كل شيء بشكل عشوائي، أدرك مبتكرو YaRN أن ليس كل المعلومات تحتاج إلى التمدد بنفس الطريقة.
فكر في صورة عالية الدقة.
- التفاصيل الدقيقة (مثل ملمس ورقة شجر) مهمة جداً لرؤية ما يحدث أمامك مباشرة.
- الأشكال الكبيرة (مثل خطوط الجبل العريضة) مهمة لفهم المشهد العام.
إذا قمت بعمل "زوم" للخلف لرؤية الجبل بأكما، فأنت لا تحتاج إلى عمل "زوم" للخلف على تفاصيل ورقة الشجر الصغيرة؛ بل تحتاج فقط إلى ضبط كيفية إدراكك للأشكال الكبيرة.
يعمل YaRN مثل "الزوم الذكي". فهو يترك "المعلومات عالية التردد" (التفاصيل المحلية الدقيقة التي تساعد النموذج على فهم العلاقة بين الكلمات المتجاورة) كما هي تقريباً. وفي الوقت نفسه، يقوم بضبط "المعلومات منخفضة التردد" (الهيكل العام الكبير) بسلاسة حتى يتمكن النموذج من التعامل مع تسلسلات أطول بكثير. الأمر يشبه الترقية من عدسة مكبرة إلى عدسة واسعة الزاوية دون فقدان القدرة على رؤية الخطوط الدقيقة.
3. "مفتاح التعتيم" (التحجيم الديناميكي)
تقدم الورقة أيضاً شيئاً يسمى "التحجيم الديناميكي" (Dynamic Scaling).
تخيل أن مساعدك يقرأ لفافة طويلة. عادةً، يفترض المساعد أن اللفافة طولها 10 أقدام دائماً. إذا أعطيته فجأة لفافة بطول 100 قدم، فسيصاب بالذعر.
التحجيم الديناميكي يشبه إعطاء المساعد مفتاح تعتيم (Dimmer Switch) لتركيزه. كلما أصبحت اللفافة أطول، يقوم المساعد تلقائياً بتعديل "شدة تركيزه" (الرياضيات وراء آلية الانتباه) لتناسب الطول الذي يقرأه حالياً. هذا يسمح له ببدء قراءة مستند طويل بسلاسة، بدلاً من الاصطدام بـ "جدار" حيث يتوقف فجأة عن فهم كل شيء.
لماذا يهم هذا الأمر؟
في "العالم الحقيقي"، يعد هذا أمراً بالغ الأهمية لأن:
- إنه رخيص وسريع: بدلاً من إنفاق ملايين الدولارات لـ "إعادة تعليم" نموذج لقراءة كتب أطول، يسمح لنا YaRN بـ "تعديل" النموذج الحالي باستخدام جزء ضئيل جداً من الوقت والمال (تقول الورقة: 10 أضعاف أقل من الرموز/Tokens و2.5 ضعف أقل من الخطوات).
- إنه قوي: يسمح لنماذج مثل LLaMA بقراءة مستندات ضخمة، أو قواعد برمجية كاملة، أو عقود قانونية طويلة كانت في السابق "أكبر من أن يستوعبها" في ذاكرته.
باخت-صار: يمنح YaRN الذكاء الاصطناعي "سبورة ذهنية" أكبر بكثير وأكثر وضوحاً دون التكلفة الباهظة لعملية زراعة دماغ جديدة بالكامل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.