Learning how to Forget: Fine-tuning for Long-Context Sparse Attention
تقدم هذه الورقة طريقة لضبط نماذج المحولات (transformer) بدقة، تتيح استنتاجاً فعالاً للسياقات الطويلة باستخدام الانتباه المتناثر على أجهزة متوسطة المواصفات، وذلك من خلال السماح للنماذج بالتكيف المشترك مع سياسات تخزين الذاكرة المؤقتة (KV cache) المتنوعة، وغالباً ما يتفوق ذلك على نهج الانتباه الدقيق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد أنظمة الذكاء الاصطناعي الحديثة التي تولد نصوصاً تشبه النصوص البشرية على آلية تعمل كذاكرة قصيرة المدى، مما يسمح لها بتذكر ما قيل سابقاً في محادثة أو مستند طويل. تُخزن هذه الذاكرة في مخزن مؤقت رقمي يزداد حجمه مع كل كلمة جديدة يعالجها النظام. ولكي تعمل هذه الأنظمة بشكل جيد عبر نصوص طويلة، يجب أن تكون هذه الذاكرة شاسعة، لكن الأجهزة الحاسوبية المطلة لاستيعابها باهظة الثمن ومحدودة. وعندما يمتلئ المخزن المؤقت للذاكرة، يجب على النظام أن يقرر أي قطع المعلومات القديمة يتخلص منها لإفساح المجال للمعلومات الجديدة. وإذا تخلص من المعلومات الخاطئة، فسيفتقد النظام قدرته على التفكير أو الإجابة على الأسئلة بدقة. وهذا يخلق مقايضة صعبة: الحفاظ على ذاكرة صغيرة يوفر المال ويسمح للنظام بالعمل على معدات قياسية، ولكنه يخاطر بفقدان السياق اللازم ليكون ذكياً.
لقد حاول الباحثون طويلاً حل هذه المشكلة من خلال تعليم النظام أن يكون انتقائياً بشأن ما يحتفظ به، وهي عملية تُعرف باسم "الاهتمام المتفرق" (sparse attention). ومع ذلك، تكشف دراسة جديدة عن خلل جوهري في كيفية تدريب هذه الأنظمة حتى الآن. فمعظم الطرق الموجودة تدرب الذكاء الاصطناعي باستخدام ذاكرة مثالية وغير محدودة، ثم تحاول إجباره على العمل بذاكرة محدودة لاحقاً. ووجد الباحثون أن هذا النهج يفشل لأن الذكاء الاصطناعي لم يتعلم أبداً كيف يعمل تحت القيود المحددة التي سيواجهها فعلياً. ومن خلال تدريب النموذج على النسيان المتعمد والتكيف مع حجم ذاكرة ثابت منذ البداية، أثبت الفريق أن النظام يمكنه الأداء بشكل أفضل بكثير من تلك النماذج التي دُربت بموارد غير محدودة، حتى عند تشغيله على شريحة حاسوبية واحدة متوسطة القوة.
قام الفريق، الذي بقيادة علماء من خدمات أمازون ويب (AWS) وجامعة أمستردام، بتطوير طريقة جديدة لضبط هذه النماذج اللغوية الكبيرة. فبدلاً من استخدام حواسيب فائقة ضخمة لمحاكاة الذاكرة المثالية، علموا النماذج كيف تتكيف مع سياسة إدارة ذاكرة محددة. تخيل أميناً للمكتبة تم تدريبه على تنظيم الكتب في مكتبة ذات رفوف لا نهائية، ليُقال له لاحقاً أن يعمل في غرفة ضيقة بها رف واحد فقط. أمين المكتبة الذي تدرب في المكتبة الكبيرة سيواجه صعوبة على الأرج_ح في تحديد الأولويات لما يجب الاحتفاظ به في الغرفة الصغيرة. في المقابل، فإن الطريقة المقترة في هذه الورقة البحثية تدرب أمين المكتبة مباشرة في الغرفة الصغيرة، وتعلمه بالضبط أي الكتب يجب الاحتفاظ بها وأيها يجب التخلص منه بناءً على قواعد ذلك الفضاء المحدد. وهذا يسمح للنموذج بتعلم إيقاع قيوده الخاصة، بدلاً من محاولة التخلي عن عادات امتلاك مساحة كبيرة جداً.
اختبر الباحثون هذا النهج على نموذج يحتوي على أربعة مليارات معلمة (parameter)، وهو حجم كبير ولكن يمكن إدارته. وقد أجروا تجاربهم على بطاقة رسوميات واحدة بذاكرة سعة 40 جيجابايت، وهو إعداد ميسور التكلفة للعديد من المؤسسات مقارنة بمجموعات البطاقات التي تتكون من عشرات البطاقات المطلوبة في الطرق السابقة. وقارنوا تقنيتهم الجديدة بالأسلوب المعياري، الذي يستخدم تقنية تسمى "توازي التسلسل" (sequence parallelism) لتوزيع حمل الذاكرة عبر أجهزة متعددة باهظة الثمن. وأظهرت النتائج أن النماذج المدربة بالطريقة الجديدة غالباً ما تفوقت على النماذج القياسية، لا سيما عندما تتطلب المهمة من النظام توليد إجابات محددة وموجزة بدلاً من نصوص طويلة ومسهبة. وفي عدة اختبارات تتضمن أسئلة معقدة واستخراج بيانات، أنتجت الطريقة القياسية مخرجات كانت طويلة جداً ومليئة بأرقام عشوائية وغير منطقية، بينما تعلمت الطريقة الجديدة التوقف في الوقت المناسب وتقديم القيمة الوحيدة الصحيحة.
كان جزء رئيسي من هذا النجاح هو تحسين "أوراكل الهيتر الثقيل" (heavy-hitter oracle)، وهي استراتيجية شائعة لتقرير المعلومات التي يجب الاحتفاظ بها. تعمل هذه الاستراتيجية عن طريق تتبع قطع المعلومات التي يوليها النموذج أكبر قدر من الاهتمام بمرور الوقت. ووجد الباحثون أن النسخة الأصلية من هذه الاستراتيجية كانت بطيئة وغير فعالة. لذا قاموا بإعادة كتابة الكود الأساسي ليعمل بشكل أسرع بكثير، مما سمح للنظام بحساب درجات الأهمية هذه دون إبطاء العملية برمتها. هذا التحسين يعني أن النظام يمكنه اتخاذ قرارات ذكية بشأن ما يجب نسيانه في الوقت الفعلي، دون الحاجة إلى القوة الحسابية الهائلة التي تصاحب عادةً مثل هذه المهام. كما أصدر الفريق مكتبة برمجية جديدة مفتوحة المصدر لجعل هذه التقنيات متاحة للآخرين، بهدف خفض الحاجز أمام أي شخص يرغب في بناء أنظمة ذكاء اصطناعي ذات سياق طويل دون الحاجة إلى ثروة من الأجهزة.
تسلط الدراسة الضوء على أن الطريقة التي يتم بها تدريب النموذج لا تقل أهمية عن الأجهزة التي يعمل عليها. فعندما أجبر الباحثون النموذج على التدريب بنفس قيود الذاكرة التي سيواجهها أثناء الاستخدام، تعلم كيفية التعامل مع تلك القيود بفعالية. وفي اختبار محدد يتعلق ببيانات JSON، فشلت الطريقة القياسية تماماً، حيث لم تتمكن من العثور على نقاط البيانات الصحيحة، بينما نجحت الطة الجديدة في تحديدها في حوالي نصف المرات. وهذا يشير إلى أن القدرة على التعامل مع السياقات الطويلة ليست مجرد مسألة امتلاك ذاكرة أكبر، بل هي مسألة تعليم النظام كيفية إدارة الذاكرة التي يمتلكها. وتشير النتائج إلى أنه بالنسبة للعديد من التطبيقات، فإن المسار الأكثر فعالية ليس بناء حواسيب أكبر، بل تعليم البرمجيات كيف تكون أكثر كفاءة في استخدام الموارد التي تمتلكها بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.