Retrofitting Linear Attention into Diffusion Language Models

تخيل عالم الذكاء الاصطناعي كمكتبة ضخمة وصاخبة حيث يحاول أمين مكتبة آلي فائق الذكاء كتابة قصة. لسنوات، كانت الطريقة القياسية التي يعمل بها هذا الأمين هي "التوليد الذاتي" (Autoregressive): يكتب كلمة واحدة، ثم يتوقف، ويفكر في كل ما كتبه للتو، ثم يكتب الكلمة التالية، ويتوقف، ويفكر مرة أخرى. كان الأمر يشبه بناء برج لبنة تلو الأخرى، والانتظار حتى يجف الغراء قبل إضافة اللبنة التالية. ورغم أن هذه الطريقة موثوقة، إلا أنها كانت بطيئة، خاصة للقصص الطويلة.

مؤخراً، وصلت أسلوب جديد يسمى "الانتشار" (Diffusion). بدلاً من البناء لبنة تلو أخرى، يبدأ أمين مكتبة "الانتشار" بصفحة بيضاء مليئة بعلامات الاستفهام ويحاول تخمين القصة بأكملة دفعة واحدة، مع تحسين التخمينات مراراً وتكراراً حتى تصبح الكلمات منطقية. هذا يشبه وجود فريق من الفنانين يرسمون جدارية في وقت واحد؛ يمكنهم العمل بشكل أسرع بكثير لأنهم لا ينتظرون جفاف اللبنة السابقة. ومع ذلك، حتى هذه الطريقة السريعة واجهت عقبة. فكلما كبرت الجدارية، يتعين على الفنانين النظر باستمرار إلى كل كلمة قرروها بالفعل للتأكد من أن الكلمات الجديدة تتناسب معها. إنه كمن يحاول تذكر كتاب مكون من 10,000 صفحة أثناء كتابة الصفحة 101، مما يؤدي في النهاية إلى إبطاء الجميع وملء ذاكرة المكتبة.

هذا هو اللغز الذي عالجه فريق من الباحثين. تساءلوا: "هل يمكننا جعل طريقة الانتشار السريعة هذه أسرع من خلال تغيير كيفية تذكر أمين المكتبة للماضي؟" وكانت إجابتهم خدعة ذكية تسمى "الانتباه الهجين الكتلي" (Block-Hybrid Attention). لقد أدركوا أنه بينما يحتاج أمين المكتبة إلى تذكر الفقرة الحالية بدقة (للحفاظ على تدفق الجمل)، فإنه ليس بحاجة لإعادة قراءة كل كلمة من الفصول السابقة بدقة عالية. بدلاً من ذلك، يمكنه تلخيص الفصول القديمة في "ورقة ملخص" صغيرة وثابتة الحجم. هذا يسمح لأمين المكتبة بكتابة الأجزاء الجديدة من القصة بسرعة البرق دون أن يثقل كاهله بوزن التاريخ بأكمله.

الفكرة الكبرى: نظام ذاكرة ثنائي السرعة

يقدم البحث طريقة لتطوير (أو ترقية) نموذج لغة انتشار موجود بالفعل (تحديداً نموذجاً بـ 16 مليار معلمة يسمى LLaDA 2.1) لكي يتمكن من استخدام استراتيجية "ورقة الملخص" هذه دون الحاجة إلى إعادة تدريبه من الصفر.

فكر في عقل النموذج كأنه يحتوي على 20 طبقة من التفكير. في النموذج الأصلي، تعمل كل طبقة من الطبقات العشرين كأمين مكتبة شديد الانتباه يقرأ كل كلمة سابقة لفهم الكلمة الحالية. هذا دقيق ولكنه ثقيل. ابتكار الباحثين، الانتباه الهجين الكتلي، يقسم العمل إلى نمطين:

1. نمط "الآن" (الانتباه الدقيق): عندما يعمل النموذج على الكتلة الحالية من الكلمات التي يقوم بتوليدها بنشاط، فإنه يحتفظ بنمط "شديد الانتباه". فهو يستخدم الذاكرة القياسية الثقيلة للنظر في كل كلمة في الفقرة الحالية لضمان أن الجمل منطقية تماماً.
2. نمط "الماضي" (الانتباه الخطي): عندما يحتاج النموذج لتذكر ما حدث في الكتل السابقة (الفصول المنتهية)، فإنه ينتقل إلى "الانتباه الخطي". بدلاً من إعادة قراءة الكتاب بأكمله، فإنه يستشير حالة ملخص ثابتة الحجم. الأمر يشبه النظر إلى فهرس كتاب أو ملخص من صفحة واحدة بدلاً من إعادة قراءة النص بأكمله. وهذا الملخص يظل بنفس الحجم مهما طال الكتاب.

كيف فعلوا ذلك: الترقية على مرحلتين

لم يقم الباحثون بمجرد استبدال الأجزاء والأمل في الحصول على أفضل النتائج؛ بل استخدموا عملية دقيقة من مرحلتين لضمان عدم فقدان النموذج لذكائه أثناء الترقية.

• المرحلة الأولى: تدريب الظل. أخذوا النموذج الأصلي الذكي ("المعلم") وجمدوه. ثم استبدلوا 6 من طبقات الانتباه العشرين بنسختهم الجديدة "الهجينة الكتلوية" ("الطالب"). تم تدريب "الطالب" لمحاكاة مخرجات "المعلم" بدقة، باستخدام نسخة "تالفة" من النص كمدخل. كان الأمر يشبه وجود طالب يراقب طباخاً ماهراً، يحاول تقليد حركات الشيف بدقة وتذوق نفس النكهات تماماً، ولكن فقط للأطباق المحددة التي كُلف الطالب بتغييرها. استغرقت هذه المرحلة حوالي 24 ساعة.
• المرحلة الثانية: الضبط الدقيق. بمجرد أن تعلم "الطالب" محاكاة "المعلم"، سمح الباحثون للنموذج بأكمله بالعمل معاً مرة أخرى. استخدموا تقنية تسمى LoRA (التكيف منخفض الرتبة) لإجراء تعديلات دقيقة للغاية على اتصالات النموذج. كان هذا يشبه إعطاء "لمسة تلميع" سريعة للنموذج المحدث لإصلاح أي خلل صغير قد يحدث بسبب تواصل الأجزاء الجديدة مع الأجزاء القديمة. استغرقت هذه المرحلة حوالي 6 ساعات.

النتائج: أسرع، أخف، ولا يزال ذكياً

اختبر الفريق نموذجهم المحدث، الذي أطلقوا عليه اسم LLaDA-HYBRID، لمعرفة ما إذا كان لا يزال جيداً في الكتابة وحل المشكلات، وما إذا كان أسرع بالفعل.

هل لا يزال يعرف كيف يفكر؟
للمفاجأة، نعم. على الرغم من أنهم استبدلوا 6 من أصل 20 طبقة بهذه الطريقة "الملخصة"، إلا أن أداء النموذج ظل قريباً جداً من النموذج الأصلي.

• في اختبار برمجة يسمى HumanEval، سجل النموذج الأصلي 75.6%، بينما سجل النموذج الهجين 72.0%.
• في اختبار رياضيات يسمى CMATH، حصل الأصلي على 88.3%، والهجين على 86.7%.
• ومن المثير للاهتمام، في اختبار برمجة آخر يسمى MBPP+، تحسن أداء النموذج الهجين، حيث ارتفع من 57.7% إلى 63.0%.
  يشير البحث إلى أنه بينما قد يكون النموذج أقل كمالاً قليلاً في مهام الاستدلال الأكثر صعوبة (مثل اختبار العلوم الصعب المسمى GPQA-Diamond، حيث انخفض من 38.9% إلى 30.8%)، إلا أنه حافظ إلى حد كبير على قدرته على كتابة الأكواد وحل المسائل الرياضية.

هل هو أسرع بالفعل؟
هنا تكمَّ تكمن المعجزة. نظرًا لأن النموذج لم يعد مضطراً لإعادة قراءة التاريخ الكامل للمحادثة لكل كلمة جديدة، فإنه يمكنه التعامل مع المزيد من الطلبات في وقت واحد.

• عند اختبار عدد الكلمات التي يمكن للنموذج توليدها في الثانية، كان النموذج الهجين أسرع بمقدار 1.7 مرة من النموذج الأصلي عند ذروة أدائه (عند التعامل مع 128 طلباً متزامناً).
• كان استهلاك النموذج الأصلي للذاكرة يزداد مع طول القصة، ليصل في النهاية إلى حائط مسدود حيث لا يمكنه التعامل مع المزيد من المستخدمين. أما النموذج الهجين، وبفضل "ورقة الملخص" ثابتة الحجم، فقد استطاع التعامل مع عدد أكبر من الطلبات المتزامنة قبل نفاد الذاكرة.

الخلاصة

يشير هذا البحث إلى أننا لسنا بحاجة دائماً لبناء ذكاء اصطناعي جديد وأسرع من الصفر. بدلاً من ذلك، يمكننا أخذ ذكاء اصطناعي قوي وموجود بالفعل ومنحه نظام "ذاكرة هجين". من خلال الحفاظ على تركيزه الحاد على اللحظة الحالية مع تلخيص الماضي في شكل مدمج، يمكننا جعل هذه النماذج أسرع وأكثر كفاءة بشكل كبير. وجد الباحثون أن هذه الترقية يمكن إنجازها في حوالي 60 ساعة من التدريب على بيانات عامة، مما يوفر مساراً واعداً لجعل خدمات الذكاء الاصطناعي أسرع وأرخص دون التضحية بالكثير من ذكائها. ومع ذلك، يشير المؤلفون إلى أن هذه مجرد البداية؛ فقد قاموا بترقية 6 طبقات فقط، وقد تجد الأعمال المستقبلية طرقاً لترقية عدد أكبر من الطبقات أو التعامل مع قصص أطول.