Prox: Training-Free FFN Activation Sparsity via Approximate Intermediate-Channel Salience in LLMs
يُعد Prox إطار عمل لا يتطلب إعادة تدريب، يُمكّن من تنفيذ طبقات التغذية الأمامية (FFN) من نوع SwiGLU المتفرقة بكفاءة في النماذج اللغوية الكبيرة عبر بناء أقنعة للقنوات من خلال تقريب أهمية القنوات الوسيطة، مما يحقق تسريعاً كبيراً وجودة نموذج فائقة مقارنة بالطرق الحالية دون الحاجة إلى إعادة التدريب.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تشغيل عقل روبوت ضخم وفائق الذكاء على جهاز صغير يعمل بالبطارية. هذا العقل، المعروف باسم "النموذج اللغوي الكبير" (LLM)، مذهل في كتابة القصص، وحل المسائل الرياضية، والدردشة، لكنه أيضاً "جائع" للغاية؛ فهو يلتهم الذاكرة وقوة المعالجة لمجرد التفكير في الكلمة التالية في الجملة. لجعل هذه الروبوتات أسرع وأقل عطشاً، حاول العلماء تعليمها كيفية "تخطي" أجزاء من عملية تفكيرها التي لا تعتبر مهمة، وهذا ما يسمى بـ "التخلخل في التنشيط" (activation sparsity). فكر في الأمر كطباخ، بدلاً من تقطيع كل الخضروات الموجودة في المطبخ من أجل حساء ما، يتذوق المكونات بسرعة ويقطع فقط تلك التي ستضيف نكهة فعلياً، تاركاً الباقي دون مساس. الهدف هو الحصول على نفس الحساء اللذيذ (الإجابة الصحيحة) ولكن بجهد أقل بكثير. ومع ذلك، فإن الجزء الصعب هو معرفة أي الخضروات يجب تخطيها دون التخلص بالخطأ من التوابل السرية التي تجعل الطبق شهياً. إذا أخطأت في التقدير، فسيكون طعم الحساء باهتاً، أو والأسوأ من ذلك، غير قابل للأكل.
هذا هو اللغز الذي يعالجه أسلوب جديد يسمى "بروكس" (Prox)، والذي طوره الباحث جينيي ليو وفريقه. لقد ركزوا على نوع محدد من بنية عقول الروبوتات يسمى "سويجلو" (SwiGLU)، وهو المعيار الحالي للعديد من النماذج القوية. اكتشف الباحثون أنه بينما تحتفظ "الفكرة الوسطى" لعقل الروبوت (الحالة المتوسطة) بالخريطة المثالية لتقرير ما يجب تخطيه، فإن حساب تلك الخريطة بدقة يكون بطيئاً ومكلفاً للغاية. لذا، ابتكروا حيلة ذكية من خطوتين: أولاً، يستخدمون "مسودة أولية" سريعة ومنخفضة الجودة لتفكير العقل لتحديد الأجزاء المهمة بسرعة. ثم، وهذا هو المفتاح، يقومون فقط بالعمليات الحسابية الثقيلة والدقيقة على تلك الأجزاء المهمة تحديداً، متجاهلين الباقي تماماً. أظهرت تجاربهم أن هذه الطريقة أفضل بكثير من الحيل السابقة التي حاولت تخمين الأهمية دون إجراء العمليات الحسابية الكاملة أولاً. وفي الاختبارات عبر عشرة نماذج مختلفة للذكاء الاصطناعي، تمكن "بروكس" من تسريع تفكير الروبوت بمقدار الضعف تقريباً (حتى 1.99 مرة) مع الحفاظ على ذكاء الإجابات تماماً مثل النسخة البطيئة كاملة السرعة. إنه يشبه امتلاك كشاف فائق السرعة يركض في المقدمة ليحدد المسار، مما يسمح للجيش الرئيسي بالسير فقط على الطرق الممهدة والآمنة، مما يوفر الوقت والطاقة دون الضياع.
المشكلة: غداء الروبوت الثقيل
النماذج اللغوية الكبيرة تشبه المكتبات الضخمة من المعرفة، لكنها ثقيلة جداً أيضاً. عندما تحاول الإجابة على سؤال، يتعين عليها نقل كمية هائلة من البيانات داخل ذاكرتها. يأتي جزء كبير من هذه الحركة من جزء محدد في الدماغ يسمى "شبكة التغذية الأمامية" (FFN). يمكنك التفكير في الـ FFN كجزء من الدماغ يأخذ فكرة، ويعالجها، ثم يمررها. في النماذج الحديثة، يستخدم هذا الجزء وصفة خاصة تسمى "سويجلو" (SwiGLU)، والتي تتضمن ثلاث عمليات رياضية (إسقاطات) تعمل معاً.
المشكلة هي أن هذه العمليات الثلاث ثقيلة جداً لدرجة أنها تبطئ كل شيء. حاول العلماء إصلاح ذلك بجعل النموذج "متخلخلاً" (sparse)، أي أنهم يحاولون تخطي الرياضيات الخاصة بالأجزاء التي تبدو غير مهمة. ومع ذلك، فإن الأساليب الحالية للقيام بذلك دون إعادة تدريب النموذج (الذي يستغرق وقتاً طويلاً جداً) بها خلل؛ فهي غالباً ما تخمن الأجزاء التي يجب تخطيها بناءً على معلومة واحدة فقط، مثل النظر إلى "البوابة" فقط أو "الجزء الصاعد" فقط من الوصفة. هذا يشبه محاولة تقرير ما إذا كانت الأغنية جيدة من خلال الاستماع إلى الطبول فقط أو الغناء فقط. إذا أخطأت في التقدير، فستتخطى نوتة حاسمة، وتنهار الأغنية (أو إجابة الذكاء الاصطناعي). وكلما حاول العلماء تخطي المزيد والمزيد من الأجزاء لتسريع العملية، انخفضت جودة الإجابات بشكل كبير.
الرؤية: الخريطة مقابل الرحلة
لاحظ الباحثون، بقيادة جينيي ليو، شيئاً مثيراً للاهتمام حول وصفة "سويجلو". هناك لحظة محددة في العملية تسمى "الحالة المتوسطة" (لنسمها "الفكرة الوسطى"). هذه الفكرة الوسطى هي الإشارة المثالية لتقرير الأجزاء التي يجب الاحتفاظ بها والأجزاء التي يجب تخطيها. إذا استطعت رؤية هذه الفكرة الوسطى بدقة، يمكنك تخطي ما يصل إلى 70% من العمل والحصول على إجابة مثالية.
لكن إليك العقبة: لرؤية هذه الفكرة الوسطى بدقة، عليك القيام بكل الرياضيات الثقيلة أولاً. إنه يشبه محاولة رؤية خط النهاية في سباق، لكن عليك أن تركض السباق بأكمله لتصل إلى هناك. وهذا يلغي الغرض من محاولة توفير الوقت.
أدرك الفريق أنهم لا يحتاجون فعلياً إلى القيمة الدقيقة للفكرة الوسطى. كانوا يحتاجون فقط إلى معرفة ترتيب الأهمية. كانوا بحاجة لمعرفة أي الأجزاء كانت "كبيرة" وأيها كانت "صغيرة"، وليس الأرقام الدقيقة. هذا هو الفرق بين معرفة عدد الدولارات الموجودة في محفظتك بالضبط وبين مجرد معرفة أي الأوراق النقدية هي الأكبر. إذا استطعت تخمين الترتتيب بشكل صحيح، يمكنك اختيار الأشياء الصحيحة للاحتفاظ بها.
الحل: حيلة "بروكس" ذات المرحلتين
لحل هذه المشكلة، ابتكر الفريق إطار عمل "بروكس" (Prox)، والذي يعمل ككشاف ذكي وبناء دقيق.
المرحلة الأولى: الكشاف السريع (بناء النموذج البديل)
في المرحلة الأولى، يستخدم "بروكس" نسخة "رخيصة" من الرياضيات. يأخذ المدخلات ويمررها عبر نسخة مبسطة ومنخفضة الجودة من الدماغ (باستخدام أوزان مكممة، وهي مثل أرقام أصغر ومضغوطة). هو لا يحاول الحصول على الإجابة المثالية؛ بل يريد فقط الحصول على فكرة تقريبية عن القنوات الصاخبة والهادئة. يقوم بإنشاء "قناع" (mask)، وهو عب zasad قائمة بـ "احتفظ" و"تجاهل". ولأن هذه المرحلة تستخدم رياضيات مبسطة، فهي سريعة جداً ولا تتطلب الكثير من الذاكرة. والأهم من ذلك، أن الأخطاء في هذه الحسابات التقريبية لا تفسد النتيجة النهائية لأن الأرقام التقريبية لا تُستخدم أبداً للمخرج النهائي، بل تُستخدم فقط لصنع القائمة.
المرحلة الثانية: البناء الدقيق (الحساب المتخلخل الدقيق)
بمجرد إنشاء القائمة، تبدأ المرحلة الثانية. هنا يحدث السحر الحقيقي. ينظر النموذج إلى القائمة من المرحلة الأولى ويقول: "حسناً، سنقوم بتجاهل 70% من العمل وسنقوم فقط بالرياضيات لأفضل 30%". ولكن هنا يكمكم الفرق عن الأساليب الأخرى: بالنسبة لهذه الـ 30% الأعلى، يستخدم "بروكس" الرياضيات الأصلية كاملة الدقة والثقيلة. هو يحسب القيم الدقيقة للأجزاء المهمة. هذا يضمن أن الإجابة النهائية دقيقة تماماً كما لو كان النموذج قد قام بكل العمل، لكنه قام بالعمل فقط للأجزاء التي كانت مهمة.
لماذا يعمل بشكل أفضل؟
اختبر الباحثون "بروكس" على عشرة نماذج مختلفة من نماذج اللغة الكبيرة، بما في ذلك نماذج شهيرة مثل Qwen وMistral وLlama-3. وقارنوه بطرق أخرى تحاول تخطي العمل دون إعادة التدريب.
كانت النتائج واضحة: "بروكس" هو الفائز. عند مستويات التخطي العالية (مثل تخلخل بنسبة 70%)، بدأت الطرق الأخرى في ارتكاب الأخطاء، وأصبحت إجابات الذكاء الاصطناعي أسوأ. أما "بروكس"، فقد حافظ على حدة الإجابات. في الواقع، عند تخلخل بنسبة 70%، تمكن "بروكس" من تسريع عملية فك التشفيد (السرعة التي يولد بها الذكاء الاصطناعي النص) بمقدار يصل إلى 1.99 مرة على بطاقة رسومات قياسية. هذا يعني أن الذكاء الاصطناعي يمكنه التحدث بسرعة تقارب الضعف دون أن يفقد ذكاءه.
تحقق الفريق أيضاً مما إذا كانت هذه الطريقة الجديدة ستتعطل إذا حاولت دمجها مع حيل تسريع أخرى، مثل تصغير الأرقام (الكمية/quantization) أو تخطي أجزاء من آلية الانتباه. ووجدوا أن "بروكس" يعمل بشكل مثالي جنباً إلى جنب مع هذه الأساليب الأخرى، مثل المحول العالمي الذي يناسب أي إعداد.
الخلاصة
تخلص الورقة البحثية إلى أن "بروكس" هو وسيلة قوية لزيادة سرعة الذكاء الاصطناعي دون الحاجة لإعادة التدريب. إنه يثبت أنك لست بحاجة لإعادة تدريب نموذج ضخم لجعله فعالاً. بدلاً من ذلك، يمكنك استخدام عملية ذكية من خطوتين: استخدم تخميناً سريعاً وتقريبياً للعثور على الأجزاء المهمة، ثم قم بالعمل الشاق فقط على تلك الأجزاء. هذا النهج يتجنب "لعبة التخمين" التي تسببت في فشل الأساليب الأخرى، مما يضمن بقاء عقل الروبوت سريعاً وذكياً، حتى عندما يعمل على جهاز صغير. وبينما النسخة الحالية هي الأفضل للمحادثات الفردية (مثل الدردشة على الهاتف)، يشير الباحثون إلى أنه مع بعض العمل الإضافي، يمكن لهذه الفكرة أن تساعد في النهاية في تشغيل مجموعات أكبر من المستخدمين بكفاءة. في الوقت الحالي، يعد هذا خطوة كبيرة للأمام في جعل الذكاء الاصطناعي أسرع دون التضحية بذكائه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.