SHIFT-LLM: Distribution Shift Correction in Depth-Pruned LLMs
إنَّ SHIFT-LLM هو إطار عمل للتقليم اللاحق لا يتطلب تدريباً، يعمل على استعادة الدقة في النماذج اللغوية الكبيرة التي تم تقليم عمقها عن طريق إدراج محولات متبقية خطية خفيفة الوزن تمت معايرتها عبر الانحدار ذي الصيغة المغلقة لتصحيح التحولات التوزيعية الناتجة عن إزالة كتل المحولات (Transformer blocks).
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء العديد من أدوات الذكاء الاصطناዊ الأكثر تقدمًا في يومنا هذا، وهي قادرة على كتابة القصص، وحل المشكلات، والإجابة على الأسئلة المعقدة. تُبنى هذه الأنظمة من طبقات من وحدات المعالجة الرقمية المتراصة فوق بعضها البعض، تمامًا مثل مبنى متعدد الطوابق حيث تقوم كل طابق بتنقيح المعلومات الممررة من الطابق الذي يليه. وكلما زاد عدد طوابق المبنى، زادت دقة وتطور مخرجاته النهائية، ولكن هذا يجعل الهيكل ثقيلًا للغاية ومكلفًا في التشغيل أيضًا. وبالنسبة للعديد من التطبيقات العملية، خاصة على الأجهزة ذات الطاقة أو الذاكرة المحدودة، تكون هذه النماذج الضخمة كبيرة جدًا بحيث يصعب استخدامها. ولجعلها أصغر حجمًا، طور الباحثون طرقًا لإزالة طوابق كاملة من المبنى، وهي عملية تُعرف باسم "تقليم العمق" (depth pruning). وبينما ينجح هذا في تخفيف الحمل وتسريع النموذج، إلا أنه غالبًا ما يتسبب في تعثر الطوابق المتبقية. نظرًا لأن الطوابق التي تمت إزالتها صُممت لتمرير أنواع محددة من المعلومات إلى الطوابق التي تعلوها، فإن إزالتها تترك الطبقات العليا في حالة ارتباك، حيث تتلقى إشارات لم تعد تتوافق مع ما تدربت على توقعه. وهذا التباين، المعروف باسم "انزياح التوزيع" (distribution shift)، يتسبب في فقدان النموذج لدقته ووقوعه في الأخطاء، مما يجبر المطورين على استهلاك وقت وقوة حوسبة كبيرين لإعادة تدريب النموذج لإصلاح الأخطاء.
قدم فريق من الباحثين في مختبر "هواوي نواه للأرك" (Huawei Noah's Ark Lab) نهجًا جديدًا يسمى SHIFT-LLM يحل هذه المشكلة دون الحاجة إلى إعادة التدريب. فبدلاً من محاولة إعادة بناء الطوابق المفقودة أو إعادة تعليم الطوابق المتبقية، يقوم أسلوبهم بإدراج وحدة تصحيح صغيرة وخفيفة الوزن عند كل موضع تمت فيه إزالة طبقة. تخيل لو أنك أزلت طابقًا من مبنى، فستقوم بتركيب منحدر بسيط ومصنع خصيصًا ليربط الفجوة بشكل مثالي، مما يضمن أن الأشخاص في الطوابق العليا لا يزالون يتلقون نفس التعليمات تمامًا كما لو كان الطابق المفقود لا يزال موجودًا. وفي العالم الرقمي، هذا المنحدر هو "مهايئ خطي" (linear adapter) يحافظ على المسار المباشر للمعلومات مع إضافة تعديل طفيف ومحسوب. هذا التعديل مصمم لمحاكاة المساهمة المحددة التي كان من شأن الطبقة المزالة تقديمها، مما يخدع بقية النموذج ليعتقد أن الطابق المفقود لا يزال موجودًا.
تكمن عبقرية هذه الطريقة في كيفية حساب ذلك التعديل. فبدلاً من تشغيل آلاف الساعات من التدريب لمعرفة ما كان ينبغي للطبقة المفقودة أن تفعله، يستخدم الباحثون مجموعة صغيرة من البيانات العينية لقياس المعلومات التي فُقدت بالضبط. ثم يستخدمون عملية حسابية مباشرة لتحديد التصحيح الدقيق اللازم لاستعادة تلك المعلومات المفقودة. هذه العملية آلية بالكامل ولا تتطلب "تحسينًا قائمًا على التدرج" (gradient-based optimization)، وهو عملية التعلم المعقدة والتكرارية المطلوبة عادةً لإصلاح النماذج المعطلة. ومن خلال استخدام هذا الحساب ذو الصيغة المغلقة (closed-form calculation)، يمكن للفريق تصحيح الحالة الداخلية للنموذج في غضض دقائق باستخدام بضع مئات من الأمثلة فقط، بدلاً من أيام من وقت الحوسبة. والنتيجة هي نموذج مقلم يحتفظ بسرعة وكفاءة امتلاك طبقات أقل، ولكنه يعمل بدقة تقارب دقة النموذج الأصلي الضخم.
في تجاربهم، اختبر الباحثون هذه التقنية على خمس عائلات مختلفة من النماذج اللغوية الكبيرة، بدءًا من النماذج الأصغر التي تحتوي على 1.5 مليار معلمة وصولاً إلى النسخ الأكبر التي تحتوي على 14 مليار معلمة. وقد طبقوا ست طرق مختلفة لتقرير أي الطبقات يجب إزالتها، وقيموا النتائج بناءً على سبعة معايير اختبار مصممة لاختبار المعرفة العامة والاستدلال. كانت النتائج متسقة: نجحت وحدات التصحيح في استعادة الدقة المفقودة أثناء عملية التقليم في معظم الإعدادات تقريبًا. وفي حالة بارزة تتعلق بنموذج يحتوي على 8 مليارات معلمة، استردت الطريقة 15.7 نقطة من الدقة في معيار اختبار قياسي، وهي زيادة تتطلب عادةً إعادة تدريب مكثفة ومكلفة. وحتى عندما كانت النماذج تخضع بالفعل لعملية ضبط دقيق بعد التقليم، فإن إضافة وحدة التصحيح هذه وفرت دفعة إضافية، مما يشير إلى أن النهجين يعملان جيدًا معًا لدفع الأداء إلى مستويات أعلى.
كما أظهر الباحثون أنه يمكن ضغط وحدات التصحيح هذه بشكل أكبر لتوفير المساحة ودمجها معًا عندما يتم إزالة عدة طبقات على التوالي، مما يضمن عدم ضياع مكاسب الكفاءة الناتجة عن التقليم بسبب العبء الإضافي للإصلاح نفسه. ويشير هذا العمل إلى أن العقبة الرئيسية لجعل النماذج اللغوية الكبيرة أصغر ليست مجرد إزالة الأجزاء، بل تعطيل تدفق المعلومات بينها. ومن خلال التركيز على إصلاح هذا التدفق عبر تعديلات بسيطة ومستهدفة، يقدم SHIFT-LLM طريقة عامة وفعالة لجعل نماذج الذكاء الاصطناعي القوية عملية للاستخدام اليومي. وتؤكد الدراسة أنه مع التصحيح المناسب، يمكننا تجريد هذه الأدمغة الرقمية من الأجزاء الثقيلة وغير الضرورية دون فقدان قدرتها على التفكير بوضوح، مما يفتح الباب أمام ذكاء اصطناعي أسرع، وأرخص، وأكثر سهولة في الوصول إليه.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.