Low-Rank Ternary Adaptation for Fine-Tuning Transformers
تقترح هذه الورقة البحثية "التكيف الضربي الثلاثي"، وهي طريقة جديدة ذات رتبة منخفضة تتيح الضبط الدقيق الفعال للمحولات الثلاثية من خلال تمثيل تحديثات الأوزان المنفصلة عبر مصفوفات ثلاثية صغيرة، مما يحافظ على النطاق الثلاثي ويسمح بالدمج المباشر دون إعادة تكميم مع استعادة الأداء بشكل كبير عبر النماذج اللغوية ونماذج الرؤية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعتمد تقنية الذكاء الاصطناعي الحديثة على برامج حاسوبية ضخمة تسمى "المحولات" (transformers)، والتي أصبحت المحرك وراء كل شيء، من المساعدين في الكتابة إلى مولدات الصور. هذه البرامج قوية للغاية، لكنها ثقيلة أيضاً، إذ تتطلب كميات هائلة من ذاكرة الحاسوب والطاقة لتشغيلها. ولجعلها قابلة للاستخدام على الأجهزة الأصغر مثل الهواتف أو الحواسيب المحمولة، أمضى الباحثون سنوات في محاولة تقليص حجمها. إحدى الاستراتيجيات الشائعة هي ضغط الأرقام داخل البرنامج، وتحويلها من قيم معقدة وعالية الدقة إلى نسخ أبسط ومنخفضة البتات. تخيل أخذ صورة فوتوغرافية عالية الدقة وتقليلها إلى بضعة ألوان فقط؛ ستصبح الصورة أصغر وأسرع في المعالجة، رغم أن بعض التفاصيل ستُفقد حتماً. ويتمثل الشكل الأكثر عدوانية لهذا الضغط في حصر الأرقام الداخلية للبرنامج في ثلاث قيم فقط: سالب واحد، وصفر، وموجب واحد. هذا النهج، المعروف باسم "التكميم الثلاثي" (ternary quantization)، يقلص الذاكرة المطلوبة بعامل قدره عشرة أضعاف، مما قد يحول نموذجاً كان يتطلب خادماً ضخماً إلى شيء يمكن تشغيله على حاسوب محمول عادي.
ومع ذلك، هناك مشكلة كبيرة أعاقت تقدم هذه النماذج فائقة الصغر. فبينما تكون هذه النماذج صغيرة وفعالة، إلا أنه من الصعب تعليمها مهام جديدة. تعتمد الطرق القياسية لتعليم هذه البرامج على إجراء تعديلات طفيفة ومستمرة على أرقامها. ولكن عندما يكون النموذج مقيداً بثلاث قيم فقط، فإنه لا يستطيع إجراء تعديلات صغيرة؛ بل يمكنه فقط قلب الرقم من سالب إلى موجب، أو إيقاف تشغيله تماماً. وغالباً ما تتطلب التقنيات الموجودة لتعليم هذه النماذج المضغوطة توسيع الأرقام مؤقتاً لتعود إلى حجمها الكامل والثقيل لإجراء التغييرات، ثم ضغطها مرة أخرى. هذه العملية من التوسيع وإعادة الضغط تؤدي إلى أخطاء تضعف أداء النموذج، مما يجعل النتيجة النهائية غالباً أسوأ مما لو لم يحدث أي تعليم على الإطلاق.
لقد طور فريق من الباحثين في جامعة دلفت للتكنولوجيا وشركة أمازون طريقة جديدة لتعليم هذه النماذج فائقة الصغر تتجنب دورة التوسيع والخطأ هذه. فبدلاً من محاولة إضافة أرقام صغيرة ومستمرة إلى النموذج، تعمل طريقتهم مباشرة ضمن نظام القيم الثلاث الصارم. لقد صمموا نظاماً يعمل مثل مجموعة من المفاتيح، مما يسمح للنموذج بقلب إشارة أرقامه الداخلية أو إيقاف تشغيلها تماماً، دون مغادرة الحالة المضغوطة أبداً. ولجعل ذلك فعالاً، لم يحاولوا تعديل كل رقم على حدة، بل استخدموا بنية رياضية تسمح لعدد قليل من الأنماط البسيطة الصغيرة بالتحكم في قطاعات واسعة من النموذج في وقت واحد. هذا النهج، الذي يسمون به "التكيف الثلاثي منخفض الرتبة" (low-rank ternary adaptation)، يتيح للنموذج تعلم مهارات جديدة مع البقاء مضغوطاً بشكل مثالي.
اختبر الباحثون هذه الطريقة على أنواع مختلفة من الذكاء الاصطناعي، بما في ذلك نماذج لغوية قادرة على الاستنتاج ونماذج رؤية تتعرف على الصور. بدأوا بنماذج كانت قد ضُغطت بالفعل إلى حد القيم الثلاث، ثم طبقوا تقنية التعليم الجديدة الخاصة بهم. وأظهرت النتائج أن النماذج استعادت الكثير من الدقة التي فقدتها أثناء الضغط الأولي. وفي الاختبارات المتعلقة بالمهام اللغوية، حققت النماذج المتكيفة أداءً أفضل بكماً من المحاولات السابقة التي حاولت إجبار النموذج على التعلم من خلال التوسيع وإعادة الضغط. فعلى سبيل المثال، في نموذج لغوي يحتوي على ثلاثة مليارات معلمة (parameter)، حسنت الطريقة الجديدة متوسط الدقة عبر تسع مهام مختلفة من حوالي 32 بالمئة إلى 38 بالمئة، مع جعل تنبؤات النموذج أكثر ثقة أيضاً.
ولعل الأهم من ذلك هو أن النتيجة النهائية لهذه العملية هي نموذج واحد موحد يظل في شكله فائق الصغر. وخلافاً للطرق الأخرى التي تترك وراءها مجموعة منفصلة وثقيلة من التعليمات التي يجب تحميلها بجانب النموذج الصغير، فإن هذا النهج الجديد يدمج التعلم مباشرة في الأوزان الضئيلة. ووجد الباحثون أنه بالنسبة لمهام الرؤية، مثل تحديد الأشياء في الصور، أنتجت طريقتهم نموذجاً أكثر دقة بكثير من تلك التي تم إنشاؤها عن طريق إعادة الضغط بعد التعلم. كما اكتشفوا أن عملية التعلم تمت من خلال إعادة توزيع إشارات الأرقام الموجودة بدلاً من محاولة إعادة الحياة للأرقام التي أصبحت صفراً. وهذا يعني أن النموذج يتعلم من خلال إعادة تنظيم ما يمتلكه بالفعل، بدلاً من محاولة إنشاء اتصالات جديدة حيث لم تكن موجودة.
يبرهن هذا العمل على أنه من الممكن تعليم نماذج الذكاء الاصطناعي عالية الضغط دون التضحية بكفاءتها أو دقتها. فمن خلال احترام الحدود الصارمة لنظام القيم الثلاث وإيجاد طريقة للتعلم ضمن تلك الحدود، أظهر الباحثون أن هذه النماذج الصغيرة يمكن أن تكون بكفاءة نظيراتها الأكبر في العديد من المهام. ولا تتطلب هذه الطريقة أي ذاكرة إضافية أو قوة حوسبة أثناء الاستخدام، حيث يتم دمج التعلم بالكامل في بنية النموذج. وهذا يفتح الباب لتشغيل ذكاء اصطناعي متطور على أجهزة ذات موارد محدودة جداً، مما يجلب قدرات قوية إلى أماكن كان من المستحيل سابقاً نشرها فيها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.