Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)
تقدم هذه الورقة البحثية تدريب "التمرير الأمامي فقط" (FPO)، وهو أسلوب لتكييف النطاق للنماذج اللغوية الكبيرة يحقق إنتاجية أعلى بكثير واستهلاكاً أقل للذاكرة من خلال تطبيق إشارة خطأ واحدة لطبقة المخرجات مباشرة على الطبقات المستهدفة دون الحاجة إلى الانتشار العكسي، مع الحفاظ على أداء مماثل للضبط الدقيق القياسي في كل من اختبارات النطاق الداخلي والنطاق الخارجي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تعد النماذج اللغوية الكبيرة المحركات الكامنة وراء العديد من أدوات الذكاء الاصطناዊ المتقدمة المتاحة اليوم، وهي قادرة على الكتابة، والاستنتاج، وحل المشكلات بطلاقة كانت تبدو مستحيلة للآلات في السابق. ولجعل هذه النماذج مفيدة لمهام محددة، مثل تشخيص الحالات الطبية أو تحليل الوثائق القانونية، يقوم الباحثون عادةً بـ "ضبطها بدقة" (fine-tuning). تتضمن هذه العملية عرض كميات هائلة من البيانات الجديدة والمتخصصة على النموذج وتعديل إعداداته الداخلية بحيث يتعلم أنماط ذلك العالم الجديد. ومع ذلك، فإن هذا التعديل مكلف للغاية؛ فهو يتطلب حواسيب قوية لتشغيل النموذج للأمام لرؤية الإجابة، ثم للخلف لمعرفة كيفية تغيير كل جزء من أجزاء النظام بالضبط للحصول على نتيجة أفضل. وتتطلب هذه الخطوة الخلفية كمية هائلة من الذاكرة، غالباً ما تعادل ثلاثة أضعاف ما تحتاجه لمجرد تشغيل النموذج، مما يجعل من المستحيل تنفيذها على أجهزة الكمبيوتر الاستهلاكية العادية أو في الحالات التي تكون فيها السرعة أمراً حاسماً.
لقد اكتشف فريق من الباحثين في جامعة كاليفورنيا، سانتا كروز، وجامعة ملبورن طريقة لتجاوز هذه الخطوة الخلفية المكلفة تماماً. فقد وجدوا أنه بالنسبة للنماذج اللغوية الكبيرة، فإن أهم التعديلات المطلوبة لتعلم معلومات جديدة تحدث غالباً في الطبقات النهائية للشبكة، بالقرب من نهاية سلسلة المعالجة. ومن خلال التركيز فقط على هذه الطبقات المتأخرة وحساب التغييرات اللازمة باستخدام المعلومات المتاحة فقط من تمريرة أمامية واحدة، ابتكروا طريقة تدريب جديدة تسمى "تدريب MLP عبر التمرير الأمامي فقط" (Forward-Pass-Only MLP training). تسمح هذه الطريقة للنموذج بتعلم مهارات جديدة دون الحاجة أبداً للنظر إلى الوراء عبر هيكله، مما يقلل الذاكرة المطلوبة بنحو أربعين بالمائة ويجعل العملية أسرع بنحو ثلاث مرات من الطرق القياسية. والأهم من ذلك، أن هذه السرعة والكفاءة تأتيان دون التكلفة المعتادة المتمثلة في نسيان ما كان يعرفه النموذج بالفعل؛ فبينما تؤدي الطرق التقليدية غالباً إلى تدهور قدرات النموذج العامة عند تعلم تخصص جديد، تحافظ هذه التقنية الجديدة على المعرفة الأصلية للنموذج سليمة.
يرتكز جوهر هذا الاكتشاف على ملاحظة بسيطة ولكنها عميقة حول كيفية معالجة هذه النماذج للمعلومات. في جلسة تدريب قياسية، يحسب الكمبيوتر إشارة خطأ في نهاية مخرجات النموذج ثم يرسل تلك الإشارة إلى الوراء، طبقة تلو الأخرى، لتعديل الأوزان داخل الشبكة. وقد أدرك الباحثون أنه بالنسبة للربع الأخير من طبقات النموذج، فإن اتجاه التعديل الضروري يكاد يكون متطابقاً مع إشارة يمكن حسابها باستخدام المخرجات والحالة الراهنة للنموذج فقط، دون الحاجة إلى تتبع المسار إلى الوراء. وقد اختبروا هذه الفكرة عبر ستة نماذج عامة مختلفة، تتراوح من ثلاثة مليارات إلى ثمانية مليارات معلمة (parameter)، ووجدوا أن اتجاه التعديل الحقيقي يتوافق وثيقاً مع هذه الإشارة الأبسط المعتمدة على التمرير الأمامي فقط. كان هذا التوافق قوياً بما يكفي ليكون مفيداً، حيث كانت الإشارات تشير في نفس الاتجاه تقريباً في نصف الحالات تقريباً، وهو اتساق ظل ثابتاً عبر بنيات النماذج المختلفة.
ولوضع هذه النظرية موضع التنفيذ، طور الفريق أداة تشخيص سريعة تستغرق حوالي دقيقتين للتشغيل على شريحة كمبيوتر واحدة. تقيس هذه الأداة مدى تطابق الإشارة الأمامية البسيطة مع الإشارة الخلفية المعقدة لكل طبقة في نموذج معين. وهي تعمل كخريطة، توضح للباحثين بالضبط أين يمكن تجاوز التمرير الخلفي بأمان داخل الشبكة. وبمجرد تحديد هذه الطبقات المتأخرة "القابلة للتطبيق"، تتغير عملية التدريب بشكل جذري. فبدلاً من بناء سجل ضخم ومعقد لكل خطوة اتخذها النموذج حتى يتمكنوا من عكسها لاحقاً، يقوم النظام ببساطة بتشغيل النموذج للأمام، وحساب الخطأ في النهاية، وتطبيق تصحيح مباشر على الطبقات المستهدفة. لا يتم بناء أي تمرير خلفي أبداً، ولا تُهدر أي ذاكرة في تخزين تاريخ الحوسبة. وهذا يلغي العقبة الرئيسية التي منعت الكثيرين من ضبط النماذج الكبيرة بدقة باستخدام أجهزتهم الخاصة.
كانت نتائج اختبار هذه الطريقة على ثلاث عائلات مختلفة من النماذج مذهلة. فمن حيث السرعة، كان النهج الجديد أسرع بين 2.7 و3.2 مرة من الضبط الدقيق القياسي، مما يسمح للباحثين بمعالجة كميات أكبر بكثير من البيانات في نفس الوقت. وفي حالة الأجهزة ذات الذاكرة المحدودة، مثل بطاقة رسوميات عالية الأداء واحدة، سمحت الطريقة بمعالجة دفعات أكبر بكثير من البيانات في وقت واحد، بينما كانت الطرق القياسية ستتوقف عن العمل بسبب حدود الذاكرة. ولعل الأهم من ذلك هو أن الطريقة حافظت على ذكاء النموذج العام. فعندما اختبر الباحثون النماذج المعدلة في مهام غير مرتبطة، مثل الإجابة على أسئلة المعرفة العامة أو حل الألغاز المنطقية، أدت النماذج أداءً يكاد يكون مطابقاً لما كانت عليه قبل التدريب. وفي المقابل، شهدت النماذج المدربة بالطرق القياسية غالباً انخفاضاً كبيراً في أدائها في هذه المهام العامة، وهي ظاهرة تُعرف باسم "النسيان الكارثي" (catastrophic forgetting). لقد تجنبت الطريقة الجديدة هذا الفخ، وحافظت على استقرار قدرات النموذج الواسعة أثناء تعلم تخصصه الجديد.
كما استكشف الباحثون سبب حدوث هذا الحفاظ على المعرفة العامة. فقد قارنوا طريقتهم بنهج هجين حيث قاموا بتحديث الطبقات المتأخرة فقط ولكنهم استخدموا التمرير الخلفي القياسي والبطيء. ووجدوا أن الحفاظ على المعرفة العامة لم يكن خدعة في طريقة الحساب الجديدة نفسها، بل كان نتيجة مباشرة لتقييد التغييرات بالطبقات المتأخرة من الشبكة. فالطبقات الأولى، التي تتعامل مع اللبنات الأساسية للغة والاستنتاج، بقيت دون مساس، مما منع النموذج من الكتابة فوق فهمه الجوهري. ومع ذلك، فإن الطريقة الجديدة هي الطريقة الوحيدة العملية لتحقيق ذلك، لأن التمرير الخلفي القياسي يكون بطيئاً جداً ومستهلكاً للذاكرة بشكل لا يسمح به عند حصره في عدد قليل من الطبقات فقط. إن النهج الجديد يجعل من الممكن العمل في هذه "المنطقة الآمنة" حيث يكون التعلم فعالاً ويقل فيه النسيان.
وعلى الرغم من أن الطريقة فعالة للغاية، إلا أن لها حدوداً أيضاً. فالنماذج التي تم تدريبها بهذه التقنية لم تتعلم المجال الجديد بعمق مثل النماذج التي تم تدريبها بالطريقة الكاملة والبطيئة؛ حيث حققت تحسناً أقل قليلاً في المهمة المحددة التي تعلمتها. هذا هو المقايضة: تضحي الطريقة الجديدة بجزء صغير من الأداء الأقصى في المهمة الجديدة مقابل مكاسب هائلة في السرعة، وكفاءة الذاكرة، والحفاظ على المعرفة العامة. ويشير الباحثون إلى أنه بالنسبة للعديد من التطبيقات في العالم الحقيقي، مثل تخصيص نموذج لمستخدم معين أو تكييفه لصناعة متخصصة باستخدام أجهزة استهلاكية، فإن هذه المقايضة تستحق العناء تماماً. إن هذه الطريقة تفتح الباب أمام التكيف في إعدادات كانت مستحيلة سابقاً، محولةً عملية كانت تتطلب مركز بيانات إلى شيء يمكن تشغيله على جهاز واحد، مع الحفاظ على ذكاء النموذج الأصلي آمناً من ضرر التخصص المفرط.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.