GLAM: Efficient Continual Learning at Scale via Grouped LoRA Adapter Merging
يُعد GLAM إطار عمل فعال للتعلم المستمر يقوم بتدريب محولات LoRA خفيفة الوزن مع معاملات أهمية لكل مهمة، ثم يقوم بتقليمها وإعادة قياسها ودمجها في وحدات مجمعة لتحقيق دقة تضاهف أحدث المعايومات في تسلسلات المهام الطويلة مع تقليل المعلمات القابلة للتدريب ووقت التدريب بشكل كبير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تقوم بتعليم روبوت عبقري وذكي للغاية التعرف على كل شيء في العالم، من قطتك الأليفة إلى طائر نادر، وصولاً إلى نوع معين من السيارات. يبدأ الروبوت بدماغ ضخم محمل مسبقاً يعرف الكثير بالفعل. لكن الجزء الصعب هو هذا: في كل مرة تعلمه فيها شيئاً جديداً، يميل إلى أن يصبح "نسّاءً" قليلاً، حيث يمسح دون قصد ذكريات ما تعلمه بالأمس. هذه مشكلة شهيرة في علوم الكمبيوتر تسمى "النسيان الكارثي". عادةً، لإصلاح ذلك، سيتعين عليك إعادة تدريب دماغ الروبوت بالكامل من الصفر في كل مرة، وهو أمر يستغرق وقتاً طويلاً ويكلف ثروة من الكهرباء. لقد حاول العلماء إيجاد طريقة لتعليم هذه الروبوتات حِيلاً جديدة دون جعلها تنسى ما تعلمته سابقاً، آملين في بناء آلات يمكنها التعلم المستمر، تماماً كما يفعل البشر، دون الحاجة إلى ترقية ضخمة للذاكرة كل يوم.
إليك GLAM، وهي طريقة جديدة تعمل مثل أمين مكتبة ذكي ومنظم لدماغ هذا الروبوت. فبدلاً من حشو كل درس جديد في كتاب ضخم منفصل يشغل مساحة لا تنتهي على الرفوف، يعلم GLAM الروبوت كيفية كتابة ملاحظات صغيرة وخفيفة الوزن (تسمى "المهايئات" أو adapters) لكل مهمة جديدة. لكن الخدعة السحرية هي: بدلاً من الاحتفاظ بآلاف الملاحظات، يقوم GLAM بتجميع الملاحظات المتشابهة معاً، وتقليم الأجزاء الفوضوية وغير المهمة، ودمجها في ملخص واحد مرتب. الأمر يشبه أخذ 50 مذكرات سفر مختلفة، وقراءتها، ثم تكثيفها في دليل سفر واحد مثالي يحتوي على أفضل النصائح دون أن يكون ثقيلاً.
وجد الباحثون أن هذا النهج فعال للغاية. فعندما اختبروا GLAM على تسلسل يصل إلى 50 مهمة مختلفة (مثل التعرف على 50 مجموعة مختلفة من الصور)، لم يتعلموا جيداً فحسب، بل تعلموا بسرعة. في الواقع، كان أسرع بنحو ثلاث مرات في التدريب من أفضل الطرق المنافسة، واستخدم فقط حوالي 20% من "قدرة الدماغ القابلة للتدريب" (المعلمات) التي احتاجتها الطرق الأخرى. وبينما كافحت الطرق الأخرى لمواكبة العدد المتزايد من المهام، ظل GLAM حاد الذكاء، محققاً أعلى دقة في جميع الاختبارات التي أجروها. لقد أثبت أنه يمكنك جعل الروبوت يتعلم أشياء جديدة على مدى فترة طويلة دون أن ينسى الماضي أو يحتاج إلى سوبر كمبيوتر للقيام بالعمليات الحسابية.
المشكلة: ذاكرة الروبوت القصيرة
فكر في نموذج الذكاء الاصطنا الحديث كدماغ ضخم مُدرب مسبقاً قد قرأ الإنترنت بأكمله بالفعل. إنه مذهل، لكن به عيب واحد: إذا حاولت تعليمه شيئاً جديداً، مثل كيفية التعرف على سلالة معينة من الكلاب، فغالباً ما يصاب بالارتباك وينسى كيف كان يتعرف على القطة التي عرفها من قبل. هذا هو مشكلة "النسيان".
ولإيقاف ذلك، يحاول العلماء عادةً تجميد الأجزاء الرئيسية للدماغ والسماح لجزء صغير وخاص فقط بتعلم الأشياء الجديدة. وهذا ما يسمى LoRA (التكيف منخفض الرتبة). تخيل أن الدماغ عبارة عن مكتبة ضخمة، و LoRA يشبه إضافة ملاحظة لاصقة صغيرة إلى رف معين بدلاً من إعادة كتابة الكتاب بأكمله. إنه أمر فعال، ولكن إذا كان لديك 50 مهمة مختلفة، فسينتهي بك الأمر بـ 50 ملاحظة لاصقة. إدارة 50 ملاحظة أمر فوضوي، وإذا حاولت قراءتها جميعاً في وقت واحد، فسيؤدي ذلك إلى إبطاء الروبوت.
حل GLAM: لعبة التجميع
يغير GLAM (دمج مهايئات LoRA المجمعة) قواعد اللعبة من خلال تنظيم هذه الملاحظات اللاصقة في فرق. إليك كيف يعمل، خطوة بخطوة:
- الدرس الجديد: عندما يتعلم الروبوت مهمة جديدة، ينشئ GLAM ملاحظة صغيرة وخفيفة الوزن (مهايئ) لهذه الوظيفة فقط. كما يعطي هذه الملاحظة "درجة أهمية" لتحديد مدى تأثيرها.
- التجميع: بدلاً من الاحتفاظ بكل ملاحظة منفصلة، يقوم GLAM بتعيين الملاحظة الجديدة عشوائياً إلى أحد المجموعات القليلة (مثل وضع كتاب جديد على واحد من خمسة رفوف محددة).
- التنظيف (التقليم): قبل إضافة الملاحظة إلى المجموعة، يقوم GLAM بعملية تنظيف سريعة. فهو ينظر إلى الملاحظة ويرمي الأجزاء الضعيفة وغير المهمة ("الضجيج")، محتفظاً فقط بالمعلومات القوية والواضحة. هذا يمنع الملاحظات من أن تصبح فوضوية أو تتداخل مع بعضها البعض.
- الدمج: يتم بعد ذلك دمج الملاحظة الجديدة المنظفة بعناوة في الملخص الموجود للمجموعة. يتم تحديث ملخص المجموعة ليشمل المعلومات الجديدة، لكنه يظل مجرد ملاحظة واحدة فقط.
- النتيجة النهائية: في النهاية، يتم دمج جميع ملخصات المجموعات في وحدة واحدة فائقة الكفاءة. لا يحتاج الروبوت للنظر في 50 ملاحظة؛ بل ينظر فقط إلى ملخص واحد مدمج يحتوي على كل ما تعلمه.
لماذا يعد هذا أمراً مهماً
اختبر الباحثون هذا على ثلاث مجموعات بيانات للصور: CIFAR-100 (100 نوع من الأشياء)، و CUB-200 (200 نوع من الطيور)، و ImageNet-R (200 نوع من الصور الفنية). جعلوا الروبوت يتعلم في تسلسلات تصل إلى 50 مهمة، وهو ما هو أطول بكثير من اختبارات الـ 10 مهام المعتادة التي يستخدمها معظم العلماء.
كانت النتائج مبهرة:
- السرعة: تدرب GLAM أسرع بنحو 3 مرات من أفضل طريقة منافسة (CL-LoRA).
- الحجم: استخدم فقط 16-19% من المعلمات القابلة للتدريب التي استخدمها أفضل نموذج مرجعي.
- الدقة: حقق أعلى الدرجات في جميع مجموعات البيانات الثلاث. على سبيل المثال، في مجموعة بيانات طيور CUB-200، وصل إلى دقة 70.96%، متفوقاً على الطريقة التالية بفارق كبير.
- النسيان: نسي أقل من غيره. بينما نسيت بعض الطرق حوالي 33% مما تعلمته، نسي GLAM حوالي 20% فقط في نفس مجموعة البيانات.
تشير الورقة البحثية إلى أن استراتيجية "التجميع والدمج" هذه هي المفتاح لجعل الذكاء الاصطناعي يتعلم باستمرار دون أن يثقله العمل. ومن خلال إبقاء عدد الملاحظات النشطة منخفضاً وتنظيفها أثناء العمل، يسمح GLAM للروبوت بتعلم تسلسل طويل من المهام بكفاءة، دون الحاجة لتذكر كل تفصيل على حد حد. إنها خطوة نحو آلات يمكنها حقاً التعلم والنمو بمرور الوقت، تماماً مثلنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.