Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate
تُثبت هذه الورقة أن نماذج "ترانسفورمر" المكونة من فك التشفير فقط يمكنها الاستمرار في التعلم بفعالية عبر تكديس كتل جديدة فوق ركيزة مجمدة ضمن ميزانية محددة للمعلمات النشطة، مما يثبت جدوى التوسع التركيبي على مستوى الطبقات حتى في ظل قيود شديدة مثل واجهة الرموز الثنائية منخفضة الرتبة، وإن كان ذلك على حساب حساب التبادل مع الحيرة النهائية مقارنة بالنماذج المتجانسة القابلة للتدريب بالكامل.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تبني ناطحة سحاب، ولكن لديك قاعدة صارمة للغاية: يمكنك العمل فقط على الطابق العلوي في أي وقت. بمجرد الانتهاء من طابق ما، تقوم بصب الخرسانة فوقه، وتغلق الأبواب، ولا يُسمح لك أبدًا بالعودة إلى الداخل لإصلاح أو تغيير أي شيء. كما أن لديك ميزانية محدودة لعمال البناء، لذا لا يمكنك استئجار طاقم جديد في كل مرة تضيف فيها طابقًا؛ بل تكتفي بنقل فريقك الصغير إلى المستوى الجديد.
هذه الورقة البحثية تطرح سؤالًا بسيطًا: هل لا يزال بإمكانك بناء ناطحة سحاب مفيدة وعالية تحت هذه القواعد القاسية؟
إليك تفصيل البحث باستخدام تشبيهات من الحياة اليومية:
1. مشكلة "الأساس المتجمد"
عادةً، عندما يتم تدريب ذكاء اصطناعي ضخم (مثل النماذج اللغوية الكبيرة)، يحتاج الكمبيوتر إلى تذكر كيفية ضبط كل جزء من المبنى أثناء تعلمه. يتطلب هذا قدرًا هائلًا من الذاكرة، مثل الحاجة إلى مستودع ضخم لتخزين المخططات لكل طوبة.
- الاستراتيجية: يبدأ الباحثون بمبنى صغير. يقومون بتدريبه، ثم تجميده (إغلاقه). بعد ذلك، يضيفون طابقًا جديدًا في الأعلى ويقومون بتدريب هذا الطابق الجديد فقط.
- العقبة: لا يعودون أبدًا إلى الطوابق القديمة لإجراء تعديلات. كما أنهم يبقون عدد "العمال" (المعلمات القابلة للتدريب) متساويًا تقريبًا، بغض النظر عن مدى ارتفاع المبنى.
2. اختبار "المصعد السيئ"
لإجهاد هذه الفكرة واختبارها حقًا، أنشأ الباحثون سيناريو متطرفًا. تخيل أن الطابق الأرضي (حيث يتصل المبنى بالشارع) معطل.
- الإعداد: بدلًا من مدخل غني ومفصل، يحتوي المبنى فقط على رمز ثنائي بسيط مكون من 16 بت (مثل مفتاح تشغيل/إيقاف بسيط) لتحديد الغرفة التي أنت فيها. إنها واجهة فقيرة جدًا ومنخفضة الجودة.
- السؤال: إذا كان المدخل سيئًا للغاية، وكانت الطوابق السفلية مجمدة تمامًا، فهل لا تزال الطوابق العليا قادرة على تعلم مهام معقدة؟
- النتيجة: للمفاجأة، نعم. حتى مع هذا المدخل السيئ والمتجمد، تمكن الذكاء الاصطناعي من النمو للأعلى وتعلم أشياء مفيدة. لقد أثبت أنك لا تحتاج بالضرورة إلى مدخل مثالي ومرن ليعمل المبنى بأكمله؛ إذ يمكن للطوابق العليا فهم كيفية استيعاب المعلومات المحدودة التي تتلقاها.
3. حل "التجديد" الوسطي (LoRA)
في التجارب الأطول، أدرك الباحثون أنه إذا كانت الطوابق السفلية مجمدة أكثر من اللازم، فسيصبح المبنى صلبًا نوعًا ما. ولحل هذه المشكلة دون كسر قاعدة "الميزانية الصغيرة"، استخدموا تقنية تسمى LoRA.
- التشبيه: فكر في LoRA كإضافة سقالات رقيقة ومرنة أو ملاحظات لاصقة على الجدران في كل طابق. أنت لا تعيد بناء الجدران (الهيكل الرئيسي لا يزال مجمدًا)، ولكن يمكنك إجراء تعديلات صغيرة ومؤقتة على كيفية اتصال الغرف ببعضها البعض.
- الفائدة: سمح هذا للنموذج بـ "إعادة الضبط" عالميًا دون الحاجة إلى فتح وإعادة تدريب المبنى الضخم بالكامل.
4. المقايضة: الجودة مقابل الكفاءة
الورقة البحثية صادقة جدًا بشأن النتائج. هي لا تدعي أن هذه الطريقة أفضل من طريقة البناء القياسية (حيث يمكنك تعديل كل طابق في وقت واحد).
- الطريقة القياسية: إذا كان لديك ذاكرة وأموال كافية، فإن بناء الشيء بأكدمله (التدريب الموحد) ينتج مبنى "أذكى" قليلًا (ارتباك أقل، ودرجات أفضل).
- الطريقة الجديدة: طريقة "النمو أثناء العمل" تنتج مبنى أقل كمالًا بقليل، لكنها أكثر كفاءة بكثير. فهي تستخدم عددًا أقل بكثير من "العمال النشطين" (حوالي 105 مليون مقابل 247 مليون في اختباراتهم) وتتطلب ذاكرة أقل.
الخلاصة
تخلص الورقة البحثية إلى أن التعلم المفيد يمكن أن يحدث حتى تحت قيود صارمة للغاية.
- يمكنك إبقاء الجزء السفلي من النموذج مجمدًا.
- يمكنك إبقاء الأجزاء القابلة للتدريب صغيرة.
- يمكنك حتى البدء بواجهة إدخال ضعيفة وثابتة.
بينما قد لا تكون هذه هي "أفضل" طريقة لبناء أذكى ذكاء اصطناعي ممكن، إلا أنها تثبت أنك لست بحاجة لفتح المبنى بالكامل لمواصلة إضافة ارتفاع مفيد. إنها استراتيجية قابلة للتطبيق للحالات التي تكون فيها الذاكرة محدودة أو عندما ترغب في نمو النموذج على مراحل دون تكاليف حوسبة هائلة.
ما لا تقوله الورقة البحثية:
- لا تدعي أن هذه هي أفضل طريقة لبناء الذكاء الاصطنا- الاصطناعي للاستخدام العام.
- لا تدعي أن هذه الطريقة تنتج أعلى مستوى من الذكاء.
- لا تقترح أن هذه الطريقة جاهزة للنشر السريري أو التجاري دون مزيد من الاختبارات.
إنها ببساطة تثبت أن النمو ممكن حتى عندما تكون مقيدًا بقواعد صارمة للذاكرة والتدريب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.