Curriculum-Guided Layer Scaling for Language Model Pretraining
تقترح هذه الورقة البحثية "تدرج الطبقات الموجه بالمنهج الدراسي" (CGLS)، وهو إطار عمل للتدريب المسبق كفء من حيث الحوسبة يعمل على مزامنة التراكم التدريجي للطبقات مع زيادة صعوبة البيانات لتعزيز تعميم النموذج وأداء المهام الصفرية في المهام القائمة على المعرفة والاستدلال.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يفكر. لفترة طويلة، قام العلماء بذلك عن طريق تغذية الروبوت بحساء هائل وفوضوي من المعلومات دفعة واحدة—بخلط أناشيد الأطفال البسيطة مع كتب الفيزياء المعقدة وتعليقات الإنترنت العشوائية. يحاول الروبوت ابتلاع كل ذلك في لقمة واحدة ضخمة، مستخدماً نفس القدر من القوة الذهنية لكل جملة، بغض النظر عن مدى صعوبتها. وبينما نجحت هذه الطريقة في بناء روبوتات ذكية للغاية، إلا أنها غالباً ما تعاني عند مطالبتها بحل ألغاز صعبة أو التفكير في قصص طويلة. إنها بارعة في محاكاة الكلام البشري، لكنها أحياناً سيئة في فهم المنطق العميق وراءه حقاً.
ولإصلاح ذلك، ينظر الباحثون إلى كيفية تعلم البشر. نحن لا نبدأ بقراءة الدوريات الطبية المتقدمة؛ بل نبدأ بالأصوات البسيطة، ثم الكلمات، ثم الجمل، وأخيراً الأفكار المعقدة. ومع نمو عقولنا وتطورها، نتعامل مع مفاهيم أكثر صعوبة. تستكشف هذه الورقة طريقة جديدة لتدريب النماذج اللغوية (العقول الكامنة وراء برامج الدردشة والذكاء الاصطناائي) عبر تقليد نمط النمو البشري هذا. فبدلاً من إعطاء الروبوت دماغاً ضخماً وكتاباً ضخماً من الحقائق المختلطة على الفور، يقترح الباحثون بناء دماغ الروبوت طبقة تلو الأخرى، مع تغذيته ببطء بمعلومات تزداد صعوبة وصعوبة. الأمر يشبه تدريب رياضي: أنت لا تبدأ به في مضمار الأولمبياد؛ بل تبدأ به في الفناء الخلفي، ومع ازدياد قوته، تنقله إلى المضمار وتضيف المزيد من الأوزان إلى تدريبه.
تقدم الورقة طريقة تسمى "تدرج الطبقات الموجه بالمنهج الدراسي" (CGLS). فكر في النموذج اللغوي كمبنى متعدد الطوابق. عادةً، تقوم ببناء ناطحة السحاب بأكملها أولاً، ثم تحاول ملأها بالناس (البيانات). تقترح طريقة CGLS بناء الطوابق الأولى، وملئها بمستأجرين يسهل فهمهم (قصص بسيطة)، وتركهم يستقرون. وبمجرد أن تصبح هذه الطوابق صلبة، تضيف طابقاً جديداً فوقها. ولكن إليك الخدعة: قبل أن تسمح للمبنى بأكمله بالاختلاط، تقوم بتدريب الطابق الجديد بشكل منفصل مع عدد قليل من المستأجرين السهلين حتى لا يصاب بالارتباك. ثم تفتح المبنى بأكمله وتبدأ في جلب مستأجرين أكثر تعقيداً قليلاً. تستمر في فعل ذلك—إضافة طابق وتطوير تعقيد المستأجرين—حتى يصل المبنى إلى الارتفاع الذي تريده.
اختبر الباحثون هذه الفكرة على حجمين مختلفين من نماذج الذكاء الاصطناعي. أولاً، استخدموا نموذجاً أصغر (بحجم GPT-2-Small تقريباً)، وبدأوا بـ "TinyStories"، وهي قصص اصطناعية بسيطة جداً مكتوبة للأطفال الصغار. ومع زيادة ارتفاع النموذج (إضافة المزيد من الطبقات)، أدخلوا تدريجياً كتباً أكثر صعوبة وفي النهاية بيانات الويب المعقدة. ووجدوا أن هذه الطريقة ساعدت النموذج على التحسن في الإجابة على الأسئلة المتعلقة بالمنطق الفيزيائي الشائع والعلوم، متفوقاً على النماذج التي تم تدريبها على نفس كمية البيانات ولكن بترتيب عشوائي.
ثم جربوا ذلك على نموذج أكبر (حوالي 1.2 مليار معلمة) باستخدام مجموعة ضخمة من النصوص الواقعية. ولجعل "المنهج الدراسي" يعمل، استخدموا أداة مساعدة لتصنيف النصوص إلى ثلاثة مستويات من الصعوبة: "المرحلة الثانوية" (أخبار وقصص بسيطة)، "المرحلة الجامعية" (مقالات علمية وملخصات)، و"الدراسات العليا" (أوراق تقنية عالية المستوى وأكواد برمجية). بدأوا النموذج بالمحتوى السهل ثم انتقلوا ببطء نحو المحتوى الأصعب مع إضافة المزيد من الطبقات للنموذج. كانت النتائج أكثر وضوحاً هنا: أصبحت نماذج CGLS أفضل بكثير في مهام الاستنتاج، مثل حل المشكلات العلمية أو فهم المنطق المعقد، مقارنة بطرق التدريب القياسية. في الواقع، في بعض الاختبارات، تحسنت الدقة بنسبة تصل إلى 5% مقارنة بأفضل الطرق القياسية، رغم استخدامهم لنفس القدر من القدرة الحوسبية تماماً.
كما بحثت الورقة فيما يحدث إذا قمت فقط بإضافة طبقات دون تغيير صعوبة البيانات. ووجدوا أن مجرد جعل النموذج أكبر مع تغذيته ببيانات عشوائية وفوضوية لم يكن يعمل بنفس الكفاءة. وهذا يشرح أن "السر الخفي" ليس مجرد نمو الدماغ فحسب؛ بل هو نمو الدماغ في نفس الوقت الذي تجعل فيه الدروس أكثر صعوبة. إنه يشبه قليلاً محاولة تعلم التفاضل والتكامل بينما لا يزال دماغك يتعلم العد؛ إذا فرضت التعقيد مبكراً جداً، سيصاب الدماغ بالإرهاق. ولكن إذا نمت قدرة الدماغ بالتزامن مع زيادة صعوبة الدروس، فإن التعلم يترسخ بشكل أفضل.
ومن المثير للاهتمام، لاحظ الباحثون شيئاً مفاجئاً: بينما كانت هذه النماذج الأكثر ذكاءً أفضل في الاستنتاج والإجابة على الأسئلة، إلا أنها لم تكن دائماً أفضل في التنبؤ بالكلمة التالية في الجملة (وهو مقياس قياسي يسمى "الارتباك" أو Perplexity). وهذا يشير إلى أن كونك جيداً في "التبدو كبشر" ليس هو نفسه كونك جيداً في "التفكير كبشر". يبدو أن طريقة CGLS تبني نموذجاً أفضل في الاستنتاج والتعميم مما تعلمه، حتى لو لم يفز دائماً في لعبة تخمين الكلمة التالية.
يؤكد المؤلفون بحذر أن هذه ليست "عصا سحرية" تحل كل شيء. فبالنسبة لبعض المهام المحددة، مثل إكمال الجمل أو استرجاع النصوص الطويلة، كانت الطريقة الجديدة جيدة بقدر الطرق القديمة، ولكنها لم تكن بالضرورة أفضل. ومع ذلك، بالنسبة للمهام التي تتطلب فهماً حقيقياً ومنطقاً، أظهر النهج وعوداً ثابتة. كما اختبروا ما إذا كانت الأداة المستخدمة لتصنيف البيانات تؤثر على النتيجة، ووجدوا أن الطريقة تعمل جيداً حتى لو استخدموا مصنفاً مختلفاً، مما يشير إلى أن الفكرة قوية ومتينة.
باختصر، تشير هذه الورقة إلى أن طريقة تدريب الذكاء الاصطناعي قد تحتاج إلى عملية تجديد. فبدلاً من رمي كل شيء على الحائط والأمل في أن يلتصق شيء ما، يجب علينا بناء نماذج الذكاء الاصطناعي لدينا تدريجياً، ومطابقة حجم أدمغتها مع صعوبة الدروس التي تتعلمها. إنها فكرة بسيطة مستوحاة من التطور البشري، وتشير التجارب إلى أنها قد تكون طريقة قوية لجعل الذكاء الاصطناعي أكثر ذكاءً، وأكثر كفاءة، وأفضل في الأشياء التي تهم حقاً: الاستنتاج والفهم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.