Scaling Domain Data Repetition in LLM Pretraining
تستقصي هذه الورقة البحثية المقايضة بين تكرار البيانات وفرط التخصيص في مرحلة ما قبل التدريب للنماذج اللغوية الكبيرة، كاشفةً أن أعداد التكرار المثلى لبيانات النطاق عالية الجودة تزداد طفيفاً مع حجم النموذج عند نسبة ثابتة من الرموز لكل معلمة، وتترابط ارتباطاً سالباً قوياً مع خسارة التحقق للنطاق، مما يشير إلى أن الضبط على نماذج وسيطة أصغر يمكن أن يوجه بفعالية استراتيجيات التوسع للنماذج الأكبر.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيف يتحدث، ويكتب، ويفكر. للقيام بذلك، تقوم بتغذية هذا الروبوت بمكتبة ضخمة من النصوص، وهي عملية تسمى "التدريب المسبق" (pretraining). لكن هناك عقبة؛ فكلما زاد حجم الروبوت وأصبح أكثر ذكاءً بإضافة المزيد من "خلايا الدماغ" (المعلمات/parameters)، يجب عليك تغذيته بكلمات أكثر لكي لا يصاب بالارتباك أو يقل أداؤه. هذا هو عالم النماذج اللغوية الكبيرة (LLMs). المشكلة هي أنه بينما يمكنك بسهولة العثور على كميات لا حصر لها من نصوص الإنترنت العامة (مثل منشورات المنتديات العشوائية أو المقالات الإخبارية)، فإن العثور على معرفة متخصصة عالية الجودة (مثل الرياضيات المتقدمة، أو البرمجة، أو الحقائق الطبية) يشبه البحث عن إبرة في كومة قش؛ فلا يوجد ما يكفي لتغذية روبوت عملاق.
فماذا تفعل عندما تنفد منك المواد الجيدة؟ تبدأ بتكرارها. تأخذ ذلك الكتاب المدرسي للرياضيات الثمين وتغذيه للروبوت مراراً وتكراراً. لكن هذه عملية توازن دقيقة؛ فإذا كررت المواد الجيدة كثيراً، فقد يقوم الروبوت بمجرد حفظ الكتاب حرفياً ويفشل في فهم المفاهيم الفعلية، وهي مشكلة تسمى "الفرط في التخصيص" (overfitting). أما إذا لم تكررها بما يكفي، فستغرق في بحر من الضجيج العام للإنترنت ولن يتعلم الأشياء الصعبة أبداً. السؤال الكبير هو: كم مرة يجب أن تكرر البيانات الجيدة قبل أن يبدأ الروبوت في الارتباك؟
هذه الورقة البحثية، التي تحمل عنوان "توسيع تكرار بيانات المجال في التدريب المسبق للنماذج اللغوية الكبيرة"، تغوص بعمق في هذا السؤال تحديداً. أراد الباحثون من جامعة تسينغهوا وشركة ByteDance Seed معرفة الوصفة المثالية لخلط البيانات عالية الجودة مع البيانات العامة مع زيادة حجم الروبوتات. لقد اختبروا ذلك على أربعة "نكهات" خاصة من البيانات: البرمجة، والرياضيات، وويكيبيديا، والسجلات الطبية.
إليك ما اكتشفوه، وهناك مفاجأة في الحبكة. لفترة طويلة، اعتقد الناس أنه كلما كبرت الروبوتات، أصبحت أكثر هشاشة وتتعرض لـ "الفرط في التخصيص" (الحفظ) بشكل أسرع. كانت النصيحة القديمة تقول: "لا تكرر الأشياء الجيدة كثيراً، وإلا سينكسر الروبوت الكبير". لكن المؤلفين وجدوا شيئاً مفاجئاً عندما حافظوا على ميزانية التدريب متناسبة مع حجم الروبوت (وهي قاعدة تسمى نسبة "الرموز لكل معلمة" الثابتة). لقد وجدوا أن الروبوتات الأكبر يمكنها في الواقع تحمل تكرار أكثر من الروبوتات الأصغر. الأمر يشبه رياضياً ضخماً يمكنه الجري لعدد أكبر من الدورات دون أن يتعب مقارنة بآخر صغير، بشرًا ما يتم تدريبهما بنفس الكثافة.
ومع ذلك، فإن القاعدة الأكثر أهمية التي وجدوها لا تتعلق بحجم الروبوت، بل بجودة البيانات نفسها. لقد اكتشفوا ارتباطاً قوياً بين مدى جودة تعلم الروبوت لموضوع معين ومدى قدرته على تكرار ذلك الموضوع. إذا تعلم الروبوت مجالاً ما (مثل الرياضيات) بشكل جيد وحصل على "درجة خطأ" منخفضة (فقدان التحقق)، فيمكنه تحمل تكرار تلك البيانات مرات عديدة دون أن ينكسر. ولكن إذا كان الروبوت يعاني مع موضوع ما ولديه درجة خطأ عالية، فسيقع في فخ "الفرط في التخصيص" بسرعة كبيرة، لذا يجب عليك تكرار تلك البيانات مرات قليلة جداً.
ومن المثير للاهتمام أن كمية البيانات الفريدة التي تبدأ بها لا تبدو مهمة كثيراً في تحديد عدد مرات تكرارها. سواء كان لديك كومة صغيرة من المسائل الرياضية الفريدة أو كومة ضخمة، فإن "النقطة المثالية" للتكرار تظل ثابتة تقريباً. يقترح الباحثون أنه إذا كنت تريد تدريب روبوت ضخم، فلا داعي للتخمين. يمكنك تدريب روبوت "وسيط" أصغر أولاً، لترى مدى جودة تعلمه للرياضيات أو البرمجة، واستخدام هذه النتيجة لتخمين عدد مرات تكرار البيانات بأمان للروبوت العملاق.
كما اختبروا ما يحدث عند استبدال البيانات الفريدة بالبيانات المكررة مع الحفاظ على إجمالي كمية "الأشياء الجيدة" كما هي. وجدوا أنه بالنسبة لبعض المواضيع، مثل الرياضيات، فإن تكرار البيانات يكاد يكون بنفس جودة وجود المزيد من البيانات الفريدة. ولكن بالنسبة لمواضيع أخرى، مثل ويكيبيديا، فإن تكرار البيانات فكرة سيئة؛ حيث يتعلم الروبوت بشكل أسوأ بكثير إذا سمع نفس جمل ويكيبيديا مراراً وتكراراً بدلاً من قراءة جمل جديدة.
أخيراً، نظروا في كيفية تغير "سرعة تعلم" الروبوت (معدل التعلم) أثناء التدريب. وجدوا أنه إذا أبطأت سرعة الروبوت في وقت مبكر من التدريب، فإنه يصبح أكثر حساسية للتكرار ويقع في فخ "الفرط في التخصيص" في وقت أقرب. ولكن إذا حافظت على سرعة التعلم عالية لفترة أطول، فيمكن للروبوت تحمل المزيد من التكرار قبل أن يبدأ في الحفظ بدلاً من التعلم.
باختصار، تشير هذه الورقة إلى أنه لا يوجد رقم سحري واحد لعدد مرات تكرار البيانات. بدلاً من ذلك، تعتمد الاستراتيجية المثلى على مدى جودة تعلم الروبوت لذلك الموضوع المحدد بالفعل. إذا كان متعلماً سريعاً، كرر البيانات أكثر. وإذا كان متعلماً بطيئاً، توقف عن التكرار في وقت أبكر. ومن المثير للدهشة أن الروبوتات الأكبر هي في الواقع أكثر قوة في مواجهة التكرار مما كنا نعتقد، طالما أننا نغذيها بالقدر المناسب من البيانات المتناسبة مع حجمها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.