Data Mixing as Mixture Experiment: Response Surface Methodology and Optimal Design for Large Language Model Pretraining
تعيد هذه الورقة صياغة خلط بيانات النماذج اللغوية الكبيرة كـتجربة خلط كلاسيكية، مقترحةً استخدام نماذج سطح الاستجابة لـ "شيفيه" المتناثرة وتصاميم مثلى متينة للنماذج لتحديد تخصيصات البيانات المثلى بكفاءة من خلال التقاط كل من التأثيرات الجمعية وتأثيرات التفاعل بين المجالات بشكل صريح.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
يعتمد أداء أنظمة الذكاء الاصطناعي الحديثة بشكل كبير على "النظام الغذائي" الذي تتلقاه خلال مرحلة تدريبها الأولية. فتماماً كما يتعلم الطفل البشري بشكل مختلف اعتماداً على ما إذا كان معرضاً في الغالب للقصص، أو الأدلة التقنية، أو المحادثات العادية، فإن النماذج اللغوية الكبيرة تتعلم قدراتها من المزيج المحدد من النصوص التي تُغذى بها. وقد عرف الباحثون منذ فترة طويلة أن نسبة أنواع البيانات المختلفة أمر بالغ الأهمية؛ فإعطاء النموذج المزيد من الأكواد البرمجية قد يجعله أفضل في البرمجة، بينما قد يؤدي إعطاؤه المزيد من المقالات العلمية إلى تحسين قدرته على الاستنتاج. ومع ذلك، فإن إجمالي كمية البيانات التي يمكن للنموذج معالجتها محدودة بميزانية ثابتة من القدرة الحوسبية. وهذا يخلق لغزاً صعباً: إذا كان لديك قدر محدد من الوقت للتدريب، فكيف تقرر بالضبط مقدار الوقت الذي يجب أن تقضيه في كل نوع من أنواع النصوص؟ إن زيادة حصة موضوع واحد تعني حتماً تقليل حصة موضوع آخر، والخطأ في هذا التوازن يهدر موارد حوسبية باهظة الثمن ويؤدي إلى إنتاج آلة أقل قدرة.
مؤخراً، حاول العلماء حل هذه المعضلة عبر تدريب نسخ صغيرة ومنخفضة التكلفة من هذه النماذج على مزيجات بيانات متنوعة لمعرفة أي التوليفات تعمل بشكل أفضل، آملين في استخدام تلك النتائج لتوجيه تدريب الأنظمة الأكبر والأكثر قوة. وتشير دراسة جديدة أجراها باحثون من جامعة كالغاري وجامعة فرجينيا إلى أن هذه العملية برمتها ليست مجرد مسألة تخمين أو أخذ عينات عشوائية، بل هي في الواقع نوع كلاسيكي من التجارب الإحصائية المعروفة باسم "تجربة الخليط" (mixture experiment). وفي هذه الرؤية، تشبه مصادر البيانات المختلفة المكونات في وصفة الطعام، والهدف هو إيجاد المزيج المثالي. وقد طبق الباحثون إطاراً رياضياً محدداً، تم تطويره في الأصل لصياغة المنتجات الكيميائية أو وصفات الطعام، على مشكلة تدريب الذكاء الاصطناعي. ومن خلال التعامل مع مزيج البيانات كتجربة مهيكلة بدلاً من كونها تخميناً عشوائياً، تمكنوا من كشف العلاقات الخفية بين أنواع النصوص المختلفة وأظهروا أن الطريقة التي يختار بها الباحثون مزيجات الاختبار يمكن جعلها أكثر كفاءة بشكل ملحوظ.
استخدم الفريق مجموعة بيانات متاحة للعموم من دراسة سابقة تسمى "RegMix"، والتي تضمنت تدريب 512 نموذجاً صغيراً على 17 نوعاً مختلفاً من البيانات، تتراوح بين مقالات ويكيبيديا والوثائق القانونية وصولاً إلى الأكواد المصدرية وسجلات الدردشة. وبدلاً من استخدام أدوات تعلم آلي معقدة و"صندوق أسود" تتنبأ بالنتيجة الأفضل ببساطة دون تفسير السبب، طبق الباحثون طريقة تفكك النتائج إلى جزأين: القيمة الفردية لكل نوع من أنواع البيانات، والقيمة الخاصة التي تظهر فقط عند دمج نوعين محددين معاً. ووجدوا أن قيمة مصدر البيانات ليست ثابتة، بل تتغير بناءً على ما يتم خلطه معه. فعلى سبيل المثال، بعض المجالات التي بدت ضعيفة أو غير مفيدة عند النظر إليها بمفردها، أصبحت ذات قيمة عالية عند اقترانها بالنصوص المستمدة من الويب. وقد كشف التحليل أن التركيبات الأكثر قوة لم تكن مجرد إضافة مكونات جيدة إلى بعضها البعض، بل كانت تتعلق بكيفية تفاعل أزواج محددة من المكونات لتقليل أخطاء النموذج بأكثر مما هو متوقع.
كما سمح هذا النهج للباحثين برؤية أن العلاقات التي اكتشفوها في النماذج الصغيرة ظلت قائمة حتى عندما نظروا إلى نماذج أكبر بكثير. فقد نجحت الطريقة في التنبؤ بمزيجات البيانات التي ستؤدي أفضل أداء عبر مقاييس مختلفة، محاكيةً دقة نماذج التعلم الآلي الأكثر مرونة ولكن الأقل قابلية للتفسير. والأهم من ذلك، أظهرت الدراسة أن الطريقة التي يختار بها الباحثون حالياً مزيجات الاختبار يمكن تحسينها. ففي دراسة "RegMix" الأصلية، تم اختيار مزيجات الاختبار عشوائياً، مثل سحب الأرقام من قبعة. وأثبت البحث الجديد أنه باستخدام استراتيجية تصميم محددة لاختيار أماكن وضع نقاط الاختبار هذه، يمكن للعلماء تحقيق نفس المستوى من الفهم مع إجراء عمليات تدريب أقل بنسبة 25 بالمائة تقريباً. وهذا يعني أن العملية المكلفة لاختبار مزيجات البيانات يمكن جعلها أرخص وأسرع بكثير دون فقدان أي قدرة على إيجاد وصفة التدريب المثالية.
وتشير النتائج إلى أن مجال تدريب الذكاء الاصطناعي يجب أن يعامل خلط البيانات ليس فقط كمشكلة تنبؤ، بل كمشكلة تصميم تجريبي مدروس. ومن خلال إدراك أن اختيار مزيجات الاختبار يهم بقدر أهمية تحليل النتائج، يمكن للباحثين توفير كميات كبيرة من القدرة الحوسبية. وتؤكد الدراسة أن أفضل مزيجات البيانات غالباً ما تُحدد من خلال كيفية تكامل المصادر المختلفة مع بعضها البعض، وليس من خلال جودة أي مصدر بمفرده. وبينما استُخلصت النتائج المحددة من مجموعة معينة من البيانات والنماذج، فإن هذا الإطار يقدم طريقة واضحة ومهيكلة للتفكير في كيفية تغذية الذكاء الاصطناعي، محولاً مسألة تخصيص معقدة إلى تجربة قابلة للحل يمكن أن توجه تطوير نماذج لغوية أكثر ذكاءً وكفاءة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.