Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study
تقدم هذه الدراسة معياراً مرجعياً واسع النطاق وموزعاً عبر الفصول الدراسية، يتألف من 11,536 عملية تدريب عبر 18 مجموعة بيانات و6 عائلات من النماذج، مما يثبت أنه في حين تصف قوانين القوة منحنيات التعلم لمعظم النماذج الجدولية بفعالية مع وجود أسس مشتركة تقريبية، إلا أن تبايناً كبيراً يستمر بسبب تفاصيل التنفيذ بدلاً من البذور العشوائية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيفية اتخاذ القرارات، مثل التنبؤ بما إذا كان العميل سيشتري منتجاً ما أو ما إذا كان سيتم سداد القرض. لفترة طويلة، كان العلماء مهووسين بـ "قوانين القياس" للشبكات العصبية العملاقة، تلك الحواسيب الضخمة الشبيهة بالدماغ التي تشغل أشياء مثل برامج الدردشة الآلية ومولدات الصور. لقد اكتشفوا قاعدة سحرية: إذا قمت بتغذية هذه العمالقة بمزيد من البيانات، والمزيد من الخلايا الدماغية، والمزيد من قدرة الحوسبة، فإن أخطاءها تنخفض بطريقة يمكن التنبؤ بها تماماً، مثل منزلق ينحدر من فوق تلة. لقد أصبحت هذه القاعدة مهمة للغاية لدرجة أن الشركات تنفق ملايين الدولارات لمجرد حساب كمية البيانات التي تحتاج لشرائها.
لكن هنا تكمن المفاجأة: معظم العالم الحقيقي لا يعمل على شبكات عصبية عملاقة، بل يعمل على "البيانات الجدولية". فكر في جداول البيانات: صفوف من العملاء، وأعمدة تمثل أعمارهم، ودخلهم، وتاريخ مشترياتهم. هذا هو جوهر العمل التجاري، ويُستخدم في كل شيء بدءاً من تسعير التأمين وصولاً إلى التنبؤ بالمبيعات. بالنسبة لهذه المهام، غالباً ما تعمل الأدوات الأبسط والأقدم، مثل أشجار القرار والنماذج الخطية، بشكل أفضل من تلك العمالقة المتطورة. وكان السؤال الكبير هو: هل تتبع هذه الأدوات الأبسط، التي هي أقل تعقيداً، نفس قاعدة "المزيد من البيانات = أخطاء أقل" السحرية؟ وهل تظل القاعدة كما هي للجميع، أم أنها تتغير اعتماداً على جدول البيانات المحدد الذي تستخدمه؟ حتى الآن، لم يختبر أحد ذلك على نطاق واسد ليرى ما إذا كانت القاعدة ستصمد عندما يحاول أشخاص مختلفون إجراء نفس التجربة.
هذه الورقة البحثية هي تجربة ضخمة بحجم فصل دراسي صُممت للإجابة على ذلك بالضبط. فبدلاً من فريق بحثي واحد يجري بعض الاختبارات، نظم المؤلف 127 طالباً في دورة دراسات عليا في تعلم الآلة ليعملوا كعلماء مستقلين. تم إعطاء كل طالب مجموعة محددة من القواعد وتكليفه بثلاث مجموعات مختلفة من البيانات الواقعية (مثل حالات التعثر في بطاقات الائتمان أو أسعار المنازل) للعمل عليها. كان عليهم تدريب ستة أنواع مختلفة من نماذج تعلم الآلة "الكلاسيكية" على هذه البيانات، بدءاً من كميات صغيرة من البيانات وإضافتها تدريجياً، لمعرفة كيف تتغير معدلات الخطأ. وفي المجمل، أجروا أكثر من 11,000 جلسة تدريب، مما خلق مكتبة ضخمة من النتائج لمعرفة ما إذا كان بإمكان صيغة رياضية بسيطة التنبؤ بمدى جودة تعلم هذه النماذج.
كانت النتائج واضحة بشكل مفاجئ، ولكن مع بعض التحفظات المهمة. أولاً، "الصيغة السحرية" (قانون القوة) تعمل بشكل جيد جداً لمعظم هذه النماذج. فقد وجد المؤلفون أنه بالنسبة لحوالي 78% من التجارب، ناسبت الصيغة البيانات جيداً لدرجة أنها استطاعت التنبؤ بدقة بمدى انخفاض الخطأ مع إضافة المزيد من البيانات. ومع ذلك، ليست كل النماذج متساوية؛ فقد كانت "النماذج القائمة على الأشجار" (مثل التعزيز والغابات العشوائية) هي الأبطال، حيث تفوقت باستمرار على غيرها ووصلت إلى أدنى معدلات الخطأ. ومن ناحية أخرى، فشلت بعض النماذج، وخاصة نموذج "لاسو" (Lasso regression)، في اتباع القاعدة تماماً، حيث كانت غالباً ما تخمن المتوسط وتتجاهل حجم البيانات.
كما تناولت الدراسة سؤالاً رائعاً: هل يوجد "سرعة تعلم" واحدة لعائلة كاملة من النماذج، بغضًا عن مجموعة البيانات؟ كانت الإجابة هي "نوعاً ما". فبالنسبة لخمس عائلات من أصل ست، وجد الطلاب أن "سرعة تعلم" متوسطة واحدة (الأس) يمكنها التنبؤ بكيفية سلوك النماذج عبر مجموعات البيانات المختلفة بشكل يقارب دقة حساب سرعة فريدة لكل منها. الأمر يشبه القول بأن جميع السيارات من علامة تجارية معينة تتسارع بمعدل متشابه تقريباً، حتى لو اختلفت ظروف الطريق المحددة. ومع ذلك، ليس هذا قانوناً عالمياً مثالياً؛ فالملاءمة ليست دقيقة، وبالنسبة لبعض النماذج مثل "ريج" (Ridge regression)، كانت "السرعة" غير مستقرة للغاية بحيث لا يمكن الوثوق بها.
ربما لم تكن النتيجة الأكثر إثارة للدهشة تتعلق بالبيانات، بل بالبشر الذين قاموا بالعمل. فعلى الرغم من إعطاء كل طالب نفس التعليمات ونفس "البذرة الرقمية" (نقطة البداية العشوائية) لضمان حصولهم على نتائج متطابقة، إلا أن إجاباتهم النهائية اختلفت قليلاً. وقد حسب المؤلفون أن هذا "الضجيج الناتج عن التنفيذ البشري" — الناتج عن الاختلافات الطفيفة التي لا يمكن تجنبها في كيفية تعامل الناس مع الأرقام المفقودة أو ترميز النصوص — قد خلق تبايناً بنسبة 14% في النتائج. وهذا يشير إلى أنه عندما يدعي فريق بحثي واحد اكتشاف قانون قياس محدد، فإن هناك "غموضاً" متأصلاً بنسبة 14% يأتي من طريقة إعداد التجربة نفسها، وليس من البيانات.
في النهاية، تقدم لنا هذه الورقة خريطة عملية لعالم البيانات الجدولية. فهي تؤكد أنه بالنسبة لمعظم المشكلات التجارية، لا تحتاج إلى حاسوب خارق؛ بل إن نموذجاً شجرياً مضبوطاً جيداً سيغلب على الأرجح. وهي توفر "قائمة تسوق" للبيانات، حيث تُقدر أنه بالنسبة لبعض المشكلات الشائعة، قد تحتاج فقط إلى بضع مئات من الصفوف من البيانات للوصول إلى مستوى عالٍ من الدقة، بينما قد تحتاج مشكلات أخرى إلى عشرات الآلاف. لكنها تحذرنا أيضاً من أن نكون متواضعين: فالقواعد تقريبية وليست مطلقة، وطريقة تحضيرنا لبياناتنا يمكن أن تسبب قدراً من عدم اليقين يوازي ما تسببه البيانات نفسها. إنه تذكير بأنه في عالم تعلم الآلة، حتى أبسط جداول البيانات لها إيقاعاتها الخاصة المعقدة، الفوضوية قليلاً، ولكن المتوقعة في نهاية المطاف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.