Scaling Laws for Classical Machine Learning on Tabular Data: A Benchmark Study
यह अध्ययन 18 डेटासेट और 6 मॉडल परिवारों में 11,536 प्रशिक्षण रन के एक बड़े पैमाने के, कक्षा-वितरित बेंचमार्क को प्रस्तुत करता है, जो यह प्रदर्शित करता है कि जबकि पावर लॉ (power laws) लगभग समान घातांकों वाले अधिकांश टैबुलर मॉडलों के लिए लर्निंग कर्व्स का प्रभावी ढंग से वर्णन करते हैं, महत्वपूर्ण भिन्नता रैंडम सीड्स के बजाय कार्यान्वयन विवरणों के कारण बनी रहती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को निर्णय लेना सिखाने की कोशिश कर रहे हैं, जैसे कि यह अनुमान लगाना कि क्या कोई ग्राहक कोई उत्पाद खरीदेगा या क्या कोई ऋण वापस किया जाएगा। लंबे समय से, वैज्ञानिक विशाल न्यूरल नेटवर्क—जो चैटबॉट्स और इमेज जनरेटर जैसी चीजों को शक्ति देने वाले विशाल, मस्तिष्क जैसे कंप्यूटर हैं—के लिए "स्केलिंग लॉज़" (scaling laws) के प्रति जुनूनी रहे हैं। उन्होंने एक जादुई नियम खोजा: यदि आप इन दिग्गजों को अधिक डेटा, अधिक मस्तिष्क कोशिकाएं (brain cells), और अधिक कंप्यूटिंग पावर खिलाते हैं, तो उनकी गलतियाँ एक बिल्कुल अनुमानित तरीके से कम हो जाती हैं, जैसे एक पहाड़ी से नीचे जाता हुआ स्लाइड। यह नियम इतना महत्वपूर्ण हो गया है कि कंपनियाँ केवल यह गणना करने के लिए लाखों डॉलर खर्च करती हैं कि उन्हें कितने डेटा की आवश्यकता होगी।
लेकिन यहाँ एक मोड़ है: वास्तविक दुनिया का अधिकांश हिस्सा विशाल न्यूरल नेटवर्क पर नहीं चलता। यह "टेबुलर डेटा" (tabular data) पर चलता है। एक स्प्रेडशीट के बारे में सोचें: ग्राहकों की पंक्तियाँ (rows), और उनके आयु, आय और खरीदारी के इतिहास जैसे कॉलम। यह व्यवसाय का आधार है, जिसका उपयोग बीमा मूल्य निर्धारण से लेकर बिक्री पूर्वानुमान तक सब कुछ करने के लिए किया जाता है। इन कार्यों के लिए, फैंसी दिग्गजों की तुलना में सरल, पुराने उपकरण जैसे 'डिसीजन ट्री' (decision trees) और 'लीनियर मॉडल' (linear models) अक्सर बेहतर काम करते हैं। बड़ा सवाल यह था: क्या ये सरल उपकरण भी उसी जादुई "अधिक डेटा = कम गलतियाँ" वाले नियम का पालन करते हैं? और यदि वे करते हैं, तो क्या नियम सभी के लिए एक जैसा है, या यह इस बात पर निर्भर करता है कि आप किस विशिष्ट स्प्रेडशीट का उपयोग कर रहे हैं? अब तक, यह देखने के लिए कि क्या यह नियम बना रहता है जब अलग-अलग लोग एक ही प्रयोग चलाने की कोशिश करते हैं, इसे बड़े पैमाने पर किसी ने टेस्ट नहीं किया था।
यह शोध पत्र एक विशाल, कक्षा-आकार का प्रयोग है जिसे ठीक इसी प्रश्न का उत्तर देने के लिए डिज़ाइन किया गया है। एक एकल अनुसंधान टीम द्वारा कुछ परीक्षण चलाने के बजाय, लेखक ने एक स्नातक मशीन लर्निंग कोर्स के 127 छात्रों को स्वतंत्र वैज्ञानिक के रूप में कार्य करने के लिए संगठित किया। प्रत्येक छात्र को एक विशिष्ट सेट के नियम दिए गए थे और उन्हें तीन अलग-अलग वास्तविक दुनिया के डेटासेट (जैसे क्रेडिट कार्ड डिफॉल्ट या हाउसिंग प्राइस) पर काम करने के लिए सौंपा गया था। उन्हें इन डेटासेट्स पर छह अलग-अलग प्रकार के "क्लासिकल" मशीन लर्निंग मॉडल को प्रशिक्षित करना था, जो डेटा की बहुत कम मात्रा से शुरू होकर धीरे-धीरे अधिक डेटा जोड़ते हुए आगे बढ़े, ताकि यह देखा जा सके कि त्रुटि दर (error rates) कैसे बदलती है। कुल मिलाकर, उन्होंने 11,000 से अधिक प्रशिक्षण सत्र चलाए, जिससे परिणामों का एक विशाल पुस्तकालय बना ताकि यह देखा जा सके कि क्या एक सरल गणितीय सूत्र यह अनुमान लगा सकता है कि ये मॉडल कितनी अच्छी तरह सीखेंगे।
परिणाम आश्चर्यजनक रूप से स्पष्ट थे, लेकिन इसमें कुछ महत्वपूर्ण सावधानियां भी थीं। पहला, "जादुई सूत्र" (एक पावर लॉ) वास्तव में अधिकांश मॉडलों के लिए बहुत अच्छी तरह से काम करता है। लेखकों ने पाया कि लगभग 78% प्रयोगों के लिए, सूत्र डेटा के साथ इतनी अच्छी तरह फिट हुआ कि वह सटीक रूप से भविष्यवाणी कर सका कि अधिक डेटा जोड़ने पर त्रुटि कितनी कम होगी। हालाँकि, सभी मॉडल समान नहीं होते। "ट्री-बेस्ड" मॉडल (जैसे बूस्टिंग और रैंडम फॉरेस्ट) चैंपियन थे, जो लगातार दूसरों से बेहतर प्रदर्शन करते थे और सबसे कम त्रुटि दर तक पहुँचते थे। दूसरी ओर, कुछ मॉडल, विशेष रूप से लासो रिग्रेशन (Lasso regression), पूरी तरह से नियम का पालन करने में विफल रहे, जो अक्सर केवल औसत का अनुमान लगाते थे और डेटा के आकार को अनदेखा कर देते थे।
अध्ययन ने एक दिलचस्प प्रश्न को भी संबोधित किया: क्या मॉडलों के पूरे परिवार के लिए एक ही "सीखने की गति" (learning speed) होती है, चाहे डेटासेट कुछ भी हो? उत्तर है "एक तरह से हाँ।" छह में से पांच मॉडल परिवारों के लिए, छात्रों ने पाया कि एक औसत "सीखने की गति" (exponent) विभिन्न डेटासेट्स में उनके व्यवहार की भविष्यवाणी लगभग उतनी ही अच्छी तरह कर सकती थी जितनी कि प्रत्येक के लिए एक अद्वितीय गति की गणना करना। यह ऐसा है जैसे कहने के लिए कि एक निश्चित ब्रांड की सभी कारें एक निश्चित दर पर त्वरित (accelerate) होती हैं, भले ही विशिष्ट सड़क की स्थितियाँ भिन्न हों। हालाँकि, यह एक पूर्ण सार्वभौमिक नियम नहीं है; फिट एकदम सटीक नहीं है, और रिज़ रिग्रेशन (Ridge regression) जैसे कुछ मॉडलों के लिए, "गति" इतनी अस्थिर थी कि उस पर भरोसा नहीं किया जा सकता था।
शायद सबसे आश्चर्यजनक खोज डेटा के बारे में नहीं, बल्कि काम करने वाले मनुष्यों के बारे में थी। भले ही प्रत्येक छात्र को बिल्कुल समान निर्देश और एक ही रैंडम सीड (एक डिजिटल शुरुआती बिंदु) दिया गया था ताकि वे समान परिणाम प्राप्त कर सकें, फिर भी उनके अंतिम उत्तरों में थोड़ा अंतर था। लेखकों ने गणना की कि यह "मानवीय कार्यान्वयन शोर" (human implementation noise)—जो इस कारण होता है कि लोग गायब संख्याओं को कैसे संभालते हैं या टेक्स्ट को कैसे एनकोड करते हैं—परिणामों में लगभग 14% का अंतर पैदा करता है। यह सुझाव देता है कि जब एक एकल अनुसंधान टीम यह दावा करती है कि उन्होंने एक विशिष्ट स्केलिंग लॉ की खोज की है, तो इसमें लगभग 14% की एक अंतर्निहित "धुंधलापन" (fuzziness) होती है जो केवल उनके सेटअप के तरीके से आती है, न कि डेटा से।
अंत में, यह शोध पत्र टेबुलर डेटा की दुनिया के लिए एक व्यावहारिक मानचित्र प्रदान करता है। यह पुष्टि करता है कि अधिकांश व्यावसायिक समस्याओं के लिए, आपको सुपरकंप्यूटर की आवश्यकता नहीं है; एक अच्छी तरह से ट्यून किया गया ट्री मॉडल संभवतः जीत जाएगा। यह डेटा के लिए एक "शॉपिंग लिस्ट" भी प्रदान करता है, यह अनुमान लगाते हुए कि कुछ सामान्य समस्याओं के लिए, आपको उच्च स्तर की सटीकता तक पहुँचने के लिए केवल कुछ सौ पंक्तियों के डेटा की आवश्यकता हो सकती है, जबकि अन्य के लिए आपको हजारों की आवश्यकता हो सकती है। लेकिन यह हमें विनम्र रहने की चेतावनी भी देता है: नियम अनुमानित हैं, पूर्ण नहीं, और जिस तरह से आप अपने डेटा को तैयार करते हैं, वह अनिश्चितता उतनी ही पैदा कर सकता है जितना कि स्वयं डेटा। यह हमें याद दिलाता है कि मशीन लर्निंग की दुनिया में, यहाँ तक कि सबसे सरल स्प्रेडशीट की भी अपनी जटिल, थोड़ी अस्त-व्यस्त, लेकिन अंततः अनुमानित लय होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।