A Bitter Lesson for Data Filtering
यह शोध पत्र इस पारंपरिक धारणा को चुनौती देता है कि बड़े मॉडल के प्रीट्रेनिंग के लिए डेटा फ़िल्टरिंग आवश्यक है, यह उच्च-कंप्यूट, डेटा-दुर्लभ व्यवस्थाओं में स्केलिंग अध्ययनों के माध्यम से प्रदर्शित करता है कि पर्याप्त रूप से प्रशिक्षित बड़े मॉडल वास्तव में कम गुणवत्ता वाले और विचलित करने वाले डेटा को हटाने के बजाय उन्हें शामिल करने से लाभान्वित होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "A Bitter Lesson for Data Filtering" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।
मुख्य विचार: "नो फ़िल्टर" नियम (The "No Filter" Rule)
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) को दुनिया के बारे में सब कुछ सिखाने की कोशिश कर रहे हैं। इसे करने का पारंपरिक तरीका एक सख्त लाइब्रेरियन की तरह व्यवहार करना है। आप एक विशाल पुस्तकालय (इंटरनेट/कॉमन क्रॉल) में जाते हैं, बिखरी हुई, खराब तरीके से लिखी गई या दोहराव वाली किताबों को फेंक देते हैं, और केवल संग्रह का सबसे "अच्छा" 1% हिस्सा ही छात्र को देते हैं।
यह पेपर तर्क देता है कि यदि आपके पास छात्र को बहुत लंबे समय तक सिखाने के लिए पर्याप्त समय और ऊर्जा (कंप्यूटिंग पावर) है, तो आपको वास्तव में लाइब्रेरियन बनना बंद कर देना चाहिए।
लेखकों ने पाया कि यदि आप छात्र को सब कुछ पढ़ने देते हैं—अच्छी किताबें, बुरी किताबें, दोहराव वाली सूचियाँ और रैंडम शोर (noise)—तो वे अंततः उस स्थिति से बेहतर सीखेंगे जहाँ आपने उनके लिए किताबें छांटी थीं। वास्तव में, "कचरा" डेटा (junk data) पर्याप्त बड़े और अच्छी तरह से प्रशिक्षित मॉडल के लिए हानिकारक नहीं, बल्कि मददगार साबित होता है।
प्रयोग: "जिम" की उपमा (The "Gym" Analogy)
इसका परीक्षण करने के लिए, शोधकर्ताओं ने प्रयोगों की एक श्रृंखला स्थापित की जो AI मॉडल्स के लिए एक 'जिम' की तरह काम करती है।
1. "साफ बनाम गंदा" आहार (The "Clean vs. Messy" Diet)
उन्होंने इंटरनेट टेक्स्ट का एक बड़ा ढेर (द "पूल") लिया और उसके विभिन्न संस्करण बनाए:
- द पूल (The Pool): कच्चा, बिना फ़िल्टर किया गया इंटरनेट टेक्स्ट।
- द फिल्टर्स (The Filters): ऐसे संस्करण जहाँ उन्होंने विशिष्ट चीजों को हटाया, जैसे गैर-अंग्रेजी टेक्स्ट, दोहराव वाले पैराग्राफ, या ऐसे शब्द जो सामान्य अंग्रेजी शब्द नहीं हैं। कुछ फ़िल्टर बहुत सख्त थे (केवल 2% टेक्स्ट रखा गया), जबकि कुछ ढीले थे।
उन्होंने अलग-अलग आकार के मॉडल्स को इन अलग-अलग आहारों पर प्रशिक्षित किया।
- परिणाम: छोटे मॉडल्स या छोटे प्रशिक्षण सत्रों के लिए, "साफ आहार" (फ़िल्टर किया गया डेटा) बेहतर काम करता था। यह एक छोटे बच्चे के सीखने जैसा है जो डिक्शनरी के बजाय चित्र वाली किताब से बेहतर सीखता है।
- ट्विस्ट: जैसे-जैसे उन्होंने मॉडल्स को बड़ा बनाया और उन्हें अधिक समय तक प्रशिक्षित किया (अधिक "कंप्यूट"), "गंदा आहार" (पूरा, बिना फ़िल्टर किया गया पूल) जीतने लगा। पूल पर प्रशिक्षित मॉडल अंततः फ़िल्टर किए गए डेटा वाले मॉडल्स से आगे निकल गए, भले ही फ़िल्टर किया गया डेटा "उच्च गुणवत्ता" वाला था।
2. "जंक फूड" का इंजेक्शन (The "Junk Food" Injection)
यह देखने के लिए कि ये मॉडल्स कितने मजबूत हैं, शोधकर्ताओं ने जानबूझकर उनके आहार में "कचरा" मिलाया:
- रैंडम स्ट्रिंग्स: मनगढ़ंत शब्द जैसे "htb hqovl bwdws"।
- बिखरे हुए वाक्य (Shuffled Sentences): वास्तविक वाक्यों को लेकर शब्दों का क्रम बदल दिया (जैसे, "Paris France of capital is The")।
आश्चर्य: इस कचरे के मिश्रण के बावजूद, बड़े मॉडल्स टूटे नहीं। उन्होंने शोर (noise) को अनदेखा करना सीख लिया। एक अजीब मोड़ में, मॉडलों ने कुछ मामलों में साफ डेटा की तुलना में बिखरे हुए वाक्यों से बेहतर सीखा। क्यों? क्योंकि जब शब्द बिखरे हुए होते हैं, तब भी मॉडल देख सकता है कि "Paris" और "France" अक्सर एक साथ आते हैं, जिससे उसे उनके बीच का संबंध समझने में मदद मिलती है। "कचरे" ने एक कठिन वर्कआउट की तरह काम किया जिसने मॉडल को और मजबूत बना दिया।
"द बिटर लेसन" (The "Bitter Lesson")
यह पेपर रिचर्ड सटन के एक प्रसिद्ध विचार "द बिटर लेसन" का संदर्भ देता है। सबक यह है: जब हम चीजों को बड़े पैमाने पर (scale up) ले जाते हैं, तो अक्सर मानवीय अंतर्ज्ञान (human intuition) विफल हो जाता है।
हम इंसान सोचते हैं, "हमें डेटा को छाँटना चाहिए क्योंकि यह बहुत बिखरा हुआ है।" लेकिन यह पेपर सुझाव देता है कि जैसे-जैसे हमारे पास अधिक शक्तिशाली कंप्यूटर होते जा रहे हैं, डेटा को साफ करने के हमारे जटिल, मानव-निर्मित नियम, "बस सब कुछ खिला दो" वाले सरल दृष्टिकोण से हार जाते हैं। मॉडल खुद यह समझने में सक्षम है कि क्या उपयोगी है और क्या शोर है, बशर्ते उसके पास सीखने के लिए पर्याप्त समय हो।
एक बड़ी शर्त: इसमें बहुत ऊर्जा लगती है (The Catch: It Costs a Lot of Energy)
इस पद्धति के काम करने के लिए एक प्रमुख शर्त है: कंप्यूट (Compute)।
पेपर गणना करता है कि "सब कुछ पढ़ने" वाले दृष्टिकोण को "सब कुछ फ़िल्टर करने" वाले दृष्टिकोण को हराने के लिए, आपको भारी मात्रा में कंप्यूटिंग पावर की आवश्यकता होगी। उनका अनुमान है कि पूरे कॉमन क्रॉल डेटासेट (240 ट्रिलियन शब्द) के लिए, आपको बिना फ़िल्टर किए गए डेटा को स्पष्ट विजेता बनाने के लिए लगभग 1e+30 FLOPs (गणना की एक इकाई) की आवश्यकता होगी।
- इसे ऐसे समझें: यदि आपका बजट छोटा है, तो अपने डेटा को साफ करने के लिए एक पेशेवर संपादक को काम पर रखना एक समझदारी भरा कदम है। लेकिन यदि आपके पास अरबों डॉलर का बजट है, तो आप लाखों इंटर्न को इंटरनेट के हर पन्ने को पढ़ने के लिए काम पर रख सकते हैं, और पढ़ने का वह विशाल वॉल्यूम AI को उस चीज़ से कहीं अधिक सिखाएगा जो एक संपादक कभी नहीं सिखा सकता था।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि विशाल AI मॉडल्स के भविष्य के लिए, हमें शायद आदर्श क्यूरेटर (curators) बनने की कोशिश छोड़ देनी चाहिए। "खराब" डेटा को फ़िल्टैर आउट करने के लिए भारी संसाधन खर्च करने के बजाय, हमें बड़े मॉडल बनाने और उन्हें कच्चे, बिखरे हुए, बिना फ़िल्टर किए गए इंटरनेट पर लंबे समय तक प्रशिक्षित करने पर ध्यान केंद्रित करना चाहिए। मॉडल आश्चर्यजनक रूप से लचीले हैं; वे शोर को संभाल सकते हैं और बेहतर सीखने के लिए उसका उपयोग भी कर सकते हैं।
संक्षेप में: यदि आपके पास पर्याप्त शक्ति है, तो सबसे अच्छा फ़िल्टर कोई फ़िल्टर न होना ही है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।