Recovering Latent Structure in Massive Datasets: A PCA Study of 10 Billion and 1 Trillion Observations
यह अध्ययन प्रदर्शित करता है कि प्रिंसिपल कंपोनेंट एनालिसिस (PCA) अत्यधिक नमूना आकारों पर तीव्र अभिसरण और स्थिरता प्रदर्शित करता है, जो इंजीनियर किए गए डेटासेट में अंतर्निहित संरचनाओं को सफलतापूर्वक पुनर्प्राप्त करता है और 10 अरब एवं 1 ट्रिलियन अवलोकनों के यादृच्छिक डेटासेट में लगभग समान परिणाम उत्पन्न करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल भीड़ के "व्यक्तित्व" को समझने की कोशिश कर रहे हैं। डेटा विज्ञान की दुनिया में, यह भीड़ एक डेटासेट है, और व्यक्तित्व वह छिपा हुआ पैटर्न या "लेटेंट स्ट्रक्चर" (latent structure) है जो सब कुछ एक साथ जोड़ता है। इन पैटर्नों को खोजने के लिए, सांख्यिकीविद (statisticians) एक चतुर उपकरण का उपयोग करते हैं जिसे प्रिंसिपल कंपोनेंट एनालिसिस (PCA) कहा जाता है। PCA को एक सुपर-स्मार्ट अनुवादक के रूप में सोचें जो हजारों अलग-अलग वस्तुओं से भरे एक अस्त-व्यस्त कमरे में यह पता लगाता है कि वास्तव में कौन से कुछ समूह एक साथ तालमेल में चल रहे हैं। यदि आपके पास 100 लोगों का कमरा है, तो PCA आपको बता सकता है कि 90% हलचल बस सभी के एक साथ बाएं और दाएं खिसकने की है, जबकि बाकी 10% केवल बेतरतीब बेचैनी है।
द दशकों से, वैज्ञानिक सैकड़ों या हजारों लोगों वाले छोटे समूहों पर PCA का उपयोग करते आए हैं। लेकिन आज, हम "बिग डेटा" के युग में जी रहे हैं, जहाँ हम अरबों या खरबों चीजों के बारे में जानकारी एकत्र कर सकते हैं, जैसे कि उपग्रह चित्र का हर पिक्सेल या वेबसाइट पर किया गया हर क्लिक। एक बड़ा सवाल हवा में लटका हुआ है: क्या PCA तब भी काम करता है जब भीड़ इतनी बड़ी हो जाती है? क्या यह उपकरण आकार की अधिकता से भ्रमित हो जाता है, या यह वास्तव में और बेहतर और अधिक स्थिर हो जाता है? यह अध्ययन इसी प्रश्न की गहराई में जाता है, यह परीक्षण करता है कि क्या हमारे सांख्यिकीय अनुवादक उस भीड़ को संभाल सकते हैं जो एक सामान्य कंप्यूटर को विस्फोट करने पर मजबूर कर दे।
महान डेटा प्रयोग: जब "अधिक" होना "अलग" नहीं रह जाता
डॉ. माइक क्रोहरस्ट और उनकी टीम ने PCA को अंतिम परीक्षा में डालने का निर्णय लिया। उन्होंने केवल एक छोटी भीड़ को नहीं देखा; उन्होंने यह देखने के लिए तीन विशाल परिदृश्य बनाए कि यह उपकरण कैसे व्यवहार करता है। सबसे पहले, उन्होंने 10 बिलियन अवलोकनों (observations) का एक "रैंडम" (यादृच्छिक) समूह बनाया (10BillionRandom)। फिर, उन्होंने 1 ट्रिलियन अवलोकनों का एक और भी बड़ा रैंडम समूह बनाया (1TrillionRandom)—जो पहले वाले से 100 गुना बड़ा है! अंत में, उन्होंने 10 बिलियन अवलोकनों का एक "रिगड" (engineered/तैयार किया गया) समूह बनाया (10BillionEngineered), जिसे गुप्त रूप से तीन विशिष्ट छिपे हुए पैटर्न के साथ डिजाइन किया गया था, जैसे कि एक जादूगर का खेल जहाँ जादूगर को पता होता है कि ताश के पत्ते कहाँ रखे गए हैं।
"रैंडम" भीड़: जब आकार मायने नहीं रखता
शोधकर्ता यह देखना चाहते थे कि क्या रैंडम भीड़ को 100 गुना बड़ा करने से परिणामों में बदलाव आएगा। कल्पना कीजिए कि आप लोगों के एक समूह की औसत ऊंचाई का अनुमान लगाने की कोशिश कर रहे हैं। यदि आप 10 लोगों को मापते हैं, तो आपको एक अजीब औसत मिल सकता है। यदि आप 1,000 को मापते हैं, तो यह सच्चाई के करीब पहुँच जाता है। लेकिन क्या होगा यदि आप 10 बिलियन को मापते हैं? क्या 1 ट्रिलियन मापना उत्तर को बदल देगा?
इन सिमुलेशन में, उत्तर एक जोरदार "नहीं" था। 10 बिलियन लोगों के समूह और 1 ट्रिलियन लोगों के समूह के लिए PCA के परिणाम लगभग समान थे। संख्याएँ इतनी करीब थीं कि वे पांचवें या छठे दशमलव स्थान तक मेल खाती थीं। ऐसा लग रहा था जैसे उपकरण ने रैंडम डेटा के "सच" को 10 बिलियन तक पहुँचते-पहुँचते ही समझ लिया था। 990 बिलियन और अवलोकन जोड़ने से कोई नए रहस्य प्रकट नहीं हुए; समाधान पहले ही "कन्वर्ज" (converged) हो चुका था, जिसका अर्थ है कि यह अपने अंतिम, स्थिर आकार में बस गया था। अध्ययन बताता है कि इस प्रकार के रैंडम डेटा के लिए, आपको विश्वसनीय उत्तर पाने के लिए ट्रिलियन बिंदुओं तक प्रतीक्षा करने की आवश्यकता नहीं है; 10 बिलियन तक पहुँचना ही अंतिम रेखा तक पहुँचने के लिए पर्याप्त था।
"रिगड" भीड़: छिपे हुए खजाने को खोजना
इसके बाद, टीम ने परीक्षण किया कि क्या PCA एक विशाल डेटासेट में छिपी हुई संरचना को खोज सकता है। उन्होंने "इंजीनियर्ड" डेटासेट को तीन गुप्त सामग्रियों (लेटेंट फैक्टर्स) के साथ बनाया जो चरों (variables) के व्यवहार को नियंत्रित करने वाले थे। यह एक अरब वाद्ययंत्रों के सिम्फनी में तीन अलग-अलग धुनों को छिपाने जैसा था।
परिणाम? PCA ने उन्हें पूरी तरह से खोज लिया। उपकरण ने तीन मुख्य "प्रिंसिपल कंपोनेंट्स" की पहचान की जो डेटा के कुल विचरण (variation) का आश्चर्यजनक 99.996% हिस्सा समझाते थे। शेष सात घटक इतने छोटे थे कि वे मूल रूप से शोर (noise) थे। PCA ने जो पैटर्न खोजे, वे उन गुप्त रेसिपी से लगभग पूरी तरह मेल खाते थे जिनका उपयोग शोधकर्ताओं ने डेटा बनाने के लिए किया था। यह साबित करता है कि जब डेटासेट 10 बिलियन जितना बड़ा होता है, तब भी PCA शोर में खो नहीं जाता; वास्तव में यह सिग्नल खोजने में और भी तेज़ हो जाता है क्योंकि रैंडम त्रुटियाँ एक-दूसरे को प्रभावी ढंग से रद्द कर देती हैं।
चतुर "क्रॉस-लोडिंग" वेरिएबल
कहानी में एक छोटा सा मोड़ था। शोधकर्ताओं ने एक विशेष वेरिएबल, "K" शामिल किया, जिसे एक साथ दो छिपे हुए पैटर्न से प्रभावित होने के लिए डिज़ाइन किया गया था (एक "क्रॉस-लोडिंग" वेरिएबल)। उन्हें उम्मीद थी कि यह दोनों के बीच अपना समय समान रूप से विभाजित करेगा। हालाँकि, PCA ने इसे मुख्य रूप से सबसे मजबूत पैटर्न से जोड़ने का निर्णय लिया, जिससे पहले घटक पर इसका लोडिंग लगभग 0.944 रहा। हालाँकि यह वह पूर्ण संतुलित विभाजन नहीं था जिसकी शोधकर्ताओं ने उम्मीद की होगी, लेकिन इसने दिखाया कि PCA सबसे मजबूत सिग्नल को प्राथमिकता देने में बहुत अच्छा है। इसने वेरिएबल को अनदेखा नहीं किया; इसने बस निर्णय लिया कि सबसे मजबूत छिपी हुई धुन ही उस पहेली के टुकड़े के लिए सबसे महत्वपूर्ण थी।
उन्होंने यह कैसे किया: "स्ट्रीमिंग" का जादू
आप सोच सकते हैं कि उन्होंने एक शहर जितने बड़े सुपरकंप्यूटर के बिना 1 ट्रिलियन आइटमों के नंबरों को कैसे क्रंच किया। इसका रहस्य यह था कि उन्होंने वास्तव में डेटा को स्टोर नहीं किया। हर एक अवलोकन की सूची रखने के बजाय (जिसके लिए असंभव मात्रा में मेमोरी की आवश्यकता होती), उन्होंने एक "स्ट्रीमिंग" विधि का उपयोग किया।
इसे एक किराने की दुकान के कैशियर की तरह समझें जो यह याद नहीं रखता कि आपने क्या खरीदा, बल्कि केवल प्रत्येक वस्तु की कुल कीमत और कितनी मात्रा में खरीदी गई, उसका हिसाब रखता है। जैसे-जैसे डेटा आता गया, कंप्यूटर ने केवल "सफीशिएंट स्टैटिस्टिक्स" (sufficient statistics)—अर्थात योग और क्रॉस-प्रोडक्ट्स का हिसाब रखा। एक बार स्ट्रीम समाप्त होने के बाद, इसने औसत और पैटर्न की गणना करने के लिए उन टोटल्स का उपयोग किया। इसने उन्हें पांच ग्राफिक्स कार्ड वाले एक सिंगल वर्कस्टेशन पर 1 ट्रिलियन अवलोकनों का विश्लेषण करने में सक्षम बनाया, जिससे यह सिद्ध हुआ कि बड़े चित्र को समझने के लिए आपको डेटा के हर एक टुकड़े को जमा करने की आवश्यकता नहीं है।
इसका क्या अर्थ है
अध्ययन बताता है कि कई प्रकार के डेटा के लिए, "व्यावहारिक अभिसरण" (practical convergence) का एक बिंदु होता है। एक बार जब आपके पास पर्याप्त डेटा (इस मामले में, लगभग 10 बिलियन) हो जाता है, तो और अधिक प्राप्त करने से वास्तव में उत्तर नहीं बदलता है। यह किसी शहर के औसत तापमान को खोजने जैसा है: 10,000 सेंसर मापने से आपको एक बेहतरीन उत्तर मिलता है; 100,000 सेंसर मापने से आपको वही उत्तर मिलता है, बस थोड़े अधिक प्रयास के साथ।
यह रिमोट सेंसिंग, पर्यावरणीय मॉडलिंग और डिजिटल मैपिंग जैसे क्षेत्रों के लिए अच्छी खबर है, जहाँ डेटासेट में नियमित रूप से अरबों अवलोकन होते हैं। यह सुझाव देता है कि वैज्ञानिकों और इंजीनियरों को एक विश्वसनीय मॉडल प्राप्त करने के लिए उनके द्वारा एकत्र किए गए डेटा के हर एक कतरे को प्रोसेस करने की आवश्यकता नहीं हो सकती है। वे जल्दी रुक सकते हैं, कंप्यूटिंग पावर के विशाल भंडार को बचा सकते हैं, और फिर भी एक ऐसा परिणाम प्राप्त कर सकते हैं जो लगभग वैसा ही होगा जैसा उन्हें एक ट्रिलियन बिंदुओं के साथ मिला होता। यह उपकरण काम करता है, यह स्थिर है, और यह हमारे द्वारा फेंकी जाने वाली सबसे बड़ी भीड़ को संभालने के लिए तैयार है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।