You Have More Data Than You Think: Optimizing Machine Learning in Tabular Social Science Datasets Through Augmentation and Linkage
यह शोध पत्र विस्तार से बताता है कि कैसे लेखकों ने 'प्रेडिक्टिंग फर्टिलिटी' डेटा चुनौती में दो डेटा इंजीनियरिंग रणनीतियों—नमूना आकार बढ़ाने के लिए टाइम-शिफ्ट डेटा ऑग्मेंटेशन और फीचर सेट का विस्तार करने के लिए पार्टनर लिंकेज—का उपयोग करके शीर्ष प्रदर्शन प्राप्त किया, जो सारणीबद्ध सामाजिक विज्ञान डेटासेट पर मशीन लर्निंग को अनुकूलित करने के लिए उनकी प्रभावशीलता को प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा की महान खोज: समस्या पर अधिक नज़र डालने से मदद क्यों मिलती है
कल्पना कीजिए कि आप एक रहस्यमयी उपन्यास के अंत का अनुमान लगाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल तीन पन्ने हैं। आप एक मनमाना अनुमान लगा सकते हैं, लेकिन शायद आप गलत होंगे। अब, कल्पना कीजिए कि यदि आप जादुई रूप से उसी पुस्तक की तीन और प्रतियां ढूंढ सकें, लेकिन वे थोड़े अलग वर्षों में लिखी गई हों। भले ही पात्रों के कपड़े थोड़े बदल गए हों या मौसम अलग रहा हो, मूल कहानी—उनके व्यक्तित्व, उनके संबंध और उनकी प्रेरणाएँ—संभवतः समान रहेंगी। उन चारों संस्करणों को पढ़कर, आपके पास अंत का अनुमान लगाने की बहुत बेहतर संभावना होगी। यह मशीन लर्निंग (machine learning) का सार है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ कंप्यूटर पैटर्न पहचानने और भविष्यवाणियाँ करने के लिए सीखते हैं, बिल्कुल वैसे ही जैसे एक जासूस किसी मामले को सुलझाता है।
हालाँकि, सामाजिक विज्ञान (social science) की दुनिया में—जिसमें अध्ययन किया जाता है कि लोग कैसे रहते हैं, प्रेम करते हैं और निर्णय लेते हैं—जासूस अक्सर संघर्ष करते हैं क्योंकि उनके पास पर्याप्त "पन्ने" नहीं होते। सर्वेक्षणों और अध्ययनों में अक्सर बहुत कम लोग होते हैं, जिससे कंप्यूटर के लिए मानव व्यवहार के नियमों को सीखना कठिन हो जाता है। यहीं पर डेटा ऑग्मेंटेशन (data augmentation) की अवधारणा आती है। इसे आटे के एक छोटे टुकड़े को एक बड़े लोफ (loaf) में फैलाने के तरीके के रूप में सोचें जिसमें नए अवयव (ingredients) नहीं जोड़े जाते। अध्ययन में अधिक लोगों के शामिल होने का इंतज़ार करने के बजाय, शोधकर्ता चतुराई से उस डेटा को पुनर्व्यवस्थित करने का प्रयास करते हैं जो उनके पास पहले से मौजूद है, ताकि यह लगे कि वहां अधिक लोग या अधिक जानकारी उपलब्ध है। बड़ा सवाल यह है: क्या हम कंप्यूटर को बेहतर सीखने के लिए "धोखा" दे सकते हैं, भले ही वह डेटा हमारे पास पहले से मौजूद जानकारी का एक चतुराई से पुनर्वयवस्थित संस्करण ही क्यों न हो?
शोध पत्र की कहानी: समय को खींचना और साथियों को जोड़ना
हाल ही में एक अध्ययन में, शोधकर्ताओं हानझांग रेन और एमिली एम. कैंटरेल ने इसी समस्या का समाधान किया, जबकि वे PreFer (Predicting Fertility) नामक एक वैश्विक प्रतियोगिता में भाग ले रहे थे। चुनौती सरल लेकिन कठिन थी: यह भविष्यवाणी करना कि क्या नीदरलैंड में कोई व्यक्ति 2021 और 2023 के बीच (जन्म या गोद लेने द्वारा) नया बच्चा होगा। पेच क्या था? उनके पास जो डेटा था वह केवल 987 लोगों का एक सर्वेक्षण था। पारिवारिक नियोजन के जटिल नियमों को सीखने की कोशिश कर रहे कंप्यूटर के लिए यह बहुत छोटी भीड़ है।
शोधकर्ताओं ने कोई नया, अत्यंत जटिल कंप्यूटर मस्तिष्क नहीं बनाया। इसके बजाय, उन्होंने अपने मौजूदा डेटा को बहुत बड़ा और समृद्ध महसूस कराने के लिए दो चतुर तरकीबों का उपयोग किया। उन्होंने इन तरकीबों को "टाइम-शिफ्ट डेटा ऑग्मेंटेशन" (time-shift data augmentation) और "पार्टनर लिंकेज" (partner linkage) कहा।
तरकीब #1: टाइम मशीन (टाइम-शिफ्ट डेटा ऑग्मेंटेशन)
कल्पना कीजिए कि आपके पास एक डायरी है जहाँ आपने हर साल अपने विचार लिखे हैं। यदि आप भविष्यवाणी करना चाहते हैं कि आप अगले साल क्या करेंगे, तो आप आमतौर पर केवल अपनी नवीनतम प्रविष्टि (entry) को देखते हैं। लेकिन क्या होगा यदि आप यह कल्पना कर सकें कि आपकी तीन साल पहले की प्रविष्टि वास्तव में कल लिखी गई थी?
शोधकर्ताओं ने बिल्कुल यही किया। उन्होंने 2018-2020 के डेटा को लिया और उसे 2021-2023 के रूप में दिखने के लिए "टाइम-शिफ्ट" किया। उन्होंने केवल कॉपी-पेस्ट नहीं किया; उन्होंने संख्याओं को सावधानीपूर्वक समायोजित किया। उदाहरण के लिए, यदि किसी का जन्म 1987 में हुआ था, तो उन्होंने रिकॉर्ड को बदलकर यह कहा कि उनका जन्म 1990 में हुआ था, ताकि उनकी आयु नए समय चक्र (timeline) से मेल खा सके। उन्होंने मुद्रा के मूल्यों को भी मुद्रास्फीति (inflation) के अनुसार समायोजित किया, ठीक वैसे ही जैसे 2018 से 2023 तक मूल्य टैग को अपडेट करना।
ऐसा करके, उन्होंने अपने मूल 987 लोगों को कंप्यूटर के अध्ययन के लिए 2,839 "लोगों" में बदल दिया। यह एक छोटे समूह के अभिनेताओं को लेकर उनसे एक थोड़े अलग वर्ष में वही भूमिकाएँ निभाने के लिए कहने जैसा है, जिससे कंप्यूटर को सीखने के लिए तीन गुना अधिक उदाहरण मिलते हैं। परिणाम? कंप्यूटर की भविष्यवाणियाँ बेहतर हो गईं। मॉडल का सटीकता स्कोर (जिसे कहा जाता है) 0.543 से बढ़कर 0.581 हो गया। यह कोई जादुई समाधान नहीं था, लेकिन यह एक ठोस सुधार था, जो बताता है कि अधिक उदाहरण होने से वास्तव में कंप्यूटर को मानव व्यवहार के पैटर्न सीखने में मदद मिलती है।
तरकीब #2: सबसे अच्छे दोस्त का संबंध (पार्टनर लिंकेज)
दूसरी तरकीब केवल एक व्यक्ति को नहीं, बल्कि पूरी तस्वीर को देखने के बारे में थी। कई सर्वेक्षणों में, पति और पत्नी को अलग-अलग लाइनों पर सूचीबद्ध किया जाता है। यदि कंप्यूटर यह अनुमान लगाने की कोशिश कर रहा है कि आप बच्चा पैदा करेंगे या नहीं, तो वह आमतौर पर केवल आपके उत्तरों को देखता है। लेकिन वास्तविक जीवन में, जोड़े अक्सर मिलकर बच्चों का निर्णय लेते हैं।
शोधकर्ताओं ने इन अलग-अलग लाइनों के बीच एक पुल बनाया। उन्होंने एक व्यक्ति के डेटा को उनके जीवनसाथी या साथी के डेटा से जोड़ा। यदि किसी व्यक्ति के साथी ने बच्चे की इच्छा के बारे में प्रश्न पूछे थे, तो वह उत्तर उस व्यक्ति की फ़ाइल में जोड़ दिया गया। अचानक, कंप्यूटर केवल एक व्यक्ति के विचारों को नहीं देख रहा था; वह जोड़े के संयुक्त विचारों को देख रहा था।
इसने रहस्य में नए "सुराग" जोड़ दिए। जब उन्होंने इस पार्टनर डेटा का उपयोग किया, तो सटीकता स्कोर फिर से बढ़ गया, 0.543 से 0.557। यह टाइम मशीन की तुलना में छोटा उछाल था, लेकिन इसने दिखाया कि आपके साथी की राय जानना मायने रखता है।
पावर कॉम्बो (The Power Combo)
असली जादू तब हुआ जब उन्होंने दोनों तरकीबों का एक साथ उपयोग किया। डेटा को टाइम-शिफ्ट करने और पार्टनर्स को जोड़ने से, कंप्यूटर का सटीकता स्कोर बढ़कर 0.591 हो गया। इस संयुक्त दृष्टिकोण ने मूल डेटा की तुलना में मॉडल में 0.047 का सुधार किया।
इसे समझने के लिए, शोधकर्ताओं ने अपने "डेटा ट्रिक्स" की तुलना मॉडल को बेहतर बनाने के अन्य तरीकों से की। उन्होंने पाया कि उनके संयुक्त ट्रिक्स कंप्यूटर की सेटिंग्स को घंटों फाइन-ट्यून करने (एक प्रक्रिया जिसे हाइपरपैरामीटर ट्यूनिंग कहा जाता है) के लगभग उतना ही सहायक थे। वास्तव में, उनके डेटा ट्रिक्स से होने वाला सुधार प्रतियोगिता के विजेता और दूसरे स्थान पर रहने वाले विजेता के बीच के अंतर के लगभग बराबर था।
इसका क्या अर्थ है (और क्या नहीं है)
अध्ययन सुझाव देता है कि सामाजिक विज्ञान में, जहाँ डेटा अक्सर दुर्लभ होता है, हमारे पास उम्मीद से अधिक जानकारी हो सकती है। हमें हमेशा नए सर्वेक्षणों का इंतज़ार करने की ज़रूरत नहीं है; हम कभी-कभी पुराने डेटा को रचनात्मक रूप से नया आकार देकर बेहतर परिणाम प्राप्त कर सकते हैं।
हालाँकि, लेखक यह कहने में सावधान हैं कि यह हर समस्या के लिए पूर्ण समाधान नहीं है। वे नोट करते हैं कि यदि दुनिया समय के साथ बहुत अधिक बदल जाती है (जैसे महामारी के दौरान), तो "टाइम-शिफ्ट" वाली तरकीब कंप्यूटर को भ्रमित कर सकती है क्योंकि पुराने पैटर्न नई वास्तविकता में फिट नहीं बैठते। वे यह भी बताते हैं कि यदि किसी अध्ययन में पहले से ही बहुत अधिक डेटा है, तो अधिक "नकली" पंक्तियाँ (rows) जोड़ने से बहुत अधिक मदद नहीं मिल सकती है। और कुछ विषयों के लिए, साथी की राय जानना बिल्कुल भी मायने नहीं रखता।
लेकिन नीदरलैंड में प्रजनन क्षमता (fertility) की भविष्यवाणी करने की विशिष्ट चुनौती के लिए, संदेश स्पष्ट है: आपके पास जितना लगता है, उससे कहीं अधिक डेटा आपके पास है। समय को खींचकर और साथियों को जोड़कर, शोधकर्ता कंप्यूटर को मानवीय कहानी का बेहतर दृश्य दे सकते हैं, जिससे सटीक भविष्यवाणियाँ और परिवारों के बढ़ने की गहरी समझ प्राप्त होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।