Contextual Token Rotation Ensembles for Tabular Learning
यह शोध पत्र कॉन्टेक्स्टुअल टोकन रोटेशन एनसेम्बल्स (CTRE) को प्रस्तुत करता है, जो एक नवीन टैबुलर लर्निंग फ्रेमवर्क है जो ट्रांसफार्मर-आधारित कॉन्टेक्स्टुअल टोकन रिप्रजेंटेशन को डेटा-अनुकूल, इंटरेक्शन-अवेयर फीचर रोटेशन के साथ एकीकृत करके एनसेबल विविधता और मजबूती को बढ़ाता है, और विशेष रूप से उच्च-आयामी और असंतुलित डेटासेट पर शास्त्रीय विधियों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
डेटा साइंस की दुनिया में, कुछ समस्याओं को चित्रों को देखकर या ध्वनियों को सुनकर हल किया जाता है, लेकिन वित्त, चिकित्सा और इंजीनियरिंग के कई सबसे महत्वपूर्ण निर्णय संख्याओं की तालिकाओं पर निर्भर करते हैं। ये तालिकाएं, जिन्हें टैबुलर डेटा (tabular data) कहा जाता है, विभिन्न प्रकार की सूचनाओं का मिश्रण होती हैं: कुछ कॉलम निरंतर माप जैसे तापमान या आय रखते हैं, जबकि अन्य रंग या नौकरी के शीर्षक जैसी श्रेणियों को रखते हैं। कंप्यूटर के लिए चुनौती यह है कि ये विभिन्न प्रकार के डेटा स्वाभाविक रूप से एक साथ फिट नहीं होते हैं। एक कंप्यूटर यह समझने में संघर्ष करता है कि एक विशिष्ट संख्यात्मक मान एक विशिष्ट श्रेणी से कैसे संबंधित है, जब तक कि उसे उनके बीच के छिपे हुए संबंधों को देखने के लिए सिखाया न जाए। दशकों से, शोधकर्ताओं ने इन तालिकाओं को पढ़ने के बेहतर तरीके बनाने का प्रयास किया है, अक्सर कई सरल भविष्यवाणी मॉडलों को एक एकल, स्मार्ट टीम में संयोजित करके। 'एन्सेम्बल लर्निंग' (ensemble learning) नामक यह दृष्टिकोण इस बात पर काम करता है कि टीम का प्रत्येक सदस्य डेटा को थोड़ा अलग तरीके से देखे, ताकि उनकी व्यक्तिगत गलतियाँ एक-दूसरे को काट सकें। हालाँकि, विविधता पैदा करने का एक लंबे समय से चला आ रहा तरीका एक थोड़े अव्यवस्थित रणनीति पर निर्भर रहा है: डेटा के कॉलमों को समूहों में बेतरतीब ढंग से विभाजित करना और उन्हें मिला देना। हालाँकि इससे विविधता पैदा होती है, लेकिन यह अक्सर इस तथ्य को अनदेखा कर देता है कि कुछ कॉलम स्वाभाविक रूप से जुड़े हुए हैं, जबकि अन्य पूरी तरह से असंबंधित हैं।
न्यू साउथ वेल्स विश्वविद्यालय के शोधकर्ताओं की एक टीम ने 'कॉन्टेक्स्टुअल टोकन रोटेशन एन्सेम्बल' (Contextual Token Rotation Ensembles) नामक एक नई विधि विकसित की है, जो इस यादृच्छिक शफलिंग (random shuffling) को अधिक बुद्धिमान, संदर्भ-जागरूक प्रक्रिया से बदल देती है। डेटा के प्रत्येक कॉलम को एक अलग तथ्य के रूप में मानने के बजाय, उनका सिस्टम पहले यह सीखता है कि कॉलम एक-दूसरे से कैसे बात करते हैं। एक कमरे में मौजूद लोगों की कल्पना करें जहाँ हर कोई एक साथ बोल रहा है; एक पारंपरिक तरीका बस लोगों के एक यादृच्छिक समूह को सुनने के लिए चुन सकता है, इस उम्मीद में कि कोई उपयोगी बातचीत मिल जाएगी। हालाँकि, नया तरीका पहले पूरे कमरे को सुनता है ताकि यह समझ सके कि वास्तव में कौन किससे बात कर रहा है, और फिर वास्तविक बातचीत के आधार पर समूह बनाता है। शोधकर्ताओं ने यह हासिल करने के लिए एक प्रकार के आर्टिफिशियल इंटेलिजेंस का उपयोग किया जिसे 'ट्रांसफॉर्मर' (Transformer) कहा जाता है, जो भाषा समझने के लिए प्रसिद्ध है। उन्होंने इस तकनीक को डेटा टेबल के कॉलमों को एक वाक्य के शब्दों की तरह देखने के लिए अनुकूलित किया। सिस्टम को आसपास के कॉलमों के आधार पर डेटा के छूटे हुए हिस्सों का अनुमान लगाने के लिए प्रशिक्षित करके, कंप्यूटर यह सीख जाता है कि कौन सी विशेषताएं (features) एक-दूसरे पर निर्भर हैं।
एक बार जब संबंधों का यह मानचित्र सीख लिया जाता है, तो सिस्टम इसका उपयोग अपने भविष्यवाणियों के दल (team of prediction models) को बनाने के लिए करता है। पुराने यादृच्छिक तरीके में, दो कॉलम जो गहराई से जुड़े हुए हैं, उन्हें अलग-अलग समूहों में विभाजित किया जा सकता था, जबकि दो असंबंधित कॉलमों को एक साथ मजबूर किया जा सकता था। नए CTRE दृष्टिकोण में, सिस्टम इस सीखे गए मानचित्र का उपयोग समूह बनाने की प्रक्रिया को निर्देशित करने के लिए करता है। यह अधिक संभावना बनाता है कि मजबूत संबंध वाले कॉलमों को एक ही समूह में रखा जाए, लेकिन यह सुनिश्चित करने के लिए कि टीम विविध बनी रहे, इसमें यादृच्छिकता का एक तत्व भी बनाए रखता है। इन स्मार्ट समूहों के भीतर, सिस्टम एक गणितीय रूपांतरण करता है जो शोर (noise) को छानते हुए सबसे महत्वपूर्ण पैटर्न को उजागर करता है। महत्वपूर्ण रूप से, शोधकर्ताओं ने यह सुनिश्चित करने के लिए एक चरण जोड़ा है कि एक समूह में सीखी गई जानकारी गलती से दूसरे में लीक न हो जाए। वे प्रत्येक समूह के लिए डेटा को अलग से संसाधित करते हैं, ताकि एक समूह के लिए अंतिम भविष्यवाणी केवल उसे सौंपे गए विशिष्ट चरों (variables) पर निर्भर करती है, जिससे प्रत्येक टीम के सदस्य का अनूठा दृष्टिकोण सुरक्षित रहता है।
इस नए दृष्टिकोण के परिणामों का परीक्षण चिकित्सा रिकॉर्ड से लेकर आवास की कीमतों और औद्योगिक सेंसर रीडिंग तक, विभिन्न प्रकार के वास्तविक दुनिया के डेटासेट पर किया गया। जटिल, उच्च-आयामी (high-dimensional) समस्याओं पर, जहाँ सैकड़ों अलग-अलग विशेषताएं और कई अलग-अलग प्रकार के मिश्रित डेटा होते हैं, नए तरीके ने मौजूदा सर्वोत्तम तकनीकों को पछाड़ दिया। उदाहरण के लिए, 384 अलग-अलग विशेषताओं वाले सीटी स्कैन स्लाइस से जुड़े एक डेटासेट पर, नए तरीके ने पिछले शीर्ष प्रदर्शन करने वालों की तुलना में भविष्यवाणी त्रुटि को काफी कम कर दिया। इसने गंभीर रूप से असंतुलित डेटा को संभालने में भी उल्लेखनीय ताकत दिखाई, जैसे कि एक ऐसा डेटासेट जहाँ केवल बहुत कम प्रविष्टियाँ एक दुर्लभ विफलता या एक विशिष्ट बीमारी का प्रतिनिधित्व करती हैं। इन कठिन मामलों में, पुराने मॉडल अक्सर दुर्लभ घटनाओं को पूरी तरह से अनदेखा कर देते थे, लेकिन नए तरीके ने उनसे जुड़े सूक्ष्म पैटर्न को सफलतापूर्वक पहचाना। हालाँकि, शोधकर्ताओं ने पाया कि यह उन्नत विधि एक सार्वभौमिक समाधान (cure-all) नहीं है। कम विशेषताओं वाले सरल डेटासेट या बहुत समान डेटा पर, कॉलम के बीच संबंधों को सीखने की अतिरिक्त जटिलता कभी-कभी मूल्य के बजाय अधिक शोर पैदा करती है, और सरल मॉडल भी उतना ही अच्छा या बेहतर प्रदर्शन करते हैं।
अध्ययन सुझाव देता है कि टैबुलर लर्निंग का भविष्य उन तरीकों में निहित है जो डेटा को संख्याओं के यादृच्छिक संग्रह के रूप में मानने के बजाय उसके अंतर्निहित संरचना का सम्मान करते हैं। कंप्यूटर को भविष्यवाणी करने से पहले यह समझाने के लिए कि विशेषताएं कैसे परस्पर क्रिया करती हैं, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो वास्तविक दुनिया में पाए जाने वाले अव्यवस्थित, जटिल और विषम डेटा के लिए विशेष रूप से शक्तिशाली है। यह कार्य यह दावा नहीं करता है कि उसने हर डेटा समस्या को हल कर दिया है, लेकिन यह प्रदर्शित करता है कि जब डेटा समृद्ध और जटिल होता है, तो एक विधि जो चरों के बीच के संबंधों को सुनती है, भविष्यवाणियों की एक बहुत अधिक सटीक और विश्वसनीय टीम बना सकती है। यादृच्छिक समूहन से निर्देशित, संदर्भ-जागरूक समूहन की ओर यह बदलाव कि मशीनें हमारे आधुनिक निर्णय लेने की प्रक्रिया को संचालित करने वाली संरचित तालिकाओं से कैसे सीखती हैं, एक सार्थक प्रगति का प्रतिनिधित्व करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।