TreeCCA: Canonical Correlation Analysis via Gradient-Boosted Trees
यह शोध पत्र TreeCCA प्रस्तुत करता है, जो एक नवीन विधि है जो एक कस्टम Eckart-Young लॉस का उपयोग करके ग्रेडिएंट-बूस्टेड ट्री एंसेम्बल्स को एंड-टू-एंड कैनोनिकल कोरिलेशन एनालिसिस एनकोडर्स के रूप में प्रशिक्षित करती है, जिससे मानक ट्री-आधारित लाइब्रेरीज़ की प्लग-एंड-प्ले विश्वसनीयता और दक्षता के साथ स्टेट-ऑफ-द-आर्ट नॉनलीनियर कोरिलेशन एक्सट्रैक्शन और व्याख्यात्मकता प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास दो अलग-अलग नोटबुक हैं जिनमें सुराग भरे हुए हैं: एक नोटबुक संदिग्धों की ऊंचाई, वजन और जूते के आकार को सूचीबद्ध करती है, जबकि दूसरी नोटबुक उनकी पसंदीदा खाद्य सामग्री, संगीत शैलियों और शौक को सूचीबद्ध करती है। आपका काम इन दो सूचियों के बीच छिपे हुए संबंध को खोजना है। शायद लंबे संदिग्ध जैज़ पसंद करते हैं, या शायद वे लोग जो मसालेदार भोजन पसंद करते हैं वे हाइकिंग करना पसंद करते हैं। यह कैनोनिकल कोरिलेशन एनालिसिस (CCA) नामक एक सांख्यिकीय जासूसी खेल का सार है। यह एक ऐसा उपकरण है जिसका उपयोग वैज्ञानिक दो अलग-अलग डेटा सेटों के बीच सबसे मजबूत संबंधों को खोजने के लिए करते हैं, जिससे उन्हें दुनिया के विभिन्न हिस्सों—जैसे कि जीन और बीमारियां, या मस्तिष्क की गतिविधि और व्यवहार—के बीच के संवाद को समझने में मदद मिलती है।
लंबे समय तक, जासूसों ने इन संबंधों को खोजने के लिए साधारण, सीधी रेखा वाले रूलर (पैमाने) का उपयोग किया। उन्होंने माना कि संबंध सीधा था जैसे कि "लंबा होना मतलब जैज़ प्रेमी होना।" लेकिन वास्तविक दुनिया अव्यवस्थित और घुमावदार है; कभी-कभी संबंध एक टेढ़ा-मेढ़ा, जटिल वक्र होता है जिसे एक सीधा रूलर नहीं माप सकता। इसे ठीक करने के लिए, वैज्ञानिकों ने "डीप लर्निंग" का उपयोग करना शुरू किया, जो सुपर-स्मार्ट, लचीले रोबोटों की एक टीम को जटिल पैटर्न खोजने के लिए काम पर रखने जैसा है। ये रोबोट शक्तिशाली तो हैं, लेकिन वे 'ब्लैक बॉक्स' की तरह भी हैं: उन्हें ट्यून करना कठिन है, वे डेटा की थोड़ी सी मात्रा से भ्रमित हो सकते हैं, और एक बार जब वे उत्तर खोज लेते हैं, तो यह देखना अक्सर असंभव होता है कि उन्होंने वह चुनाव क्यों किया। वे अपना काम दिखाए बिना बस आपको उत्तर दे देते हैं।
यहीं पर एक नया पेपर एक नए विचार के साथ आता है। लेखक, जेम्स चैपमैन के नेतृत्व में, पूछते हैं: "क्या होगा यदि हम उन उपकरणों का उपयोग करें जो पहले से ही टैबुलर डेटा के राजा हैं—ग्रेडिएंट-बूस्टेड ट्रीज़ (Gradient-Boosted Trees)—इस रहस्य को सुलझाने के लिए?" आप इन पेड़ों को XGBoost और LightGBM के पीछे के इंजन के रूप में जानते होंगे, वे उपकरण जो घर की कीमतों या ऋण जोखिमों जैसी चीजों की भविष्यवाणी करने के लिए लगभग हर प्रतियोगिता को जीतते हैं। वे विश्वसनीय, उपयोग में आसान और सबसे महत्वपूर्ण रूप से, पारदर्शी होने के लिए प्रसिद्ध हैं। आप एक पेड़ को देख सकते हैं और समझ सकते हैं कि कौन सा सुराग सबसे अधिक मायने रखता था। यह पेपर TreeCCA नामक एक विधि पेश करता है, जो इन पेड़-आधारित इंजनों को दो डेटा सेटों के बीच जटिल, घुमावदार कनेक्शन खोजने के लिए प्रशिक्षित करता है, ठीक वैसे ही जैसे फैंसी रोबोट करते हैं, लेकिन एक अच्छी तरह से निर्मित पेड़ की विश्वसनीयता और स्पष्टता के साथ।
वह पेड़ जो सहसंबंध (Correlate) करना सीखता है
यह पेपर TreeCCA का प्रस्ताव देता है, जो CCA के लिए "एनकोडर" के रूप में ग्रेडिएंट-बूस्टेड ट्री एंसेम्बल्स को प्रशिक्षित करने वाली पहली विधि है। एक एनकोडर को एक अनुवादक के रूप में सोचें जो कच्चे डेटा (जैसे संख्याओं की एक सूची) को लेता है और उसे एक गुप्त कोड (एम्बेडिंग) में बदल देता है जो सबसे महत्वपूर्ण संबंधों को उजागर करता है। आमतौर पर, ये अनुवादक न्यूरल नेटवर्क (रोबट) होते हैं। TreeCCA इन रोबोटों को ट्री-आधारित जंगलों (forest of decision trees) से बदल देता है।
इसका गुप्त मंत्र जिसे एकार्ट-यंग (Eckart-Young - EY) लॉस कहा जाता है, इसे संभव बनाता है। अतीत में, इस काम के लिए पेड़ों को प्रशिक्षित करना एक कुत्ते को कैलकुलस सिखाने की कोशिश करने जैसा था; गणित फिट नहीं बैठता था। हालाँकि, EY लॉस एक विशेष सेट के निर्देश (ग्रेडिएंट्स) प्रदान करता है जो पेड़ों को बताते हैं कि वे सहसंबंधों को खोजने में बेहतर होने के लिए अपनी शाखाओं को ठीक से कैसे समायोजित करें। यह पेड़ों को एक मानचित्र देने जैसा है जो कहता है, "यदि आप यहाँ विभाजित होते हैं, तो आप सत्य के करीब पहुँच जाते हैं।" क्योंकि ये निर्देश इतने स्पष्ट हैं, इसलिए उन्हें बिना सॉफ्टवेयर को दोबारा लिखे सीधे XGBoost या LightGBM जैसे मानक ट्री लाइब्रेरी में सीधे प्लग किया जा सकता है।
क्यों पेड़ रोबोट से बेहतर हो सकते हैं
लेखकों ने TreeCCA का परीक्षण वर्तमान चैंपियनों के विरुद्ध किया: Deep CCA (रोबोट दृष्टिकोण) और Linear CCA (सीधी रेखा वाला रूलर)। परिणाम आश्चर्यजनक रूप से अच्छे थे, और कुछ मामलों में, पेड़ दौड़ जीत गए।
जटिल परीक्षणों पर, TreeCCA ने रोबोटों की तुलना में मजबूत संबंध खोजे। उदाहरण के लिए, "साइंड पावर" (Signed Power) नामक एक टेस्ट पर, TreeCCA ने 2.61 स्कोर किया, जो Deep CCA के 2.43 को पछाड़ गया। "हर्मिट" (Hermite) नामक दूसरे टेस्ट पर, जहाँ संबंध इतना जटिल था कि एक सीधा रूलर इसे बिल्कुल नहीं देख सका (शून्य के करीब स्कोर), TreeCCA ने 2.93 के स्कोर के साथ एक मजबूत सिग्नल पाया, जो Deep CCA के 2.89 से थोड़ा आगे निकल गया।
लेकिन असली जादू तब होता है जब डेटा बहुत बड़ा या अव्यवस्थित हो जाता है। हस्तलिखित अंकों के एक विशाल डेटासेट (Split MNIST जिसमें 54,000 चित्र हैं) का उपयोग करने वाले एक परीक्षण में, रोबोट दृष्टिकोण (Deep CCA) नियमों को सीखने के बजाय प्रशिक्षण डेटा को याद करना शुरू कर देता है, जिससे इसके अभ्यास स्कोर और टेस्ट स्कोर के बीच एक बड़ा अंतर पैदा हो गया (अनुपात 1.95)। हालाँकि, TreeCCA शांत और सुसंगत रहा, जिसका अनुपात केवल 1.04 था। ऐसा लगता है कि पेड़ स्वाभाविक रूप से चीजों पर बहुत अधिक सोचने (overthinking) से बचने में बेहतर होते हैं, जिससे वे वास्तविक दुनिया के डेटा के लिए अधिक विश्वसनीय बन जाते हैं जहाँ आपके पास लाखों उदाहरण नहीं होते।
"क्यों" की सुपरपावर
शायद सबसे रोमांचक हिस्सा यह नहीं है कि TreeCCA काम करता है, बल्कि यह है कि यह समझाता है कि यह कैसे काम करता है। न्यूरल नेटवर्क की अक्सर अपारदर्शी होने के लिए आलोचना की जाती है; आप आसानी से यह नहीं बता सकते कि उन्होंने निर्णय लेने के लिए किस फीचर का उपयोग किया। दूसरी ओर, पेड़ विभाजनों (splits) पर आधारित होते हैं: "क्या तापमान 70 से ऊपर है? हाँ/नहीं।" यह संरचना उन्हें नेटिव इंटरप्रिटेबिलिटी (स्वाभाविक व्याख्यात्मकता) देती है।
लेखकों ने इसे UCI HAR डेटासेट पर प्रदर्शित किया, जो स्मार्टफोन सेंसर (एक्सेलेरोमीटर और जायरोस्कोप) का उपयोग करके मानव गति को ट्रैक करता है। वे यह देखना चाहते थे कि क्या मॉडल यह पता लगा सकता है कि गति का परिमाण (मैग्निट्यूड - फोन कितनी तेजी से घूम रहा है) गतिविधियों की पहचान करने की कुंजी था। TreeCCA ने न केवल सही उत्तर दिया; इसके "फीचर इम्पॉर्टेंस" स्कोर ने स्पष्ट रूप से दिखाया कि गति के फीचर्स सबसे महत्वपूर्ण थे, जो पूरी तरह से भौतिकी की परिकल्पना (physics hypothesis) से मेल खाते हैं कि स्पिनिंग कैसे काम करती है। एक न्यूरल नेटवर्क ने सही उत्तर दिया लेकिन यह नहीं बता सका कि क्यों, जिससे "क्यों" उसके लाखों पैरामीटर्स में छिपा रह गया। TreeCCA ने तर्क को मेज पर रख दिया।
शोर में संकेत खोजना
पेपर ने एक विशिष्ट समस्या का भी समाधान किया जहाँ अन्य तरीके विफल हो जाते हैं: स्पार्स सिग्नल (Sparse Signals)। कल्पना कीजिए कि आपके पास 500 सुराग हैं, लेकिन उनमें से केवल 5 ही वास्तव में मायने रखते हैं, और उनके बीच का संबंध गैर-रेखीय (घुमावदार) है। PMD (एक लोकप्रिय स्पार्स CCA टूल) नामक एक विधि रैखिक गणित पर निर्भर करती है, इसलिए वह इस प्रकार के सिग्नल से पूरी तरह भ्रमित हो जाती है, और उसका प्रदर्शन रैंडम गेसिंग से बेहतर नहीं होता। हालाँकि, TreeCCA ने इस समस्या को "20 सवाल" के खेल की तरह लिया। इसने पूछा, "मुझे किस फीचर पर विभाजित होना चाहिए?" और स्वाभाविक रूप से 495 बेकार शोर वाले फीचर्स को अनदेखा कर दिया। 50 फीचर्स वाले एक टेस्ट पर, TreeCCA ने सटीक 1.00 शुद्धता हासिल की, जिसने हर बार 5 वास्तविक सुरागों को सही ढंग से पहचाना, जबकि PMD को कुछ भी नहीं मिला।
निष्कर्ष
TreeCCA केवल एक नया एल्गोरिदम नहीं है; यह एक दृष्टिकोण में बदलाव है। यह सुझाव देता है कि टैबुलर डेटा (संख्याओं की पंक्तियों और कॉलमों) से जुड़ी कई समस्याओं के लिए, हमें गहरे कनेक्शन खोजने के लिए जटिल, कठिन-से-ट्यून होने वाले न्यूरल नेटवर्क की आवश्यकता नहीं है। इसके बजाय, हम उन मजबूत, विश्वसनीय और व्याख्यात्मक पेड़ों का उपयोग कर सकते हैं जो पहले से ही इस क्षेत्र में दबदबा बनाए हुए हैं।
लेखकों ने पाया कि TreeCCA सटीकता में Deep CCA के बराबर या उससे बेहतर है, कुछ बेंचमार्क पर 5 गुना तेजी से चलता है, और अपने तर्क की स्पष्ट व्याख्या प्रदान करता है। हालाँकि पेपर में यह उल्लेख किया गया है कि पेड़ कैसे अभिसरित (converge) होते हैं, इसके औपचारिक गणितीय प्रमाण अभी भी विकसित किए जा रहे हैं, सिमुलेशन और वास्तविक दुनिया के परीक्षण मजबूत हैं। यह एक नए प्रकार के "सेल्फ-सुपरवाइज्ड लर्निंग" के द्वार खोलता है जहाँ पेड़ बिना लेबल के डेटा से सीख सकते हैं, जिससे संभावित रूप से उन समस्याओं को हल किया जा सकता है जिन्हें रैखिक विधियाँ (linear methods) देख ही नहीं सकतीं। डेटा विज्ञान की दुनिया में, TreeCCA एक अनुस्मारक है कि कभी-कभी सबसे अच्छा उपकरण सबसे जटिल वाला नहीं होता, बल्कि वह होता है जिसे पता होता है कि किस शाखा का अनुसरण करना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।