🤖 machine learning

Neural Additive and Basis Models with Feature Selection and Interactions

यह शोध पत्र उच्च-आयामी (high-dimensional) परिवेश में कम्प्यूटेशनल बाधाओं को दूर करने के लिए न्यूरल एडिटिव और बेसिस मॉडल्स में एक ट्रेन करने योग्य फीचर सिलेक्शन लेयर को एकीकृत करने का प्रस्ताव करता है, जिससे व्याख्यात्मकता और प्रतिस्पर्धी प्रदर्शन बनाए रखते हुए फीचर इंटरैक्शन की कुशल मॉडलिंग सक्षम होती है।

मूल लेखक: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

प्रकाशित 2026-06-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yasutoshi Kishimoto, Kota Yamanishi, Takuya Matsuda, Shinichi Shirakawa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप किसी जटिल घटना के परिणाम की भविष्यवाणी करने की कोशिश कर रहे हैं, जैसे कि क्या कोई रोगी ठीक हो जाएगा या क्या किसी ऋण (लोन) को मंजूरी दी जाएगी। आपके पास निर्णय लेने में मदद करने के लिए सुरागों (विशेषताओं/फीचर्स) की एक विशाल सूची है।

समस्या: "ब्लैक बॉक्स" बनाम "बहुत भारी" बॉक्स
आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन पहेलियों को हल करने के दो मुख्य तरीके हैं:

ब्लैक बॉक्स (डीप न्यूरल नेटवर्क): ये अविश्वसनीय रूप से स्मार्ट और सटीक होते हैं, लेकिन ये एक जादू के खेल की तरह काम करते हैं। आप इसमें डेटा डालते हैं, और उत्तर बाहर आता है, लेकिन कोई नहीं जानता कि मशीन ने वह निर्णय कैसे लिया। चिकित्सा या कानून जैसे क्षेत्रों में, यह खतरनाक है क्योंकि आपको उसके तर्क पर भरोसा करने की आवश्यकता होती है।
पारदर्शी बॉक्स (जनरलाइज्ड एडिटिव मॉडल्स): ये विशेषज्ञों की एक टीम की तरह हैं। प्रत्येक विशेषज्ञ केवल एक सुराग (जैसे, "आयु" या "आय") को देखता है और एक स्कोर देता है। अंतिम उत्तर इन सभी स्कोरों का योग मात्र होता है। यह समझने में आसान है क्योंकि आप देख सकते हैं कि प्रत्येक सुराग ने कैसे योगदान दिया। हालाँकि, पारंपरिक पारदर्शी बॉक्स अक्सर सुरागों के बीच जटिल संबंधों को संभालने के लिए पर्याप्त स्मार्ट नहीं होते हैं।

मौजूदा समाधान: NAM और NBM
शोधकर्ताओं ने "न्यूरल एडिटिव मॉडल्स" (NAM) और "न्यूरल बेसिस मॉडल्स" (NBM) बनाए। इन्हें "पारदर्शी बॉक्स" का अपग्रेड समझें। साधारण विशेषज्ञों के बजाय, ये प्रत्येक सुराग को देखने के लिए छोटे, स्मार्ट AI दिमाग (न्यूरल नेटवर्क) का उपयोग करते हैं। यह उन्हें स्मार्ट और पारदर्शी बनाता है। आप अभी भी देख सकते हैं कि प्रत्येक सुराग परिणाम को कैसे प्रभावित करता है।

**बाधा (बॉटलनेक): "बहुत अधिक सुरागों" का संकट
यहाँ पुराना तरीका विफल हो जाता है।

इंटरैक्शन की समस्या: कभी-कभी, सुराग मिलकर बेहतर काम करते हैं। उदाहरण के लिए, "आयु" और "आय" को अलग-अलग देखने के बजाय जब एक साथ देखा जाता है, तो वे बेहतर भविष्यवाणी कर सकते हैं। इसे करने के लिए, पुराने मॉडल्स ने प्रत्येक संभावित जोड़ी के लिए एक छोटा AI दिमाग बनाने की कोशिश की।
गणितीय दुःस्वप्न: यदि आपके पास 1,000 सुराग हैं, तो लगभग 500,000 संभावित जोड़ियाँ हैं। एक साथ 500,000 छोटे AI दिमागों को प्रशिक्षित करने की कोशिश करना एक छोटे से कार्यालय में 500,000 कर्मचारियों को काम पर रखने जैसा है। यह कंप्यूटर को क्रैश कर देता है, बहुत समय लेता है, और प्रबंधित करना असंभव हो जाता है।
उच्च-आयामी दीवार (High-Dimensional Wall): जब डेटासेट बहुत बड़े (हजारों सुराग) हो जाते हैं, तो पुराने मॉडल्स बस काम करना बंद कर देते हैं। उनके पास मेमोरी और समय खत्म हो जाता है।

**नया समाधान: "स्मार्ट सेलेक्टर"
इस पेपर के लेखक एक सरल लेकिन शक्तिशाली समाधान प्रस्तावित करते हैं: फीचर सिलेक्शन (विशेषता चयन)।

कल्पना कीजिए कि आप एक जासूस हैं जिसके पास सबूतों का एक विशाल बोर्ड है। हर एक सबूत का एक साथ विश्लेषण करने के बजाय (जो कि असंभव है), आप एक स्मार्ट सेलेक्टर को काम पर रखते हैं।

यह कैसे काम करता है: मॉडल सभी संभावित सुरागों की एक "मेन्यू" के साथ शुरू होता है। प्रशिक्षण के दौरान, यह प्रत्येक सुराग को एक "वेट" (भार) देने के बारे में सीखता है।
फिल्टर: यह एक विशेष गणितीय फिल्टर (जिसे entmax कहा जाता है) का उपयोग करता है जो एक छलनी की तरह काम करता है। यह सबसे महत्वपूर्ण सुरागों को रखता है और बेकार वाले सुरागों को प्रभावी रूप से "बंद" कर देता है।
परिणाम: हर जोड़ी के लिए 500,000 AI दिमाग बनाने के बजाय, मॉडल केवल शीर्ष 50 या 500 सबसे महत्वपूर्ण सुरागों और जोड़ियों के लिए दिमाग बनाता है।

लाभ

गति: क्योंकि मॉडल कचरा डेटा को अनदेखा कर देता है, इसलिए यह बहुत तेजी से चलता है। पेपर दिखाता है कि जहाँ पुराने मॉडल्स 1,000+ सुरागों वाले डेटासेट पर क्रैश हो जाते हैं, वहीं नए मॉडल्स (जिन्हें NAM-FS और NBM-FS कहा जाता है) उन्हें सुचारू रूप से संभालते हैं।
इंटरैक्शन: यह मॉडल को सुरागों की जोड़ियों (जैसे "आयु + आय") को एक साथ काम करते हुए देखने की अनुमति देता है, बिना गणित से अभिभूत हुए।
पारदर्शिता: भले ही यह सर्वश्रेष्ठ सुरागों का चयन कर रहा है, यह पारदर्शी बना रहता है। आप अभी भी देख सकते हैं कि किन सुरागों को चुना गया था और उन्होंने अंतिम निर्णय को कैसे प्रभावित किया।

परिणाम
लेखकों ने हजारों सुरागों वाले छह विभिन्न वास्तविक दुनिया के डेटासेट्स पर इसका परीक्षण किया।

प्रदर्शन: उनके नए मॉडल्स उतने ही सटीक थे, या मौजूदा "पारदर्शी" मॉडल्स से भी बेहतर थे।
दक्षता: वे काफी तेज़ थे और डेटा के उन आकारों को संभाल सकते थे जिन्हें पुराने मॉडल्स छू भी नहीं सकते थे।
तुलना: उन्होंने यह भी साबित किया कि प्रशिक्षण के दौरान मॉडल को यह सीखने देना कि कौन से सुराग चुनने हैं, प्रशिक्षण शुरू करने से पहले मैन्युअल रूप से सुराग चुनने से बेहतर है।

**सारांश में
यह पेपर एक तरीका पेश करता है जिससे स्मार्ट, पारदर्शी AI मॉडल बनाए जा सकें जो डेटा की विशाल मात्रा को संभाल सकें। यह ऐसा करने के लिए AI को शोर (noise) को अनदेखा करने और केवल सबसे महत्वपूर्ण सुरागों और उनके संबंधों पर ध्यान केंद्रित करने के लिए प्रशिक्षित करके करता है, जिससे उस समस्या का समाधान होता है जहाँ मॉडल या तो उपयोगी होने के लिए बहुत कम बुद्धिमान होते हैं या चलाने के लिए बहुत भारी होते हैं।

समस्या
डीप न्यूरल नेटवर्क (DNNs) उच्च प्रतिनिधित्व क्षमताएं प्रदान करते हैं लेकिन अक्सर व्याख्यात्मकता (interpretability) की कमी होती है, जिससे चिकित्सा और कानून जैसे उच्च-विश्वसनीयता वाले क्षेत्रों में उनका उपयोग सीमित हो जाता है। जबकि जनरलाइज्ड एडिटिव मॉडल्स (GAMs) और उनके न्यूरल वेरिएंट, जैसे कि न्यूरल एडिटिव मॉडल (NAM) और न्यूरल बेसिस मॉडल (NBM), व्याख्यात्मकता और प्रदर्शन के बीच एक संतुलन प्रदान करते हैं, वे महत्वपूर्ण स्केलेबिलिटी समस्याओं का सामना करते हैं। मानक NAM और NBM आर्किटेक्चर प्रत्येक इनपुट फीचर के लिए एक अलग न्यूरल नेटवर्क (NN) आवंटित करते हैं। जब इन्हें युग्मवार फीचर इंटरैक्शन (pairwise feature interactions) को कैप्चर करने के लिए विस्तारित किया जाता है (GA2Ms बनाना), तो नैव (naive) दृष्टिकोण के लिए सभी संभावित फीचर जोड़ों के लिए शेप फंक्शन्स तैयार करने की आवश्यकता होती है। इसके परिणामस्वरूप, इनका कम्प्यूटेशनल कॉम्प्लेक्सिटी $O(D^2)$ हो जाता है, जहाँ $D$ फीचर्स की संख्या है। फलस्वरूप, उच्च-आयामी डेटासेट (जैसे, $D > 1,000$ ) पर इन मॉडल्स को प्रशिक्षित करना अत्यधिक मेमोरी खपत और कम्प्यूटेशनल लागत के कारण अव्यवहारिक हो जाता है। इसके अलावा, हजारों शेप फंक्शन्स को प्रबंधित करना और विज़ुअलाइज़ करना उस व्याख्यात्मकता से समझौता करता है जो GAMs द्वारा प्रदान की जाने वाली है।

कार्यप्रणाली (Methodology)
लेखक इन बाधाओं को हल करने के लिए NAM और NBM के प्रशिक्षण में सीधे एक डिफरेंशिएबल फीचर सिलेक्शन मैकेनिज्म को शामिल करने का प्रस्ताव करते हैं। प्रस्तावित मॉडल्स, जिन्हें NAM-FS और NBM-FS कहा जाता है, एक फीचर सिलेक्शन लेयर पेश करते हैं जो प्रशिक्षण प्रक्रिया के दौरान एकल फीचर्स ( $K_1$ ) और फीचर जोड़ों ( $K_2$ ) की एक पूर्व-निर्धारित संख्या को गतिशील रूप से चुनती है।

मुख्य तकनीकी घटक शामिल हैं:

डिफरेंशिएबल सिलेक्शन: डिस्क्रीट फीचर सिलेक्शन के बजाय, जो नॉन-डिफरेंशिएबल है, लेखक चयन प्रक्रिया को रिलैक्स करने के लिए entmax (softmax और sparsemax का एक सामान्यीकृत संस्करण) का उपयोग करते हैं। यह मॉडल को एंड-टू-एंड तरीके से स्टोकैस्टिक ग्रेडिएंट डिसेंट (SGD) के माध्यम से फीचर सिलेक्शन वेट्स को ऑप्टिमाइज़ करने की अनुमति देता है।
टेम्परेचर एनीलिंग (Temperature Annealing): प्रशिक्षण के दौरान एक टेम्परेचर पैरामीटर $\tau$ पेश किया जाता है और इसे एनील (anneal) किया जाता है। जैसे-जैसे $\tau$ कम होता है, entmax आउटपुट एक वन-हॉट वेक्टर के करीब पहुंच जाता है, जिससे शेप फंक्शन्स के लिए चुने गए फीचर्स स्थिर हो जाते हैं।
आर्किटेक्चर: ये मॉडल्स $D$ (या $D(D-1)/2$ ) शेप फंक्शन्स के पूर्ण सेट के स्थान पर $K_1$ यूनिवेरिएट और $K_2$ बाइवेरिएट NNs के एक निश्चित, छोटे सेट का उपयोग करते हैं। इन NNs का इनपुट मूल फीचर्स का एक वेटेड कॉम्बिनेशन होता है जो सीखे गए सिलेक्शन वेट्स द्वारा निर्धारित होता है।
इम्प्लीमेंटेशन ऑप्टिमाइजेशन: लेखकों ने PyTorch में torch.bmm (बैच मैट्रिक्स-मैट्रिक्स प्रोडक्ट) का उपयोग करके NAM लेयर्स के कार्यान्वयन को अनुकूलित किया, जिससे पिछले 1-D कन्वोल्यूशन कार्यान्वयन की तुलना में 2–6 गुना गति वृद्धि प्राप्त हुई।

मुख्य योगदान

फीचर सिलेक्शन इंटीग्रेशन: यह पेपर NAM और NBM के लिए एक सरल, एंड-टू-एंड फीचर सिलेक्शन मैकेनिज्म पेश करता है, जो उन्हें उच्च-आयामी डेटासेट पर लागू करने में सक्षम बनाता है जहाँ वैनिला वर्जन विफल हो जाते हैं।
इंटरेक्शन के साथ स्केलेबिलिटी: यह विधि उच्च-आयामी सेटिंग्स में भी एक प्रबंधनीय $K_2$ संख्या तक इंटरैक्शन टर्म्स को सीमित करके युग्मवार फीचर इंटरैक्शन (GA2M स्टाइल) को कुशलतापूर्वक शामिल करने की अनुमति देती है।
कम्प्यूटेशनल दक्षता: प्रस्तावित मॉडल्स प्रशिक्षित मापदंडों (parameters) की संख्या और मल्टीप्लाय-एक्युमुलेट ऑपरेशंस (MACs) को काफी कम कर देते हैं, जिसके परिणामस्वरूप वैनिला NAM, NBM और उनके इंटरैक्शन-आधारित वेरिएंट (NA2M, NB2M) की तुलना में उच्च थ्रूपुट प्राप्त होता है।
परफॉरमेंस वैलिडेशन: लेखक प्रदर्शित करते हैं कि NAM-FS और NBM-FS उच्च-आयामी वर्गीकरण कार्यों पर स्टेट-ऑफ-द-आर्ट GAMs और GA2Ms की तुलना में बेहतर या तुलनीय प्रदर्शन करते हैं, जबकि वे वैनिला NAM/NBM से बेहतर प्रदर्शन करते हैं जो प्री-सिलेक्टेड फीचर्स पर निर्भर करते हैं।

परिणाम
छह उच्च-आयामी वर्गीकरण डेटासेट्स (561 से 5,000 फीचर्स की रेंज) पर प्रयोग किए गए।

थ्रूपुट: वैनिला NA2M और NB2M मेमोरी सीमाओं के कारण 100 से अधिक फीचर्स वाले डेटासेट्स पर नहीं चल सके। इसके विपरीत, NAM-FS और NBM-FS ने 50,000 फीचर्स तक भी स्थिर थ्रूपुट बनाए रखा।
सटीकता (Accuracy): उच्च-आयामी डेटासेट्स (जैसे, guillermo जिसमें 4,296 फीचर्स हैं और Gisette जिसमें 5,000 फीचर्स हैं) पर, NAM-FS(500) और NBM-FS(500) ने परीक्षण किए गए सभी GAMs में उच्चतम सटीकता प्राप्त की।
इंटरेक्शन: $K_2=500$ के साथ युग्मवार इंटरैक्शन वाले मॉडल्स (NA2M-FS और NB2M-FS) ने कई डेटासेट्स पर स्टेट-ऑफ-द-आर्ट GA2Ms (EB2M और NODE-GA2M) को पछाड़ दिया।
फीचर सिलेक्शन प्रभावकारिता: म्यूचुअल इंफॉर्मेशन के माध्यम से प्री-सिलेक्टेड फीचर्स पर प्रशिक्षित NAM/NBM की तुलना में, प्रस्तावित एंड-टू-एंड फीचर सिलेक्शन मेथड्स ने आम तौर पर उच्च सटीकता प्रदान की, जो मॉडल मापदंडों के साथ संयुक्त रूप से फीचर सिलेक्शन सीखने की प्रभावशीलता को प्रदर्शित करता है।

महत्व और दावे
पेपर का दावा है कि फीचर सिलेक्शन को ट्रेनिंग लूप में एकीकृत करके, NAM और NBM को उनकी मुख्य विशेषता—व्याख्यात्मकता—से समझौता किए बिना उच्च-आयामी डेटासेट तक स्केल किया जा सकता है। लेखक इस बात पर जोर देते हैं कि उनकी विधि सरल लेकिन प्रभावी है, जो जटिल फीचर इंटरैक्शन को कैप्चर करते हुए प्रबंधनीय संख्या में शेप फंक्शन्स के विज़ुअलाइज़ेशन की अनुमति देती है। वे उल्लेख करते हैं कि हालांकि उनके मॉडल्स उच्च-आयामी डेटा के लिए अत्यधिक प्रभावी हैं, लेकिन कम-आयामी सेटिंग्स (100 से कम फीचर्स) में उनके लाभ कम हो जाते हैं। यह कार्य इन मॉडल्स को उन अनुप्रयोगों के लिए एक व्यावहारिक समाधान के रूप में स्थापित करता है जिनमें जटिल, उच्च-आयामी डोमेन में उच्च भविष्य कहनेवाला सटीकता (predictive accuracy) और ग्लोबल व्याख्यात्मकता दोनों की आवश्यकता होती है।

इसी तरह के और पेपर