तकनीकी सारांश: LoMETab: टैबुलर डीप लर्निंग के लिए Rank-1 एंसेम्बल्स से परे

समस्या विवरण (Problem Statement)

हाल के टैबुलर डीप लर्निंग बेंचमार्क एक "टाइट परफॉर्मेंस क्लस्टर" (tight performance cluster) को प्रकट करते हैं जहाँ अग्रणी विधियाँ—जिसमें ग्रेडिएंट-बूस्टेड डिसिजन ट्रीज़ (GBDTs), अटेंशन-आधारित आर्किटेक्चर और TabM जैसे इम्पलिसिट एंसेम्बल्स शामिल हैं—समान प्रभावकारिता के साथ प्रदर्शन करती हैं। जबकि डीप एंसेम्बल्स मॉडल प्रदर्शन में सुधार करने के लिए एक सिद्ध विधि हैं, $K$ स्वतंत्र नेटवर्क को प्रशिक्षित करना लागत के साथ रैखिक रूप से (linearly) बढ़ता है। इम्पलिसिट एंसेम्बल्स, जैसे कि BatchEnsemble और TabM, अधिकांश मापदंडों (parameters) को साझा करके और सदस्य-विशिष्ट विक्षेपण (member-specific perturbations) पेश करके इस समस्या का समाधान करते हैं।

हालाँकि, मौजूदा इम्पलिसिट एंसेम्बल्स एक निश्चित रैंक-1 संरचना (fixed rank-1 structure) पर निर्भर करते हैं। TabM में, प्रत्येक सदस्य एक साझा वेट मैट्रिक्स $W$ को रैंक-1 मास्क ($W_k = W \odot (s_k r_k^\top)$) के माध्यम से मॉड्युलेट करता है। यह डिज़ाइन सदस्य-विशिष्ट मॉड्यूलेशन की क्षमता बढ़ाने के लिए एक स्पष्ट अक्ष (axis) की कमी रखता है। फलस्वरूप, एंसेबल विविधता (ensemble diversity)—जो एंसेबल लाभ का मुख्य चालक है—सीधे तौर पर नियंत्रणीय नहीं है; इसे निश्चित रैंक-1 मास्क और प्रशिक्षण गतिशीलता (training dynamics) से अप्रत्यक्ष रूप से उभरना होता है। पूर्व के कार्यों ने सुझाव दिया है कि कुछ स्थितियों के तहत, BatchEnsemble के सदस्य लगभग समान कार्यों (functions) की ओर अभिसरित (converge) हो सकते हैं, जो इंगित करता है कि रैंक-1 मॉड्यूलेशन सार्थक विविधता प्राप्त करने में विफल हो सकता है।

कार्यप्रणाली (Methodology): LoMETab

लेखक LoMETab का प्रस्ताव करते हैं, जो निश्चित रैंक-1 संरचनाओं की सीमाओं को दूर करने के लिए मल्टीप्लिकेटिव इम्पलिसिट एंसेम्बल्स का एक रैंक-$r$ सामान्यीकरण (generalization) है।

मुख्य सूत्र (Core Formulation)

रैंक-1 मास्क के बजाय, LoMETab प्रत्येक सदस्य $k$ को लो-रैंक एडेप्टर मैट्रिसेस, $A_k \in \mathbb{R}^{d_{out} \times r}$ और $B_k \in \mathbb{R}^{d_{in} \times r}$ का एक जोड़ा आवंटित करता है। सदस्य $k$ के लिए प्रभावी वेट को इस प्रकार परिभाषित किया गया है:
$$W_k = W \odot (1 + A_k B_k^\top)$$
यहाँ, $W$ साझा बेस वेट है, और $A_k B_k^\top$ अधिकतम रैंक $r$ वाला एक रेसिडुअल मैट्रिक्स बनाता है। पद $(1 + A_k B_k^\top)$ एक आइडेंटिटी-रेसिडुअल मल्टीप्लिकेटिव परटर्बेशन (identity-residual multiplicative perturbation) के रूप में कार्य करता है। जब रेसिडुअल शून्य के करीब होता है, तो सदस्य साझा वेट की तरह व्यवहार करता है; बड़े रेसिडुअल सदस्य-विशिष्ट विचलन (deviations) उत्पन्न करते हैं।

आर्किटेक्चर और प्रशिक्षण (Architecture and Training)

• आर्किटेक्चर: LoMETab को एक टैबुलर MLP बैकबोन में डाला जाता है। एक साझा पीसवाइज लीनियर एम्बेडिंग इनपुट को प्रोसेस करती है, जिसे फिर $K$ सदस्यों के बीच कॉपी किया जाता है। प्रत्येक हिडन लीनियर लेयर को एक LoMETab लीनियर लेयर द्वारा प्रतिस्थापित किया जाता है, जो साझा वेट को सदस्य-विशिष्ट एडेप्टर्स के साथ जोड़ती है।
• प्रशिक्षण उद्देश्य (Training Objective): मॉडल को एक सदस्य-वार लॉस फंक्शन का उपयोग करके प्रशिक्षित किया जाता है, जो सभी $K$ सदस्यों के औसत टास्क लॉस को अनुकूलित (optimize) करता है। यह साझा बैकबोन साझा करने के बावजूद समानांतर सब-मॉडल्स को विशेषज्ञता (specialize) प्राप्त करने की अनुमति देता है।
• अनुमान (Inference): अंतिम भविष्यवाणियाँ सभी $K$ सदस्यों के आउटपुट को औसत करके प्राप्त की जाती हैं (वर्गीकरण के लिए संभावनाओं का औसत, रिग्रेशन के लिए स्केलर आउटपुट)।

सैद्धांतिक अभिव्यक्त क्षमता (Theoretical Expressivity)

यह शोध पत्र हाइपोथीसिस क्लासेस में एक सख्त पदानुक्रम (hierarchy) स्थापित करता है। किसी भी रैंक $r \ge 2$ के लिए, LoMETab में प्रस्तुत होने योग्य प्रभावी वेट्स का सेट, BatchEnsemble (रैंक-1) द्वारा प्रस्तुत होने योग्य सेट को सख्ती से समाहित करता है। विशेष रूप से, कोई भी BatchEnsemble मास्क $s_k r_k^\top$ को $1 + A_k B_k^\top$ के रूप में दर्शाया जा सकता है क्योंकि अंतर $s_k r_k^\top - 1$ का रैंक अधिकतम 2 है। इस प्रकार, LoMETab $r \ge 2$ के लिए डिज़ाइन स्पेस को सख्ती से बढ़ाता है।

मुख्य योगदान (Key Contributions)

1. रैंक-$r$ सामान्यीकरण: LoMETab का परिचय, जो निश्चित रैंक-1 मास्क को एडेप्टर रैंक $r$ और इनिशियलाइजेशन स्केल $\sigma_{init}$ द्वारा पैरामीटराइज्ड आइडेंटिटी-रेसिडुअल लो-रैंक हेडामार्ड परटर्बेशन से बदल देता है।
2. नियंत्रणीय विविधता (Controllable Diversity): यह प्रदर्शन कि जोड़ा गया रैंक क्षमता, मापने योग्य प्रेडिक्टिव विविधता के रूप में प्रकट होती है। लेखक दिखाते हैं कि LoMETab, एडिटिव लो-रैंक एब्लेशन की तुलना में उच्च पेयरवाइज KL डाइवर्जेंस बनाए रखता है। इसके अलावा, $(r, \sigma_{init})$ ग्रिड विविधता पर व्यापक नियंत्रण प्रदान करता है, जो पेयरवाइज KL को कई ऑर्डर्स ऑफ मैग्नीट्यूड तक बदल देता है।
3. डेटासेट-निर्भर ट्यूनिंग: इस बात का अनुभवजन्य प्रमाण कि रैंक और इनिशियलाइजेशन स्केल के लिए इष्टतम कॉन्फ़िगरेशन डेटासेट-निर्भर होते हैं। पेपर एक "फिक्स्ड रैंक-1" निर्माण के विरुद्ध तर्क देता है, और इसके बजाय एक नियंत्रणीय इम्पलिसिट एंसेबल परिवार का प्रस्ताव करता है जहाँ $r$ और $\sigma_{init}$ व्यावहारिक ट्यूनिंग अक्ष (axes) के रूप में कार्य करते हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 37 अकादमिक डेटासेट्स (TabM बेंचमार्क और TabZilla स्रोतों सहित) और 77 मूल्यांकन कार्यों पर LoMETab का मूल्यांकन किया।

• बेंचमार्क प्रदर्शन: LoMETab 37 डेटासेट्स पर औसतन 2.1 ± 1.3 रैंकिंग प्राप्त करता है, जो TabM (2.3 ± 1.8) से बेहतर प्रदर्शन करता है और मजबूत GBDT बेसलाइन्स (जैसे XGBoost, CatBoost) और हालिया न्यूरल आर्किटेक्चर के साथ प्रतिस्पर्धा करता है। यह 14 डेटासेट्स पर प्रथम स्थान प्राप्त करता है और 89.2% डेटासेट्स में शीर्ष तीन में आता है।
• विविधता नियंत्रण (Diversity Control):
  • मल्टीप्लिकेटिव बनाम एडिटिव: LoMETab, एक एडिटिव लो-रैंक एंसेबल ($W_k = W + A_k B_k^\top$) की तुलना में पेयरवाइज KL डाइवर्जेंस में एक "सस्टेंड गैप" बनाए रखता है, जो तेजी से कम विविधता की ओर अभिसरित हो जाता है।
  • ग्रिड स्वीप: $r \in \{1, 2, 4, 8, 16\}$ और $\sigma_{init} \in \{0.1, \dots, 3.0\}$ का स्वीप यह प्रकट करता है कि विविधता संयुक्त रूप से इन अक्षों द्वारा नियंत्रित होती है। कम $\sigma_{init}$ रैंक के बावजूद कम विविधता का परिणाम देता है, जबकि उच्च $\sigma_{init}$ रैंक अक्ष को सक्रिय करता है, जिससे विविधता काफी बढ़ जाती है।
  • टास्क-लेवल मेट्रिक्स: बढ़ी हुई विविधता वर्गीकरण में 'argmax disagreement' और रिग्रेशन में 'ambiguity' के साथ सह-संबंधित (correlate) होती है।
• परफॉर्मेंस बनाम विविधता ट्रेड-ऑफ: हालांकि विविधता आम तौर पर प्रदर्शन में सुधार करती है, लेकिन संबंध पूरी तरह से मोनोटोनिक (monotonic) नहीं है। $r$ और $\sigma_{init}$ को ट्यून करने से डेटासेट-विशिष्ट अनुकूलन संभव होता है, जो अक्सर TabM में एंसेबल के आकार $K$ के सरल स्केलिंग से बेहतर प्रदर्शन करता है।
• पैरामीटर दक्षता: बढ़ी हुई अभिव्यक्त क्षमता के बावजूद, LoMETab आवश्यक रूप से TabM की तुलना में अधिक पैरामीटर काउंट का भार नहीं डालता है। हाइपरपैरामीटर ऑप्टिमाइज़ेशन अक्सर उच्च रैंक का उपयोग करने पर अधिक कॉम्पैक्ट कॉन्फ़िगरेशन (जैसे, छोटे हिडन डायमेंशन) चुनता है, जिससे कई मामलों में कुल पैरामीटर काउंट बराबर या कम हो जाता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि टैबुलर इम्पलिसिट एंसेबल्स के लिए, सदस्य साझा बैकबोन से कितनी भिन्नता की अनुमति दी जाती है, यह एक केंद्रीय डिज़ाइन प्रश्न है। फिक्स्ड रैंक-1 बाधा से आगे बढ़कर, LoMETab एडेप्टर रैंक और इनिशियलाइजेशन स्केल को एंसेबल विविधता को प्रबंधित करने के लिए व्यावहारिक, नियंत्रणीय अक्षों के रूप में उजागर करता है।

लेखक अपने योगदान को एक निश्चित समाधान के बजाय एक "नियंत्रणीय इम्पलिसिट एंसेबल परिवार" प्रदान करने के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं। वे इस बात पर जोर देते हैं कि इष्टतम कॉन्फ़िगरेशन डेटासेट-निर्भर है और LoMETab का प्राथमिक मूल्य विशिष्ट कार्यों के अनुरूप सदस्य विचलन के रूप में विविधता के रूप में ट्यून करने की इसकी क्षमता में निहित है। यह कार्य यह सुझाव देता है कि भविष्य के शोध यह पता लगा सकते हैं कि क्या यह नियंत्रणीयता अनिश्चितता अनुमान (uncertainty estimation) या आउट-ऑफ-डिस्ट्रीब्यूशन डिटेक्शन में बेहतर सुधार ला सकती है, हालांकि इन्हें वर्तमान परिणामों के बजाय भविष्य के कार्यों के रूप में पहचाना गया है।