🤖 machine learning

LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models

यह शोध पत्र LimiX-2M को प्रस्तुत करता है, जो एक 2M-पैरामीटर वाला टैबुलर फाउंडेशन मॉडल है, जो बेहतर वैल्यू सेंसिटिविटी के लिए RaBEL वाले एक एकीकृत टोकेनाइज-एंड-रूट फ्रेमवर्क और अनुकूलित कॉन्टेक्स्ट एग्रीगेशन के लिए एक S $\rightarrow$ N $\rightarrow$ F पुनर्व्यवस्थित ब्लॉक का उपयोग करके सटीकता और दक्षता में बड़े बेसलाइन्स से बेहतर प्रदर्शन करता है।

मूल लेखक: Yuanrui Wang, Xingxuan Zhang, Han Yu, Mingchao Ming, Gang Ren, Hao Yuan, Li Mao, Yunjia Zhang, Chun Yuan, Peng Cui

प्रकाशित 2026-06-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanrui Wang, Xingxuan Zhang, Han Yu, Mingchao Ming, Gang Ren, Hao Yuan, Li Mao, Yunjia Zhang, Chun Yuan, Peng Cui

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को स्प्रेडशीट (डेटा की एक तालिका) समझना सिखाने की कोशिश कर रहे हैं ताकि वह भविष्यवाणियां कर सके, जैसे कि यह अनुमान लगाना कि कोई ग्राहक उत्पाद खरीदेगा या नहीं या ऋण स्वीकृत किया जाएगा या नहीं। लंबे समय तक, इसे करने का सबसे अच्छा तरीका "ट्री" मॉडल (जैसे डिसीजन ट्री) था, जो पैटर्न पहचानने में बहुत अच्छे होते हैं। हाल ही में, वैज्ञानिकों ने इस कार्य के लिए "फाउंडेशन मॉडल्स" (विशाल AI मस्तिष्क) का उपयोग करने की कोशिश की, इस उम्मीद में कि वे और भी बेहतर होंगे।

हालाँकि, LimiX-2M पेपर तर्क देता है कि ये विशाल AI मस्तिष्क स्प्रेडशीट को गलत तरीके से पढ़ने की कोशिश कर रहे थे। वे बहुत धीमे हैं, उन्हें चलाना बहुत महंगा है, और वे अक्सर "फँस" जाते हैं क्योंकि वे डेटा को गहराई से नहीं देख रहे होते हैं।

यहाँ बताया गया है कि लेखकों ने इसे कैसे ठीक किया, सरल भाषा में:

1. समस्या: "एक-लेन हाईवे" की बाधा (The "One-Lane Highway" Bottleneck)

एक स्प्रेडशीट की कल्पना करें जहाँ हर संख्या (जैसे कीमत या आयु) को एक संकीर्ण, एक-लेन सुरंग के माध्यम से AI में भेजा जाता है।

पुराना तरीका: AI एक साधारण, सीधी रेखा वाले फॉर्मूले का उपयोग करता था ताकि संख्या (जैसे "50") को एक कोड में बदला जा सके जिसे AI समझ सके।
परिणाम: क्योंकि सुरंग इतनी संकीर्ण थी, सारी जानकारी दबकर एक साथ आ गई। AI का आंतरिक "मस्तिष्क" (इसके हिडन लेयर्स) बहुत सपाट और नीरस हो गया। लेखक इसे "लो-रैंक कोलैप्स" (Low-Rank Collapse) कहते हैं।
उपमा: यह एक जटिल, रंगीन पेंटिंग को केवल ग्रे रंग के एक शेड का उपयोग करके वर्णित करने जैसा है। कैनवास (AI का आकार) चाहे कितना भी बड़ा क्यों न हो, तस्वीर उबाऊ और सपाट ही दिखेगी क्योंकि इनपुट बहुत सीमित था। AI अपने विशाल आकार को बर्बाद कर रहा था क्योंकि वह विवरणों को देख नहीं पा रहा था।

2. समाधान भाग 1: RaBEL (द "ज़ूम लेंस")

इस संकीर्ण सुरंग को ठीक करने के लिए, लेखकों ने RaBEL (रेडियल बेसिस एम्बेडिंग लेयर) नामक एक नया टूल बनाया।

यह कैसे काम करता है: संख्या "50" को केवल एक बिंदु के रूप में देखने के बजाय, RaBEL इसे एक "ज़ूम लेंस" के माध्यम से देखता है। यह पूछता है: "क्या 50, 40 के करीब है? क्या यह 60 के करीब है? क्या यह बीच में है?"
उपमा: कल्पना कीजिए कि आप किसी व्यक्ति की लंबाई का वर्णन कर रहे हैं।
- पुराना तरीका: आप बस कहेंगे "5 फीट।"
- RaBEL तरीका: आप कहेंगे, "वे 4-फुट के बच्चे से लंबे हैं, 6-फुट के वयस्क से छोटे हैं, और 5-फुट की सीमा के बिल्कुल बीच में हैं।"
लाभ: यह संख्या को AI के मस्तिष्क में प्रवेश करने से पहले ही एक बहुत समृद्ध और विस्तृत विवरण बनाता है। यह "सपाटपन" की समस्या को रोकता है और AI को तुरंत अपनी पूरी शक्ति का उपयोग करने देता है।

3. समाधान भाग 2: सोचने की प्रक्रिया का पुनर्गठन (Reordering the Thinking Process)

दूसरी समस्या यह थी कि AI डेटा के बारे में कैसे सोचता था।

पुराना क्रम: AI पहले कॉलम (विशेषताओं) को देखता था, फिर पंक्तियों (सैंपल्स) को।
- खामी: यह पूरे समूह के संदर्भ को समझे बिना कॉलम की तुलना करने की कोशिश कर रहा था। यह एक वाक्य को समझने से पहले उसके हर शब्द को अलग-अलग पढ़ने जैसा था।
नया क्रम (S→N→F): लेखकों ने इस क्रम को उलट दिया।
1. सैंपल अटेंशन (Sample Attention): पहले, AI पंक्तियों के बीच पैटर्न या "वाइब" को समझने के लिए डेटा के पूरे समूह को देखता है।
2. फीड-फॉरवर्ड (Feed-Forward): इसके बाद यह उस बड़े चित्र को प्रोसेस करता है।
3. फीचर अटेंशन (Feature Attention): फिर यह देखता है कि विशिष्ट कॉलम एक-दूसरे से कैसे संबंधित हैं।
उपमा: एक जासूस की कल्पना करें जो अपराध सुलझा रहा है।
- पुराना तरीका: जासूस गवाहों से बात करने से पहले हर एक सुराग (उंगलियों के निशान, जूते का निशान) को व्यक्तिगत रूप से देखता है। वे मुख्य तस्वीर को मिस कर देते हैं।
- नया तरीका: जासूस पहले गवाहों से बात करके कहानी (सैंपल कॉन्टेक्स्ट) प्राप्त करता है, और फिर उस कहानी का उपयोग यह समझने के लिए करता है कि सुराग वास्तव में क्या अर्थ रखते हैं।

4. परिणाम: "स्मार्ट, छोटा" मॉडल

"ज़ूम लेंस" (RaBEL) और "नए सोचने के क्रम" को मिलाकर, लेखकों ने LimiX-2M बनाया।

आश्चर्य: यह मॉडल बहुत छोटा है। इसमें केवल 2 मिलियन पैरामीटर्स ("AI के मस्तिष्क कोशिकाएं") हैं।
तुलना:
- TabPFN-v2 (एक प्रसिद्ध प्रतिस्पर्धी) में 7 मिलियन पैरामीटर्स हैं।
- TabICL में 27 मिलियन पैरामीटर्स हैं।
परिणाम: इससे 3.5 गुना से लेकर 13 गुना तक छोटा होने के बावजूद, LimiX-2M लगभग हर टेस्ट में इन दिग्गजों को हरा दिया। यह ट्रेनिंग और चलाने में भी बहुत तेज़ था।

सारांश

पेपर का दावा है कि पिछले AI मॉडल अक्षम इसलिए थे क्योंकि वे पर्याप्त बड़े नहीं थे, बल्कि इसलिए क्योंकि वे संख्याओं के विवरणों के प्रति "अंधे" थे और गलत क्रम में सोच रहे थे। संख्याओं को एक समृद्ध विवरण (RaBEL) देकर और AI को विवरणों से पहले बड़ी तस्वीर देखने के लिए सिखाकर (Reordered Attention), उन्होंने एक छोटा, तेज़ और अविश्वसनीय रूप से स्मार्ट मॉडल बनाया जो बहुत बड़े मॉडलों से बेहतर प्रदर्शन करता है।

यह पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता है कि यह मेडिकल डायग्नोसिस या क्लिनिकल उपयोग के लिए काम करता है।
यह दावा नहीं करता है कि यह भविष्य में सभी अन्य AI की जगह ले लेगा।
यह पूरी तरह से टैबुलर डेटा मॉडल (स्प्रेडशीट) की दक्षता और सटीकता में सुधार करने पर केंद्रित है।

तकनीकी सारांश: LimiX-2M

1. समस्या विवरण (Problem Statement)

टेबुलर फाउंडेशन मॉडल्स (TFMs) ने हाल ही में पारंपरिक ट्री एंसेम्बल्स (जैसे XGBoost, CatBoost) को टक्कर देने या उनसे आगे निकलने की क्षमता प्रदर्शित की है। हालांकि, लेखक वर्तमान TFM आर्किटेक्चर में दो महत्वपूर्ण अक्षमताओं की पहचान करते हैं जो उनकी सटीकता-दक्षता ट्रेड-ऑफ (accuracy-efficiency trade-off) को सीमित करती हैं:

एम्बेडिंग्स में लो-रैंक कोलैप्स (Low-Rank Collapse in Embeddings): मानक TFMs (जैसे TabPFN-v2) आमतौर पर स्केलर न्यूमेरिकल सेल्स को एक सिंगल लीनियर प्रोजेक्शन के माध्यम से हाई-डायमेंशनल हिडन स्पेस में मैप करते हैं, जिसे फीचर आईडी या पोजीशनल एम्बेडिंग्स द्वारा बढ़ाया जाता है। लेखक तर्क देते हैं कि यह "एफाइन स्केलर टोकनाइजेशन" (affine scalar tokenization) अनिवार्य रूप से एक आयामी चैनल के माध्यम से वैल्यू वेरिएशन इंजेक्ट करता है। फलस्वरूप, उथले (shallow) लेयर्स में फीचर मैट्रिसेस में अत्यंत कम प्रभावी रैंक (कभी-कभी सिंगल-डिजिट रैंक तक गिर जाना) दिखाई देती है, जिससे महत्वपूर्ण पैरामीटर रेडंडेंसी और कमजोर वैल्यू सेंसिटिविटी होती है। सैद्धांतिक विश्लेषण (प्रपोजिशन 3.1 और थ्योरम B.1) सुझाव देता है कि अतिरिक्त नॉन-लिनियरिटी के बिना, एम्बेडेड इनपुट्स और शुरुआती हिडन स्टेट्स की रैंक एक छोटे स्थिरांक (जैसे सिंगल-हेड अटेंशन के लिए 2, मल्टी-हेड के लिए $H+1$ ) द्वारा सीमित रहती है, चाहे हिडन डायमेंशन का आकार कुछ भी हो।
अटेंशन बॉटलनेक्स और मिसअलाइनमेंट (Attention Bottlenecks and Misalignment): मौजूदा द्विदिश अटेंशन स्टैक्स (bidirectional attention stacks) अक्सर एक फीचर-अटेंशन $\to$ सैंपल-अटेंशन $\to$ FFN (F $\to$ S $\to$ N) क्रम का पालन करते हैं। यह क्रम फीचर-लेवल अटेंशन को कॉलम-लेवल सांख्यिकी स्थापित होने से पहले ही केवल कच्चे, कमजोरly कंडिशन्ड वैल्यूज के आधार पर कॉलमों को एकीकृत करने के लिए मजबूर करता है। इसके अलावा, चूंकि अंतिम भविष्यवाणियां अक्सर केवल टारगेट टोकन का उपभोग करती हैं, इसलिए फीचर्स पर किए गए सैंपल-लेवल अटेंशन कंप्यूटेशन प्रभावी रूप से अनदेखा कर दिए जाते हैं, जिससे नेटवर्क के उन हिस्सों के लिए कमजोर ट्रेनिंग सिग्नल मिलता है जो सीधे रीडआउट (readout) को प्रभावित नहीं करते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र LimiX-2M प्रस्तावित करता है, जो इन समस्याओं को दो प्राथमिक घटकों के माध्यम से संबोधित करने वाला एक एकीकृत ढांचा है:

A. RaBEL (रेडियल-बेसिस एम्बेडिंग लेयर)

लो-रैंक कोलैप्स को कम करने के लिए, लेखक मानक लीनियर प्रोजेक्शन को RaBEL से बदलते हैं, जो एक कॉम्पैक्ट, लोकलाइज्ड रेडियल बेसिस फंक्शन (RBF) एक्सपेंशन है।

तंत्र (Mechanism): प्रत्यक्ष लीनियर प्रोजेक्शन के बजाय, प्रत्येक स्केलर इनपुट $x_{i,j}$ को गॉसियन कर्नेल का उपयोग करके स्थानीयकृत नॉन-लीनियर फीचर्स $\phi_j(x_{i,j})$ के बैंक में विस्तारित किया जाता है। इन फीचर्स को फिर मॉडल डायमेंशन में प्रोजेक्ट किया जाता है।
एक्सपोनेंट गेटिंग (Exponent Gating): वास्तविक दुनिया के टेबुलर डेटा को संभालने के लिए, जो कई ऑर्डर्स ऑफ मैग्नीट्यूड तक फैला होता है और हेटेरोस्केडास्टिसिटी (heteroskedasticity) प्रदर्शित करता है, RaBEL एक "एक्सपोनेंट गेट" पेश करता है। यह तंत्र इनपुट वैल्यू के लॉग-मैग्निट्यूड के आधार पर RBF सेंटर्स और बैंडविड्थ को कंडिशन करता है। यह मॉडल को ब्रिटल हार्ड बिनिंग के बिना विभिन्न वैल्यू रिजीम्स में स्केल इनवेरिएंस और लोकैलिटी बनाए रखने की अनुमति देता है।
प्रभाव: यह डिज़ाइन टोकनाइज़र स्टेज पर नॉन-लिनियरिटी इंजेक्ट करता है, जिससे उथले रिप्रेजेंटेशन का प्रभावी रैंक बढ़ता है और कर्वचर (curvature) खोजने के लिए डीप स्टैकिंग की आवश्यकता के बिना पहले सीखे गए लेयर की कंडीशनिंग में सुधार होता है।

B. पुनर्व्यवस्थित द्विदिश अटेंशन (Reordered Bidirectional Attention - S $\to$ N $\to$ F)

लेखक अटेंशन स्टैक को मानक F $\to$ S $\to$ N से बदलकर सैंपल-अटेंशन $\to$ FFN $\to$ फीचर-अटेंशन (S $\to$ N $\to$ F) करने का प्रस्ताव देते हैं।

सैंपल-अटेंशन प्रथम: मॉडल पहले सैंपल्स के बीच कॉलम-लेवल कोरिलेशन और डिस्ट्रिब्यूशनल स्टैटिस्टिक्स (जैसे मोमेंट्स, प्रिवेलेंस) को एकत्रित करता है।
इंटरमीडिएट कंडिशनिंग: एक लाइटवेट फीड-फॉरवर्ड नेटवर्क (FFN) इन सिग्नल्स को कंप्रेस और कंडिशन करता है।
la
फीचर-अटेंशन द्वितीय: फीचर-अटेंशन लेयर फिर इन समृद्ध, बेहतर-कंडिशन्ड इनपुट्स का उपयोग करके इंटर-फीचर संबंधों को मॉडल करती है।
रीडआउट अलाइनमेंट: अंतिम भविष्यवाणी सभी फीचर टोकन्स पर अटेंशन पूलिंग के माध्यम से प्राप्त की जाती है, यह सुनिश्चित करती है कि सभी अटेंशन कंप्यूटेशन (दोनों सैंपल और फीचर स्तर) सीधे आउटपुट में योगदान दें, जिससे ट्रेनिंग सिग्नल मजबूत होता है।

3. मुख्य योगदान (Key Contributions)

लो-रैंक कोलैप्स का निदान: पेपर प्रयोगात्मक साक्ष्य (हिडन स्टेट्स के सिंगुलर वैल्यू डीकंपोजिशन के माध्यम से) प्रदान करता है जो सिद्ध करता है कि मानक लीनियर+ID एम्बेडिंग्स शुरुआती लेयर्स में गंभीर लो-रैंक कोलैप्स उत्पन्न करती हैं, जिससे बड़े हिडन डायमेंशन्स अक्षम हो जाते हैं।
RaBEL आर्किटेक्चर: एक कॉम्पैक्ट, RBF-आधारित सेल एनकोडर का परिचय जो स्केलर इनपुट्स को स्थानीयकृत नॉन-लीनियर फीचर्स में विस्तारित करता है, जिससे उथले रिप्रेजेंटेशन का प्रभावी रैंक काफी बढ़ जाता है और कंडीशनिंग में सुधार होता है।
पुनर्व्यवस्थित अटेंशन स्टैक: मानक F $\to$ S $\to$ N में एक "परम्यूटेशन-ऑर्डर पैथोलॉजी" की पहचान और एक S $\to$ N $\to$ F स्टैक का प्रस्ताव जो फीचर एग्रीगेशन से पहले कॉलम-लेवल सांख्यिकी स्थापित करता है और सभी अटेंशन सिग्नल्स को रीडआउट तक पहुंचाता है।
LimiX-2M मॉडल: एक 2M-पैरामीटर मॉडल का निर्माण जो इन घटकों को एकीकृत करता है, यह प्रदर्शित करता है कि सिद्धांतों पर आधारित नॉन-लीनियर एम्बेडिंग्स और अटेंशन-ऑर्डर रीडिज़ाइन बेहतर सटीकता-दक्षता ट्रेड-ऑफ को अनलॉक कर सकते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने XGBoost, LightGBM, CatBoost जैसे ट्री एंसेम्बल्स, विशेषीकृत डीप आर्किटेक्चर (TabNet, SAINT, FT-Transformer), और अन्य फाउंडेशन मॉडल्स (TabPFN-v2, TabICL, Mitra) सहित व्यापक रेंज के बेसलाइन्स के विरुद्ध LimiX-2M का मूल्यांकन किया।

प्रदर्शन: केवल 1.92M पैरामीटर्स होने के बावजूद, LimiX-2M अधिकांश व्यापक रूप से उपयोग किए जाने वाले टेबुलर बेंचमार्क्स (OpenML-CC18, TabZilla, TabArena, TALENT, और BCCO सूट्स में वर्गीकरण और रिग्रेशन कार्यों को कवर करते हुए) पर 7.24M-पैरामीटर वाले TabPFN-v2 और 27M-पैरामीटर वाले TabICL को पछाड़ देता है।
दक्षता: मॉडल काफी कम ट्रेनिंग और इन्फरेंस लागत प्राप्त करता है। GPU पर, LimiX-2M TabPFN-v2 की तुलना में लगभग 2 $\times$ तेज़ और TabICL की तुलना में >10 $\times$ तेज़ है।
एब्लेशन स्टडीज (Ablation Studies):
- लीनियर एम्बेडिंग को RaBEL से बदलने से समान आर्किटेक्चर वाले बेसलाइन की तुलना में पहले तीन लेयर्स के न्यूमेरिकल रैंक और Rank@99% में उल्लेखनीय वृद्धि होती है।
- S $\to$ N $\to$ F ऑर्डरिंग (पुनर्व्यवस्थित द्विदिश अटेंशन) लगातार मानक F $\to$ S $\to$ N ऑर्डरिंग से बेहतर प्रदर्शन करती है।
- सिंथेटिक डायरेक्टेड एसाइक्लिक ग्राफ्स (DAGs) पर टॉय एक्सपेरिमेंट्स दिखाते हैं कि S $\to$ N $\to$ F आर्किटेक्चर मानक ऑर्डरिंग की तुलना में टारगेट वेरिएबल के डायरेक्ट कॉज़ेस (direct causes) को उच्च अटेंशन स्कोर असाइन करता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि वर्तमान TFMs की प्राथमिक सीमाएं केवल क्षमता (capacity) की कमी नहीं हैं, बल्कि इस बात में संरचनात्मक अक्षमताएं हैं कि वैल्यूज को कैसे टोकनाइज किया जाता है और अटेंशन को कैसे रूट किया जाता है। RaBEL के माध्यम से "वैल्यू बॉटलनेक" और पुनर्व्यवस्थित अटेंशन के माध्यम से "रीडआउट मिसअलाइनमेंट" को संबोधित करके, LimiX-2M यह प्रदर्शित करता है कि:

वैल्यू-अवेयर टोकनाइजेशन सटीकता-दक्षता ट्रेड-ऑफ को बेहतर बनाने के लिए एक प्रमुख लीवर है।
रीडआउट-अलाइन्ड रूटिंग यह सुनिश्चित करती है कि सभी कंप्यूटेशनल रिसोर्सेज अंतिम भविष्यवाणी में योगदान दें।
टेबुलर डेटा पर उच्च प्रदर्शन के लिए आवश्यक रूप से विशाल पैरामीटर काउंट की आवश्यकता नहीं होती है; जब आर्किटेक्चर को टेबुलर डेटा के विशिष्ट सांख्यिकीय गुणों (जैसे पीसवाइज ट्रेंड्स, हेवी टेल्स, और मिक्स्ड टाइप्स) के लिए अनुकूलित किया जाता है, तो एक 2M-पैरामीटर मॉडल बड़े फाउंडेशन मॉडल्स को पछाड़ सकता है।

लेखक निष्कर्ष निकालते हैं कि ये निष्कर्ष संकेत देते हैं कि टेबुलर फाउंडेशन मॉडल्स के लिए अधिक विश्वसनीय स्केलिंग का मार्ग क्या है, जो केवल पैरामीटर स्केलिंग से आगे बढ़कर ऐसे आर्किटेक्चरल सिद्धांतों की ओर जाता है जो डेटा की अंतर्निहित संरचना के साथ बेहतर तालमेल बिठाते हैं।