📊 statistics

RowNet: A Memory Transformer for Tabular Regression

यह शोधपत्र RowNet को प्रस्तुत करता है, जो एक रिट्रीवल-आधारित न्यूरल आर्किटेक्चर है जो रियल एस्टेट मूल्य-प्रति-वर्ग-मीटर भविष्यवाणी में सुधार के लिए लेबल किए गए गुणों के मेमोरी बैंक और मल्टी-स्टेज अटेंशन मैकेनिज्म का लाभ उठाकर तुलनीय गुण संबंधों को मॉडल करता है, जो स्पार्स क्षेत्रीय प्रभावों और नॉनलीनर इंटरैक्शन को संभालने में मानक MLPs और ग्रेडिएंट-बूस्टेड ट्रीज़ की सीमाओं को संबोधित करता है।

मूल लेखक: Askat Rakhymbekov, Gulshat Muhametjanova

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Askat Rakhymbekov, Gulshat Muhametjanova

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह पता लगाने की कोशिश कर रहे हैं कि बिश्केक, किर्गिस्तान में एक विशिष्ट अपार्टमेंट की कीमत कितनी है। आपके पास कोई जादुई क्रिस्टल बॉल नहीं है, और आप केवल एक संख्या देखकर अनुमान नहीं लगा सकते। इसके बजाय, आप एक मानव विशेषज्ञ की तरह कार्य करते हैं: आप चारों ओर देखते हैं और कहते हैं, "वह अपार्टमेंट गली के नीचे वाले अपार्टमेंट के समान है, लेकिन कोने वाला अपार्टमेंट थोड़ा बेहतर है क्योंकि वहां से दृश्य (view) अच्छा है।" आप कुछ तुलनीय (comparable) अपार्टमेंट ढूंढते हैं, देखते हैं कि वे कितने में बिके थे, और अंतरों के आधार पर अपने अनुमान को समायोजित करते हैं।

यह शोध पत्र, RowNet, कंप्यूटर को ठीक यही करना सिखाता है। हर एक घर के लिए एक विशाल, जटिल फॉर्मूला याद करने के बजाय, कंप्यूटर उन सभी घरों का एक मेमोरी बैंक (स्मृति बैंक) बनाता है जिन्हें उसने पहले देखा है। जब इसे किसी नए घर का मूल्य निर्धारित करना होता है, तो यह केवल उसकी विशेषताओं के बारे में "सोचता" नहीं है; यह सक्रिय रूप से अपनी स्मृति से सबसे समान घरों को पुनः प्राप्त (retrieve) करता है और उनका उपयोग एक अनुमान लगाने के लिए करता है।

यहाँ बताया गया है कि यह पेपर सरल उपमाओं का उपयोग करके इसे कैसे समझाता है:

1. समस्या: मानक कंप्यूटर संघर्ष क्यों करते हैं

आमतौर पर, जब कंप्यूटर स्प्रेडशीट (टेबलर डेटा) से कीमतों की भविष्यवाणी करने की कोशिश करते हैं, तो वे प्रत्येक पंक्ति (प्रत्येक घर) को एक अलग द्वीप की तरह मानते हैं। वे एक विशाल नियम सीखने की कोशिश करते हैं जैसे: "यदि क्षेत्र बड़ा है और मंजिल ऊँची है, तो कीमत X है।"

लेकिन रियल एस्टेट बहुत जटिल है। एक खराब पड़ोस में स्थित बड़ा अपार्टमेंट, एक बेहतरीन पड़ोस में स्थित छोटे अपार्टमेंट से कम मूल्यवान होगा। मानक कंप्यूटर मॉडल अक्सर इन सूक्ष्म, स्थानीय संबंधों को समझने में विफल रहते हैं क्योंकि वे पूरे शहर के लिए एक "वैश्विक" (global) नियम खोजने की कोशिश करते हैं। वे स्वाभाविक रूप से "इस घर की तुलना उस विशिष्ट घर से करने" की अवधारणा को नहीं समझते हैं।

2. समाधान: RowNet (एक "मेमोरी बैंक" दृष्टिकोण)

RowNet खेल बदल देता है। केवल एक शून्य में नए घर को देखने के बजाय, यह एक लाइब्रेरी (स्मृति बैंक) रखता है जिसमें उन सभी घरों का विवरण है जिन्हें इसने पहले कभी प्रशिक्षित किया है।

जब एक नया घर ("क्वेरी") आता है, तो RowNet तीन काम करता है:

चरण 1: "समानता" की खोज (विशेषता-आधारित पुनर्प्राप्ति/Feature-Only Retrieval)
सबसे पहले, यह लाइब्रेरी को स्कैन करता है ताकि उन घरों को खोजा जा सके जो अपने भौतिक गुणों के आधार पर समान दिखते हैं: आकार, कमरों की संख्या, मंजिल और इमारत की आयु। यह एक पल के लिए कीमत को अनदेखा कर देता है। यह कुछ ऐसा कहने जैसा है, "ठीक है, मुझे 50 घर मिले जो बिल्कुल इस घर जैसे दिखते हैं।" यह एक "मोटा अनुमान" (coarse estimate) प्राप्त करने के लिए उनकी कीमतों का औसत लेता है।
चरण 2: "वास्तविकता की जाँच" (लक्ष्य-सशर्त पुनर्प्राप्ति/Target-Conditioned Retrieval)
अब, यह अधिक स्मार्ट हो जाता है। यह पूछता है: "उन 50 समान घरों में से, कौन से वास्तव में उस कीमत पर बिके जो मेरे मोटे अनुमान के हिसाब से तर्कसंग건 लगता है?"
यदि कोई घर समान दिखता है लेकिन उसकी बिक्री कीमत बहुत अलग थी (शायद वह एक फर्जी लिस्टिंग थी या उसमें कोई छिपा हुआ दोष था), तो RowNet उसे कम महत्व देने के बारे में सीखता है। यह सबसे प्रासंगिक और यथार्थवादी तुलनीय घरों को खोजने के लिए अपनी खोज को परिष्कृत करता है।
चरण 3: "विशेषज्ञों का पैनल" (मिक्सचर ऑफ एक्सपर्ट्स/Mixture of Experts)
RowNet केवल घरों की तुलना करने के एक तरीके पर निर्भर नहीं रहता है। यह एक ही समय में 8 अलग-अलग "विशेषज्ञों" (अटेंशन हेड्स) का उपयोग करता है।
- विशेषज्ञ A मुख्य रूप से स्थान (जिला और सड़क) पर ध्यान केंद्रित कर सकता है।
- विशेषज्ञ B आकार और कमरों के लेआउट पर ध्यान केंद्रित कर सकता है।
- विशेषज्ञ C सुविधाओं जैसे पार्किंग या सुरक्षा को देख सकता है।
एक "गेटकीपर" (AI का एक छोटा निर्णय लेने वाला हिस्सा) इन 8 विशेषज्ञों की बात सुनता है। यह तय करता है कि प्रत्येक पर कितना भरोसा किया जाए। यदि घर एक कठिन स्थान पर है, तो गेटकीपर कह सकता है, "विशेषज्ञ A की बात अधिक सुनो।" यदि घर बहुत बड़ा है, तो वह कह सकता है, "विशेषज्ञ B की बात अधिक सुनो।"

3. अंतिम स्पर्श: "समायोजन" (The Adjustment)

सबसे अच्छे मिलान वाले घर खोजने के बाद भी, औसत कीमत अभी भी थोड़ी गलत हो सकती है क्योंकि कुछ चीजें ऐसी होती हैं जिन्हें कंप्यूटर नहीं देख सकता (जैसे एक शानदार दृश्य या एक बुरी गंध)।
RowNet एक रेसिडुअल करेक्शन (Residual Correction) जोड़ता है। इसे एक छोटे "ट्वीक" (ट्यूनिंग) बटन के रूप में सोचें। विशेषज्ञों द्वारा औसत देने के बाद, अंतिम कीमत को सटीक बनाने के लिए एक छोटा सा समायोजन जोड़ा जाता है, जिससे यह सुनिश्चित होता है कि भविष्यवाणी केवल एक अंधा औसत नहीं बल्कि एक सुव्यवस्थित अनुमान है।

4. यह कितना प्रभावी रहा?

लेखकों ने इसका परीक्षण बिश्केक के वास्तविक डेटा पर किया।

परिणाम: RowNet ने एक प्रतियोगिता में 7.44% त्रुटि दर (MAPE) हासिल की। इसका मतलब है कि इसकी भविष्यवाणियां, औसतन, वास्तविक बिक्री मूल्य के लगभग 7.5% के भीतर थीं।
तुलना: इसने एक मानक "गैर-सीखने वाले" तरीके (जो केवल कच्चे सामंजस्य के आधार पर अनुमान लगाता था) को बहुत बड़े अंतर (14.76% त्रुटि) से पीछे छोड़ दिया। इसने मानक ट्री-बेस्ड मॉडल्स के मुकाबले भी बहुत अच्छा प्रदर्शन किया जिनका उपयोग डेटा वैज्ञानिक करते हैं।

5. यह क्यों महत्वपूर्ण है (द इंडक्टिव बायस/Inductive Bias)

यह शोध पत्र तर्क देता है कि यह दृष्टिकोण रियल एस्टेट के लिए "स्वाभाविक" है। मनुष्य कीमतों की गणना एक जटिल गणितीय सूत्र का उपयोग करके नहीं करते हैं; हम उनकी गणना पिछले समान लेनदेन की स्मृतियों को पुनः प्राप्त करके करते हैं। RowNet बस कंप्यूटर को वही करने के लिए सिखाता है:

समान घर खोजें।
जांचें कि क्या उनकी कीमतें समझ में आती हैं।
अंतिम कीमत तय करने में मदद करने के लिए विशेषज्ञ पैनल से सलाह लें।
एक छोटा समायोजन करें।

सारांश

RowNet एक स्मार्ट कंप्यूटर प्रोग्राम है जो पिछले बिक्री के अपने मेमोरी बैंक को देखकर घरों की कीमतों की भविष्यवाणी करता है। पूरी दुनिया के लिए एक एकल नियम याद करने के बजाय, यह कहता है, "यह घर मुझे किसकी याद दिलाता है? आइए देखते हैं कि उन घरों की कीमत क्या थी, और आइए अंतिम कीमत तय करने में मदद करने के लिए कुछ अलग विशेषज्ञों से पूछें।"

यह "फॉर्मूला की गणना करने" से बदलकर "तुलनीय कहानी को पुनः प्राप्त करने" की ओर एक बदलाव है, जो रियल एस्टेट की पहेलियों को हल करने का एक बहुत शक्तिशाली तरीका साबित होता है।

तकनीकी सारांश: RowNet – एक टेबुलर रिग्रेशन के लिए मेमोरी ट्रांसफार्मर

1. समस्या की परिभाषा

यह शोध पत्र टेबुलर रिग्रेशन (tabular regression) की चुनौती को संबोधित करता है, विशेष रूप से रियल एस्टेट मूल्यांकन के क्षेत्र में। इमेज या टेक्स्ट डेटा के विपरीत, टेबुलर डेटा में स्थिर स्थानीय टोपोलॉजी का अभाव होता है; आस-पास के कॉलम शायद ही कभी अर्थपूर्ण रूप से संबंधित होते हैं, श्रेणीबद्ध (categorical) फीचर्स में उच्च कार्डिनैलिटी और विरल स्तर होते हैं, और संख्यात्मक फीचर्स असंगत पैमानों पर मौजूद होते हैं।

रियल एस्टेट में, फीचर्स (जैसे क्षेत्रफल, जिला, भवन की आयु, सुविधाएं) से कीमत का मैपिंग न तो वैश्विक रूप से सुचारू है और न ही पूरी तरह से योगात्मक (additive)। बाजार स्थानीय रूप से विषम (heterogeneous) होते हैं: एक जिले में एक वर्ग मीटर दूसरे जिले के साथ सीधे तौर पर तुलनीय नहीं है जब तक कि विशिष्ट भवन प्रकारों, स्थितियों और सूक्ष्म-क्षेत्रीय आपूर्ति पर विचार न किया जाए। मानक डीप लर्निंग मॉडल (जैसे MLPs) पंक्तियों (rows) को अलग-अलग वेक्टर्स के रूप में देखते हैं, जिससे उन्हें केवल पर्यवेक्षण (supervision) से स्थानीयता और श्रेणीबद्ध मिलान सीखने में कठिनाई होती है। इसके विपरीत, ग्रेडिएंट-बूस्टेड डिसीजन ट्री (GBDTs), हालांकि मजबूत बेसलाइन हैं, फीचर-केंद्रित विभाजन के माध्यम से कार्य करते हैं और ऐतिहासिक अवलोकनों (observations) की प्राप्ति (retrieval) को स्पष्ट रूप से मॉडल नहीं करते हैं, जो कि मानव मूल्यांकनकर्ताओं द्वारा उपयोग किया जाने वाला मुख्य तर्क है।

2. कार्यप्रणाली: RowNet आर्किटेक्चर

RowNet एक रिट्रीवल-आधारित न्यूरल आर्किटेक्चर है जिसे प्रति वर्ग मीटर रियल एस्टेट मूल्य की भविष्यवाणी करने के लिए डिज़ाइन किया गया है। यह एक "तुलनीय-संपत्ति" (comparable-property) इंडक्टिव बायस को अपनाता है, जो पूरे प्रशिक्षण सेट को एक मेमोरी बैंक के रूप में मानता है जिससे मॉडल दिए गए क्वेरी के लिए प्रासंगिक ऐतिहासिक उदाहरणों को प्राप्त (retrieve) करता है।

2.1 मुख्य घटक

इस आर्किटेक्चर का नाम ThreeLayerMoE है, जो तीन अलग-अलग चरणों से बना है:

फीचर-ओनली रो रिट्रीवल (लेयर 1):
- मॉडल एक क्वेरी रो और सभी मेमोरी रोज़ के बीच युग्मवार समानता (pairwise similarity) की गणना करता है।
- समानता एम्बेडिंग (Similarity Embedding): रॉ डॉट प्रोडक्ट्स के बजाय, समानता को निम्नलिखित का उपयोग करके इंजीनियर किया गया है:
  - सटीक श्रेणीबद्ध मिलान (Exact Categorical Matches): श्रेणीबद्ध और वन-हॉट एनकोडेड फीचर्स के लिए बाइनरी समानता।
  - संख्यात्मक कर्नेल (Numerical Kernels): संख्यात्मक फीचर्स के लिए तीन स्केल-अवेयर कर्नेल: इनवर्स डिस्टेंस ( $1/(1+\Delta)$ ), एक्सपोनेंशियल रिलेटिव सिमिलैरिटी ( $\exp(-\Delta/\alpha)$ ), और क्लिप्ड लीनियर रिलेटिव सिमिलैरिटी ( $\max(0, 1-\Delta/\alpha)$ )।
- एक एकल लर्नबल वेक्टर $w_1$ इन समानता वेक्टर्स को स्कोर करता है ताकि लक्ष्य का एक मोटा, अटेंशन-वेटेड अनुमान प्राप्त किया जा सके।
टारगेट-कंडीशन्ड मल्टी-हेड रिट्रीवल (लेयर 2):
- यह लेयर समानता वेक्टर को टारगेट-कंसिस्टेंसी फीचर्स के साथ बढ़ाकर रिट्रीवल को परिष्कृत करती है। ये फीचर्स यह मापते हैं कि लेयर 1 से प्राप्त मोटे अनुमान के कितने करीब मेमोरी रो की वास्तविक कीमत है।
- मल्टी-हेड डिज़ाइन: मॉडल $H=8$ अटेंशन हेड्स का उपयोग करता है। प्रत्येक हेड एक अलग कम्पैटिबिलिटी वेक्टर ( $w_{2,h}$ ) सीखता है, जिससे विभिन्न हेड्स को तुलनात्मकता के विभिन्न पहलुओं (जैसे स्थान, ज्यामिति, सुविधाएं, या टारगेट कंसिस्टेंसी) में विशेषज्ञता हासिल करने की अनुमति मिलती है।
- प्रत्येक हेड के लिए मेमोरी डायमेंशन पर स्वतंत्र रूप से सॉफ्टमैक्स अटेंशन लागू किया जाता है, जो टारगेट अनुमानों और फीचर सारांशों दोनों को प्राप्त करता है।
रेसिडुअल करेक्शन के साथ मिक्सचर-ऑफ-एक्सपर्ट्स एग्रीगेशन:
- गेट (Gate): एक टू-लेयर MLP हेड सारांशों के माध्य (mean) को लेता है और प्रत्येक हेड के योगदान को भारित करने के लिए एक गेटिंग वेक्टर $\pi$ उत्पन्न करता है।
- रेसिडुअल करेक्शन (Residual Correction): प्रत्येक हेड के साथ एक संबद्ध रेसिडुअल MLP ( $R_h$ ) जुड़ा होता है जो प्राप्त औसत में एक छोटा योगात्मक सुधार (additive correction) भविष्यवाणी करता है। यह मॉडल को व्यवस्थित पूर्वाग्रहों (जैसे अनऑब्जर्व्ड क्वालिटी) के लिए समायोजन करने की अनुमति देता है जिसे एक साधारण औसत कैप्चर नहीं कर सकता है।
- अंतिम भविष्यवाणी: आउटपुट प्राप्त कीमतों और रेसिडुअल करेक्शन का एक कॉनवेक्स कॉम्बिनेशन (convex combination) है, जो सीखे गए गेट और एक "रेसिडुअल-कॉन्फिडेंस" वितरण (रेसिडुअल मैग्नीट्यूड पर सॉफ्टमिन) द्वारा भारित है।

2.2 प्रशिक्षण और रेगुलाइजेशन

उद्देश्य: प्राथमिक लॉस प्रति वर्ग मीटर कीमत पर मीन एब्सोल्यूट परसेंटेज एरर (MAPE) है।
रेगुलाइजेशन:
- गेट एंट्रॉपी (Gate Entropy): गेटिंग मैकेनिज्म को एकल हेड पर कोलैप्स होने के बजाय कई हेड्स का उपयोग करने के लिए प्रोत्साहित करता है।
- हेड डायवर्सिटी (Head Diversity): एक पेनल्टी टर्म यह सुनिश्चित करता है कि सीखे गए हेड वेक्टर्स अलग रहें, जिससे रेडंडेंसी (redundancy) को रोका जा सके।
- रेसिडुअल पेनल्टी (Residual Penalty): योगात्मक रेसिडुअल करेक्शन के स्केल को नियंत्रित करता है ताकि यह रिट्रीवल सिग्नल पर हावी न हो सके।
सेल्फ-मास्किंग (Self-Masking): प्रशिक्षण के दौरान, क्वेरी रो को अपने स्वयं के मेमोरी से मास्क कर दिया जाता है (स्कोर को $-\infty$ सेट किया जाता है) ताकि 'लीव-वन-आउट' रिट्रीवल उद्देश्य को लागू किया जा सके।

3. प्रमुख योगदान

शोध पत्र निम्नलिखित विशिष्ट योगदान देता है:

आर्किटेक्चर: RowNet का परिचय, जो एक कॉम्पैक्ट, रिट्रीवल-ऑगमेंटेड टेबुलर रिग्रेशन मॉडल है जो पेयरवाइज सिमिलैरिटी एम्बेडिंग्स, टू-स्टेज रो अटेंशन, मल्टी-हेड रिट्रीवल और मिक्सचर-ऑफ-एक्सपर्ट्स एग्रीगेशन को जोड़ता है।
गणितीय औपचारिकता (Mathematical Formalization): इंजीनियर किए गए समानता चैनलों (सटीक मिलान, स्केल-अवेयर कर्नेल, टारगेट-कंसिस्टेंसी फीचर्स) और हाइब्रिड अटेंशन मैकेनिज्म की विस्तृत परिभाषा।
प्रीप्रोसेसिंग पाइपलाइन: रूसी-से-अंग्रेजी स्कीमा नॉर्मलाइजेशन, भौगोलिक क्लस्टरिंग (कोऑर्डिनेट्स पर K-Means), एड्रेस डिकंपोजिशन और प्रति वर्ग मीटर कीमत के लक्ष्यों के निर्माण सहित रियल एस्टेट डेटा के लिए एक व्यापक पाइपलाइन।
अनुभवजन्य सत्यापन (Empirical Validation): बिश्केक, किर्गिस्तान के वास्तविक डेटासेट पर ट्रेनिंग ट्रेसेस, एक प्रूफ-ऑफ-कॉसेप्ट बेसलाइन और प्रतियोगिता परिणामों की रिपोर्टिंग।
सैद्धांतिक विश्लेषण: RowNet को एक 'लर्न्ड कम्पैरेबल-प्रॉपर्टी मॉडल' के रूप में चर्चा करना, जो GBDTs, टेबुलर ट्रांसफॉर्मर्स और k-निकरेस्ट-नेबर विधियों के साथ तुलना करता है।

4. प्रयोगात्मक परिणाम

डेटासेट: अध्ययन में बिश्केक से प्राप्त 7,128 ट्रेनिंग लिस्टिंग और 1,784 टेस्ट लिस्टिंग वाला एक Kaggle प्रतियोगिता डेटासेट उपयोग किया गया है।
प्रदर्शन:
- प्रूफ-ऑफ-कॉसेप्ट: एक नॉन-लर्न्ड रो-अटेंशन बेसलाइन ने 14.76% MAPE प्राप्त किया, जो दर्शाता है कि रॉ सिमिलैरिटी में सिग्नल तो है लेकिन बिना सीखे यह अपर्याप्त है।
- XGBoost बेसलाइन: 8.33% MAPE रिपोर्ट किया गया।
- RowNet ट्रेनिंग: मॉडल ने 10 एपोच में सेल्फ-मास्क्ड ट्रेनिंग MAPE को 8.36% से घटाकर 6.37% कर दिया।
- प्रतियोगिता परिणाम: अंतिम सबमिशन ने 7.44% MAPE प्राप्त किया (नोट: एब्स्ट्रैक्ट में 7.44% का उल्लेख है, जबकि सेक्शन 6.3 में 246 सबमिशन के बाद रिपोर्ट किया गया स्कोर 8.11% है; पेपर एब्स्ट्रैक्ट में 7.44% को प्रदर्शित प्रभावशीलता के रूप में और परिणाम तालिका में 8.11% को प्रस्तुत करता है, जो संभवतः अलग-अलग मूल्यांकन बिंदुओं या सबमिशन संस्करणों को दर्शाता है)।
एब्लेशन इनसाइट्स (Ablation Insights): पेपर तर्क देता है कि रिट्रीवल को हटाने से मॉडल एक ग्लोबल पैरामीट्रिक रिग्रेसर में बदल जाता है (स्थानीय अनुकूलन खो देता है), जबकि टारगेट-कंडीशन्ड लेयर या रेसिडुअल करेक्शन को हटाने से बायस या रिफाइनमेंट में कमी आती है।

5. महत्व और दावे

पेपर का तर्क है कि लर्न्ड रो रिट्रीवल रियल एस्टेट मूल्यांकन के लिए एक स्वाभाविक इंडक्टिव बायस है। यह प्रतिपादित करता है कि:

हाइब्रिड दृष्टिकोण: RowNet सफलतापूर्वक नियर-नेबर एस्टीमेशन (स्थानीय अनुकूलन क्षमता) की सांख्यिकीय ताकत को न्यूरल अटेंशन मैकेनिज्म की डिफरेंशिएबिलिटी और स्पेशलाइजेशन के साथ जोड़ता है।
व्याख्यात्मकता (Interpretability): मानक ट्रांसफॉर्मर्स के विपरीत, RowNet के भविष्यवाणियों का निरीक्षण विशिष्ट ऐतिहासिक पंक्तियों पर अटेंशन वेट्स के माध्यम से किया जा सकता है, जो एक अधिक सीधा स्पष्टीकरण पथ प्रदान करता है: एक भविष्यवाणी उच्च है क्योंकि विशिष्ट तुलनीय संपत्तियों को रिट्रीव किया गया था और उन्हें उच्च भार दिया गया था।
डोमेन फिट: आर्किटेक्चर स्पष्ट रूप से डोमेन अभ्यास को मॉडल करता है जहाँ संपत्ति के मूल्य का अनुमान लगाने के लिए वैश्विक फंक्शन के बजाय तुलनीय लेनदेन की पहचान और उन्हें भारित करने का उपयोग किया जाता है।

6. सीमाएं

लेखक कुछ सीमाओं को स्वीकार करते हैं:

स्केलेबिलिटी (Scalability): पूर्ण-मेमोरी अटेंशन मैकेनिज्म $O(N^2)$ ट्रेनिंग कॉम्प्लेक्सिटी का परिणाम देता है, जो इसे बहुत बड़े डेटासेट्स (जैसे >150k पंक्तियाँ) के लिए कम्प्यूटेशनल रूप से महंगा बनाता है।
मूल्यांकन का दायरा: अध्ययन सभी बेसलाइन्स (XGBoost, CatBoost, आदि) के लिए होल्ड-आउट वैलिडेशन मेट्रिक्स या कई सीड्स पर पूर्ण एब्लेशन मेट्रिक्स प्रदान नहीं करता है।
डेटा निर्भरता: मॉडल मेमोरी बैंक से बायस और टेम्पोरल ड्रिफ्ट (temporal drift) को विरासत में लेता है; मेमोरी में पुराना या डुप्लिकेट डेटा भ्रामक रिट्रीवल का कारण बन सकता है।
व्याख्यात्मकता: स्टैंडर्ड ट्रांसफॉर्मर्स की तुलना में बेहतर होने के बावजूद, सीखे गए कम्पैटिबिलिटी वेट्स और रेसिडुअल एडजस्टमेंट्स का अभी भी विश्लेषण की आवश्यकता है और वे पूरी तरह से मानव-पठनीय नहीं हैं।

पेपर निष्कर्ष निकालता है कि RowNet उन डोमेन के लिए ग्रेडिएंट बूस्टिंग के एक व्यावहारिक पूरक के रूप में कार्य करता है जहाँ स्थानीय तुलनात्मकता केंद्रीय है, बशर्ते कि टॉप-k प्रीसेलेक्शन या एप्रोक्सिमेट नियर-नेबर इंडेक्सिंग जैसी तकनीकों के माध्यम से स्केलेबिलिटी चुनौतियों का समाधान किया जाए।