Leakage-aware multimodal GeoAI for residential rent valuation: evidence from Arabic property listings in four Saudi cities

कल्पना कीजिए कि आप केवल एक छोटे से विज्ञापन के आधार पर उस घर की कीमत का अनुमान लगाने की कोशिश कर रहे हैं जिसे आपने कभी देखा ही नहीं है। आप कमरों की संख्या, जमीन का आकार और शायद पड़ोस का वर्णन करने वाली कुछ पंक्तियाँ जानते हैं। रियल एस्टेट की दुनिया में, यह एक स्वचालित मूल्यांकन मॉडल (automated valuation model) के लिए दैनिक चुनौती है। दशकों से, विशेषज्ञों ने समझा है कि घर का मूल्य केवल उसकी ईंट और गारे के बारे में नहीं है, बल्कि इस बारे में भी है कि वह कहाँ स्थित है और उसके आसपास क्या है। 'हेडोनिक थ्योरी' (hedonic theory) के रूप में जानी जाने वाली यह अवधारणा बताती है कि संपत्ति की हर विशेषता, बाथरूम की संख्या से लेकर शहर के केंद्र से दूरी तक, एक विशिष्ट मूल्य जोड़ती है। आज, कंप्यूटरों को इस गणित को बड़े पैमाने पर करने के लिए कहा जा रहा है, जो किराए और बिक्री का अनुमान लगाने के लिए ठोस आंकड़ों को ऑनलाइन लिस्टिंग के अव्यवस्थित, असंरचित टेक्स्ट के साथ मिलाते हैं। लेकिन इसमें एक पेंच है: यदि कंप्यूटर को अपने प्रशिक्षण के दौरान टेस्ट सेट से जानकारी का उपयोग करने की अनुमति दी जाती है, तो वह अत्यंत बुद्धिमान दिखाई देगा जबकि वास्तव में वह कुछ भी नहीं जानता होगा।

सऊदी अरब का एक नया अध्ययन इस समस्या का समाधान करते हुए यह देख रहा है कि हम कंप्यूटर को घरों का मूल्य निर्धारित करना कैसे सिखाते हैं, विशेष रूप से चार प्रमुख शहरों: रियाद, जेद्दा, दम्माम और अल-खोबार में विला के किराये के बाजार पर ध्यान केंद्रित करते हुए। शोधकर्ता यह जानना चाहते थे कि क्या इसमें स्थान संबंधी डेटा और अरबी टेक्स्ट विवरण जोड़ने से वास्तव में मदद मिलेगी, या पिछले अध्ययनों में रिपोर्ट की गई उच्च सटीकता के आंकड़े केवल खराब परीक्षण विधियों के कारण उत्पन्न हुआ एक भ्रम मात्र थे। उन्होंने पाया कि आप मॉडल के लिए डेटा को जिस तरह से विभाजित करते हैं, वह आपके द्वारा उपयोग किए जाने वाले किसी भी फैंसी कंप्यूटर एल्गोरिदम से अधिक महत्वपूर्ण है। वास्तव में, उन्होंने पाया कि इन मॉडलों के परीक्षण का एक सामान्य तरीका इतना त्रुटिपूर्ण था कि इसने कंप्यूटर को ऐसा दिखाया जैसे कि वह 83% से अधिक मामलों में 20% के मार्जिन के भीतर सही अनुमान लगा रहा है, जबकि वास्तव में, वह केवल उत्तरों को रट रहा था।

शोधकर्ताओं ने एक लोकप्रिय सऊदी रियल एस्टेट वेबसाइट से स्क्रैप किए गए लगभग 3,700 किराये के विज्ञापनों के सार्वजनिक डेटासेट से शुरुआत की। इन विज्ञापनों में बेडरूम और बाथरूम की संख्या जैसे संरचित विवरण, साथ ही अरबी में लिखे गए मुक्त-पाठ (free-text) विवरण शामिल थे। कोई भी मॉडल बनाने से पहले, टीम ने डेटा का कठोर ऑडिट किया और एक चौंकाने वाली समस्या पाई: आधे से अधिक लिस्टिंग बिल्कुल समान डुप्लिकेट थीं। दम्माम और अल-खोबर जैसे कुछ शहरों में, स्थिति और भी बदतर थी, जहाँ 90% से अधिक रिकॉर्ड एक ही विज्ञापन की पुनरावृत्ति प्रतियां थीं। इसका मतलब था कि डेटासेट वास्तव में जितना था उससे कहीं अधिक बड़ा और संतुलित दिख रहा था। जब शोधकर्ताओं ने इन डुप्लिकेट्स को हटा दिया, तो नमूना काफी छोटा हो गया, जिससे उनके पास काम करने के लिए बहुत कम, अधिक वास्तविक अद्वितीय संपत्तियां बचीं।

यह परीक्षण करने के लिए कि ये मॉडल वास्तव में किराए की भविष्यवाणी कितनी अच्छी तरह कर सकते हैं, टीम ने प्रशिक्षण और परीक्षण के लिए डेटा को विभाजित करने के चार अलग-अलग तरीकों की तुलना की। पहला तरीका कई अध्ययनों में उपयोग किया जाने वाला मानक दृष्टिकोण है: सभी लिस्टिंग को यादृच्छिक (randomly) रूप से शफल करना और उन्हें प्रशिक्षण और परीक्षण समूहों में विभाजित करना। जब उन्होंने डेटा में डुप्लिकेट्स को शामिल रखते हुए इस पद्धति का उपयोग किया, तो कंप्यूटर मॉडल ने आश्चर्यजनक रूप से कम त्रुटि दर प्राप्त की, जिससे ऐसा लगा जैसे वह लगभग पूर्ण सटीकता के साथ किराए की भविष्यवाणी कर रहा है। हालाँकि, जैसे ही शोधकर्ताओं ने डुप्लिकेट लिस्टिंग को हटाया, मॉडल का प्रदर्शन पूरी तरह से ध्वस्त हो गया। त्रुटि दर एक मामूली अंश से बढ़कर 15.4% हो गई, जिससे पता चला कि मॉडल ने घरों का मूल्य समझना नहीं सीखा था; उसने केवल बार-बार दोहराई गई प्रविष्टियों को रट लिया था।

इसके बाद अध्ययन एक अधिक ईमानदार परीक्षण पद्धति की ओर बढ़ा जिसे 'स्पेशियल क्रॉस-वैलिडेशन' (spatial cross-validation) कहा जाता है। लिस्टिंग को यादृच्छिक रूप से शफल करने के बजाय, शोधकर्ताओं ने उन्हें पड़ोस के आधार पर समूहित किया। उन्होंने कुछ पड़ोसों पर मॉडल को प्रशिक्षित किया और उन पूरी तरह से अलग पड़ोसों पर परीक्षण किया जिन्हें मॉडल ने पहले कभी नहीं देखा था। यह एक वास्तविक दुनिया के परिदृश्य का अनुकरण करता है जहाँ एक कंप्यूटर उस जिले में घर का मूल्य निर्धारित करने का प्रयास करता है जिसके लिए उसके पास पहले से कोई डेटा नहीं है। इन सख्त शर्तों के तहत, मॉडल की सटीकता और गिर गई, और त्रुटि दर बढ़कर लगभग 20% हो गई। इसने पुष्टि की कि पहले के उच्च स्कोर वास्तव में 'डेटा लीकेज' का परिणाम थे, जहाँ मॉडल को उसके प्रशिक्षण चरण के दौरान उत्तर कुंजी दे दी गई थी।

एक निष्पक्ष परीक्षण पद्धति के साथ, शोधकर्ताओं ने जांच की कि वास्तव में किस चीज़ ने मॉडल को बेहतर भविष्यवाणी करने में मदद की। उन्होंने सूचनाओं के तीन प्रकारों का परीक्षण किया: घर के बुनियादी संरचित तथ्य, मुक्त-पाठ अरबी विवरण, और पड़ोस के बारे में भू-स्थानिक (geospatial) डेटा। भू-स्थानिक डेटा में जिले का आकार, शहर के केंद्र से इसकी दूरी और पड़ोसी जिलों का औसत किराया शामिल था। परिणामों ने दिखाया कि स्थान सबसे शक्तिशाली उपकरण था। बुनियादी घर की विशेषताओं में पड़ोस का संदर्भ जोड़ने से भविष्यवाणी की त्रुटि में लगभग 20% की कमी आई। यह सुझाव देता है कि किसी नए क्षेत्र में किराए की भविष्यवाणी करने के लिए घर के विशिष्ट विवरणों की तुलना में यह जानना कि घर कहाँ स्थित है और उसके पड़ोसी क्या भुगतान कर रहे हैं, कहीं अधिक मूल्यवान है।

आश्चर्यजनक रूप से, एक बार स्थान ज्ञात होने के बाद अरबी टेक्स्ट विवरणों ने बहुत कम मूल्य जोड़ा। हालांकि टेक्स्ट ने तब थोड़ा लाभ दिया जब मॉडल का परीक्षण यादृच्छिक डेटा पर किया गया था, लेकिन जब मॉडल का परीक्षण अनदेखे पड़ोसों पर किया गया, तो इसका लाभ समाप्त हो गया। शोधकर्ताओं को संदेह है कि ऐसा इसलिए है क्योंकि टेक्स्ट अक्सर पहले से मौजूद संरचित क्षेत्रों की जानकारी को दोहराता है या पड़ोस के नाम का उल्लेख करता है, जो भू-स्थानिक डेटा के साथ ओवरलैप होता है। इसके अलावा, विवरण अक्सर एक छोटे आकार पर कट जाते थे, जिससे वे उपयोगी जानकारी प्रदान करने की अपनी क्षमता को सीमित कर देते थे। यह निष्कर्ष इस विचार को चुनौती देता है कि किसी मॉडल में अधिक टेक्स्ट जोड़ने से वह हमेशा स्मार्ट हो जाता है; इस मामले में, स्थान संबंधी डेटा ने मुख्य कार्य किया।

अध्ययन ने यह भी जांचा कि क्या एक शहर में प्रशिक्षित मॉडल का उपयोग दूसरे शहर में किराए की भविष्यवाणी करने के लिए किया जा सकता है। परिणाम निराशाजनक थे: मॉडल अच्छी तरह से स्थानांतरित नहीं हो सके। रियाद और जेद्दा के डेटा पर प्रशिक्षित मॉडल को दम्माम में किराए की भविष्यवाणी करने के लिए कहा गया तो उसने खराब प्रदर्शन किया, और अक्सर कीमतें पूरी तरह से गलत बताईं। यह इन प्रणालियों की एक मौलिक सीमा को उजागर करता है: वे उन विशिष्ट पैटर्न को सीखते हैं जिन पर उन्हें प्रशिक्षित किया गया है, और वे पैटर्न अन्य बाजारों में आवश्यक रूप से लागू नहीं होते हैं। भविष्यवाणियों को उपयोगी बनाने के लिए, शोधकर्ताओं ने पाया कि उन्हें प्रत्येक शहर के लिए अनिश्चितता अनुमानों (uncertainty estimates) को व्यक्तिगत रूप से समायोजित करने की आवश्यकता थी, जिससे यह सुनिश्चित हो सके कि भविष्यवाणियों के लिए विश्वास अंतराल (confidence intervals) उस विशिष्ट स्थान के लिए सटीक हैं।

अंततः, यह शोध उन सभी के लिए एक महत्वपूर्ण चेतावनी के रूप में कार्य करता है जो रियल एस्टेट का मूल्य निर्धारित करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग कर रहे हैं। यह प्रदर्शित करता है कि सावधानीपूर्वक डेटा क्लीनिंग और ईमानदार परीक्षण विधियों के बिना, एक मॉडल अविश्वसनीय रूप से सटीक दिखाई दे सकता है जबकि वह व्यवहार में पूरी तरह से बेकार होता है। अध्ययन साबित करता है कि डुप्लिकेट रिकॉर्ड को हटाना और अनदेखे पड़ोसों पर परीक्षण करना केवल वैकल्पिक कदम नहीं हैं, बल्कि विश्वसनीय परिणामों के लिए आवश्यक आवश्यकताएं हैं। जबकि संरचित डेटा और स्थान संबंधी जानकारी का संयोजन किराए के अनुमानों में काफी सुधार कर सकता है, टेक्स्ट विश्लेषण की प्रतिज्ञा सीमित बनी हुई है, और मॉडलों को बिना पुन: अंशांकन (recalibration) के एक शहर से दूसरे शहर में नहीं ले जाया जा सकता है। विश्वसनीय स्वचालित मूल्यांकन का मार्ग अधिक जटिल एल्गोरिदम में नहीं, बल्कि स्वच्छ डेटा और प्रत्येक पड़ोस की अनूठी भूगोल के प्रति गहरे सम्मान में निहित है।