Validating the Crystal Ball: Retrospective Evaluation and Uncertainty-Aware Forecasting of Severe Housing Cost Burden in New York City

अमेरिकी शहरों के जटिल परिदृश्य में, जहाँ अक्सर घर की कीमत समुदाय के स्वरूप को निर्धारित करती है, एक अकेला अंक है जिस पर नीति निर्माता गहन सूक्ष्मता से नज़र रखते हैं: किराएदार परिवारों का वह हिस्सा जो अपनी आय का आधे से अधिक हिस्सा आवास पर खर्च करता है। जब कोई परिवार इस सीमा तक पहुँच जाता है, तो उन्हें "गंभीर आवास लागत बोझ" (severe housing cost burden) के अंतर्गत माना जाता है, एक ऐसी स्थिति जो भोजन, स्वास्थ्य सेवा या बचत के लिए बहुत कम गुंजाइश छोड़ देती है। दशकों से, शहर के अधिकारी इस बोझ को ट्रैक करने के लिए सरकारी सर्वेक्षणों पर निर्भर रहे हैं, लेकिन ये सर्वेक्षण एक महत्वपूर्ण देरी के साथ आते हैं, जो अक्सर नेताओं को वर्तमान के बजाय अतीत के बारे में बताते हैं। इस अंतर को पाटने के लिए, शोधकर्ताओं ने मशीन लर्निंग की ओर रुख किया है, और कंप्यूटर को ऐतिहासिक पैटर्न के आधार पर भविष्य की आवास लागतों की भविष्यवाणी करने के लिए प्रशिक्षित किया है। आशा यह रही है कि ये डिजिटल पूर्वानुमान एक 'क्रिस्टल बॉल' (भविष्य बताने वाला गोला) की तरह कार्य कर सकेंगे, जिससे संसाधनों को उन मोहल्लों तक पहुँचाया जा सके जिन्हें उनकी सबसे अधिक आवश्यकता है, इससे पहले कि कोई संकट पूरी तरह से आकार ले ले।

शाहजलाल विज्ञान एवं प्रौद्योगिकी विश्वविद्यालय और इंडियाना वेस्लेयन यूनिवर्सिटी सहित संस्थानों के शोधकर्ताओं का एक नया अध्ययन इस 'क्रिस्टल बॉल' का परीक्षण करता है। टीम ने एक विशिष्ट मशीन लर्निंग मॉडल को फिर से देखा जिसने पहले न्यूयॉर्क शहर के लिए पूर्वानुमान उत्पन्न किए थे, जिसमें यह अनुमान लगाया गया था कि 2023 से 2025 तक गंभीर आवास लागत बोझ कैसे विकसित होगा। मूल मॉडल की प्रशंसा इसके पिछले डेटा के साथ सटीक बैठने की क्षमता के लिए की गई थी, लेकिन इसकी कभी वास्तविक घटनाओं के विरुद्ध जाँच नहीं की गई थी। अब जब उन वर्षों के लिए वास्तविक दुनिया का डेटा आ गया है, तो शोधकर्ताओं ने एक पूर्वव्यापी मूल्यांकन (retrospective evaluation) किया, जिसमें मॉडल के अनुमानों की सीधे सरकारी रिकॉर्ड द्वारा दर्ज वास्तविक परिणामों के साथ तुलना की गई। परिणाम एक स्पष्ट और व्यवस्थित विफलता थी: मॉडल लगातार बहुत अधिक आशावादी रहा था। इसने भविष्यवाणी की थी कि आवास वास्तव में होने की तुलना में अधिक किफायती बना रहेगा, जिससे शहर के प्रत्येक बोरो (borough) में बोझ की गंभीरता का कम अनुमान लगाया गया।

यह विसंगति कोई छोटा उतार-चढ़ाव नहीं थी; यह एक बढ़ता हुआ अंतर था। औसतन, मूल पूर्वानुमानों ने 3.4 प्रतिशत अंकों का अंतर छोड़ा। इसका अर्थ यह है कि यदि मॉडल ने भविष्यवाणी की थी कि 30 प्रतिशत किराएदार गंभीर बोझ तले होंगे, तो वास्तविकता 33.4 प्रतिशत के करीब थी। यह त्रुटि स्थिर नहीं रही; यह समय के साथ बढ़ती गई। 2023 में, मॉडल लगभग 2 प्रतिशत अंकों से चूक गया था, लेकिन 2025 तक, वह अंतर लगभग दोगुना होकर 4.7 प्रतिशत अंक हो गया। स्थिति ब्रोंक्स में सबसे गंभीर थी, जो आवास तनाव का उच्चतम संकेंद्रण वाला बोरो है, जहाँ मॉडल ने बोझ का 5.4 प्रतिशत अंकों से कम अनुमान लगाया था। शोधकर्ताओं ने इस विफलता का कारण मशीन लर्निंग एल्गोरिदम को नहीं, बल्कि उसमें डाले गए अनुमानों (assumptions) को बताया, जो ऐतिहासिक डेटा को देखते समय अच्छा प्रदर्शन कर रहा था। मूल पूर्वानुमान ने माना था कि किराए में हर साल 3 प्रतिशत की स्थिर वृद्धि होगी और आय में 2.5 प्रतिशत की वृद्धि होगी। हालाँकि, वास्तविक दुनिया में, महामारी के बाद किराए उम्मीद से कहीं अधिक तेजी से बढ़े जबकि आय स्थिर रही, जिससे मॉडल के अनुमान हर गुजरते वर्ष के साथ वास्तविकता से दूर होते चले गए।

यह समझते हुए कि आवास बाजारों की अस्थिरता को पकड़ने के लिए केवल एक भविष्यवाणी पर्याप्त नहीं होती, टीम ने अनिश्चितता के माप को शामिल करने के लिए पूर्वानुमान ढांचे को फिर से बनाया। केवल एक संख्या देने के बजाय, नया दृष्टिकोण संभावित परिणामों की एक सीमा प्रदान करता है, ठीक वैसे ही जैसे मौसम का पूर्वानुमान बारिश की संभावना बताता है न कि केवल हाँ या ना। उन्होंने 'कन्फॉर्मल प्रेडिक्शन' नामक एक सांख्यिकीय तकनीक का उपयोग करके प्रत्येक पूर्वानुमान के चारों ओर एक 90 प्रतिशत विश्वास बैंड (confidence band) बनाया, यह सुनिश्चित करते हुए कि वास्तविक मान अधिकांश समय उस सीमा के भीतर रहे। उन्होंने सरकारी डेटा के अपने स्वाभाविक त्रुटि मार्जिन को भी ध्यान में रखा। इस पुनर्गठित प्रणाली का उपयोग फिर 2025 से 2028 तक तीन अलग-अलग परिदृश्यों के तहत नए पूर्वानुमान उत्पन्न करने के लिए किया गया: एक बेसलाइन परिदृश्य, एक "किराया-आय समानता" परिदृश्य जहाँ आय अंततः किराए के बराबर पहुँच जाती है, और एक प्रतिकूल परिदृश्य जहाँ किराया बढ़ता है जबकि आय स्थिर रहती है।

इन नए, अनिश्चितता-जागरूक पूर्वानुमानों से प्राप्त निष्कर्ष न्यूयॉर्क शहर के भविष्य के लिए एक गंभीर तस्वीर पेश करते हैं। यहाँ तक कि सबसे आशावादी परिदृश्य में भी, जहाँ आय वृद्धि किराए की वृद्धि से मेल खाती है, अध्ययन सुझाव देता है कि 2028 में सभी बोरो में गंभीर आवास लागत बोझ 2022 की तुलना में अधिक रहेगा। महामारी के बाद के आवास बाजार के बदलाव ने लागत का एक नया, उच्च आधार तैयार कर दिया है जिसे आसानी से बदला नहीं जा सकता है। प्रतिकूल परिदृश्य के तहत, जहाँ किराए आय से आगे निकल जाते हैं, स्थिति गंभीर हो जाती है, विशेष रूप से ब्रोंक्स में, जहाँ 2028 तक लगभग 45 प्रतिशत किराएदार घर परिवारों को गंभीर लागत बोझ का सामना करना पड़ सकता है। शोधकर्ताओं ने यह भी प्रदर्शित किया कि व्यक्तिगत इमारतों के बारे में विशिष्ट डेटा जोड़ने से, जैसे कि किराया-स्थिर इकाइयों की संख्या या आवास कोड शिकायतों का आयतन, भविष्यवाणियों की सटीकता में काफी सुधार हुआ, जो भविष्य के मॉडलों में अधिक विस्तृत (granular) डेटा की आवश्यकता की पुष्टि करता है।

अंततः, यह कार्य शहरी पूर्वानुमान के क्षेत्र के लिए एक महत्वपूर्ण सुधार के रूप में कार्य करता है। यह सिद्ध करता है कि हालांकि मशीन लर्निंग मॉडल शक्तिशाली उपकरण हो सकते हैं, वे केवल उतने ही विश्वसनीय हैं जितने कि वे अनुमान जिन पर वे निर्मित हैं। एक मॉडल जो आर्थिक परिदृश्य में अचानक आए बदलाव को नहीं देख सकता, वह अनिवार्य रूप से एक ऐसा पूर्वानुमान उत्पन्न करेगा जो कागज पर तो अच्छा दिखता है लेकिन व्यवहार में विफल रहता है। इन अदृश्य पहलुओं को उजागर करके और अनिश्चितता को मापने के तरीकों को पेश करके, शोधकर्ताओं ने शहर के योजनाकारों को एक अधिक ईमानदार और उपयोगी उपकरण प्रदान किया है। आगे का मार्ग न केवल बेहतर एल्गोरिदम है, बल्कि हर भविष्यवाणी के पीछे के अनुमानों को प्रकाशित करने और उन भविष्यवाणियों को नियमित रूप रूप से उस वास्तविकता के विरुद्ध जाँचने की इच्छा भी है जिसका वे वर्णन करने के लिए बनाए गए हैं। न्यूयॉर्क शहर के लिए, और संभावित रूप से अन्य प्रमुख शहरों के लिए जो समान दबावों का सामना कर रहे हैं, इसका अर्थ है एक ऐसे भविष्य के लिए तैयार रहना जहाँ आवास तनाव उच्च बना रहेगा, चाहे आय कितनी भी तेजी से बढ़ जाए।