Hidden Errors in Big Data: The Case of Property Records

दुनिया की सबसे बड़ी डेटा लाइब्रेरी में अदृश्य गड़बड़ी

कल्पना कीजिए कि आप एक विशाल पहेली को सुलझाने की कोशिश कर रहे हैं, लेकिन वास्तविक टुकड़ों का उपयोग करने के बजाय, आप किसी और द्वारा बनाई गई फोटोकॉपी की फोटोकॉपी का उपयोग कर रहे हैं। यह "बिग डेटा" की दुनिया है। आज, वैज्ञानिक, सरकारें, और यहाँ तक कि हमारे शहरों को चलाने वाले आर्टिफिशियल इंटेलिजेंस सिस्टम भी निर्णय लेने के लिए सूचनाओं के विशाल ढेर पर निर्भर करते हैं। वे इस डेटा का उपयोग यह पता लगाने के लिए करते हैं कि बीमारियों का इलाज कैसे किया जाए या आपके घर पर टैक्स कैसे लगाया जाए। लेकिन यहाँ एक पेच है: यह सारा डेटा वैज्ञानिकों द्वारा सीधे तौर पर एकत्र नहीं किया जाता है। इसे "डेटा ब्रोकर्स" से खरीदा जाता है—ऐसी कंपनियाँ जो हजारों अलग-अलग जगहों से जानकारी इकट्ठा करती हैं, उसे साफ करती हैं, और उसे एक व्यवस्थित, उपयोग के लिए तैयार पैकेज के रूप में बेचती हैं।

यह शोध पत्र जो बड़ा सवाल पूछता है वह यह है: क्या होगा अगर फोटोकॉपी गलत हो?

जब आप एक डेटासेट खरीदते हैं, तो आप इस बात पर भरोसा करते हैं कि ब्रोकर ने अपना काम पूरी तरह से किया है। लेकिन क्या होगा अगर उन्होंने कुछ टुकड़े छोड़ दिए हों? क्या होगा अगर उन्होंने कोई नंबर गलत कॉपी कर दिया हो? या क्या होगा अगर उन्होंने किसी गायब संख्या का अनुमान लगाने के लिए किसी अजीब ट्रिक का इस्तेमाल किया हो, और उस ट्रिक ने पूरे चित्र को ही विकृत कर दिया हो? इसे "बिग डेटा पैराडॉक्स" के रूप में जाना जाता है: आपके पास जितना अधिक डेटा होगा, आप उतना ही अधिक आश्वस्त महसूस करेंगे, लेकिन यदि वह डेटा त्रुटिपूर्ण है, तो आपका आत्मविश्वास वास्तव में एक जाल है। आपको एक बहुत ही सटीक उत्तर मिल सकता है जो पूरी तरह से भ्रामक हो सकता है। यह पेपर इस समस्या के एक विशिष्ट, उच्च-जोखिम वाले कोने में गहराई से उतरता है: वह डेटा जिसका उपयोग यह ट्रैक करने के लिए किया जाता है कि घर कितने में बिकते हैं और उन पर कितना टैक्स बकाया है। यदि यह डेटा टूटा हुआ है, तो इसका मतलब यह हो सकता है कि अमीर लोग उतना टैक्स कम दे रहे हैं जितना उन्हें देना चाहिए, या गरीब बहुत अधिक भुगतान कर रहे हैं, और किसी को भी तब तक पता नहीं चलेगा जब तक कि बहुत देर न हो जाए।

द ग्रेट हाउस-प्राइस हाइस्ट: जब डेटा ब्रोकर्स गलती करते हैं

इस अध्ययन में, लेखकों ने डिजिटल जासूसों की भूमिका निभाई, और संयुक्त राज्य अमेरिका के दो सबसे बड़े "डेटा ब्रोकर्स" का ऑडिट किया: Cotality और ATTOM। ये कंपनियाँ संपत्ति की दुनिया की दिग्गज हैं; वे बैंकों, सरकारों और शोधकर्ताओं को लाखों घरों के बारे में जानकारी बेचती हैं। लेखकों ने कुक काउंटी सरकार (इलिनॉय, जिसमें शिकागो शामिल है) द्वारा रखे गए मूल, आधिकारिक रिकॉर्ड यानी "ग्राउंड ट्रुथ" के विरुद्ध उनके काम की जाँच करने का निर्णय लिया। सरकारी रिकॉर्ड को स्टोर से मिले मूल, हस्ताक्षरित रसीद के रूप में सोचें, और ब्रोकर्स के डेटा को उस कॉपी के रूप में जो आपको किसी तीसरे पक्ष के ऐप से मिलती है।

जासूसों ने पाया कि ब्रोकर्स की कॉपियाँ बिल्कुल भी सटीक नहीं थीं। उन्होंने दो मुख्य प्रकार की त्रुटियों की खोज की जो गणित को बिगाड़ रही थीं:

1. "लुप्त टुकड़ा" की समस्या (कवरेज त्रुटियाँ)
कल्पना कीजिए कि आप एक टोकरी में सेब गिन रहे हैं, लेकिन जिसने सूची बनाई उसने 12% से 15% सेब लिखना भूल गया। यह एक "कवरेज एरर" है। लेखकों ने पाया कि हर 100 वास्तविक घर की बिक्री के लिए, ब्रोकर्स लगभग 12 से 15 बिक्री को मिस कर रहे थे। क्यों? क्योंकि ब्रोकर्स कभी-कभी इस बात को लेकर भ्रमित हो जाते थे कि "घर" या "वास्तविक बिक्री" क्या है। उन्होंने गलती से किसी घर की बिक्री को "फोरक्लोजर" (जो कि एक अलग श्रेणी है) के रूप में लेबल कर दिया होगा या किसी बिक्री को पूरी तरह से मिस कर दिया होगा क्योंकि पता थोड़ा अलग तरीके से लिखा गया था। इसका मतलब यह था कि डेटा केवल थोड़ा सा गलत नहीं था; यह आबादी का एक बड़ा हिस्सा गायब था, जिससे आवास बाजार की तस्वीर अधूरी हो गई थी।

2. "अनुमान लगाने का खेल" (इम्पुटेशन त्रुटियाँ)
कभी-कभी, ब्रोकर्स के पास घर की वास्तविक बिक्री कीमत नहीं होती थी। इसके बजाय कि वे कहें "मुझे नहीं पता," उन्होंने एक गणितीय ट्रिक का उपयोग करके इसका अनुमान लगाने की कोशिश की। उन्होंने "ट्रांसफर टैक्स" (एक छोटा शुल्क जो घर बिकने पर दिया जाता है) को देखा और कीमत का पता लगाने के लिए पीछे की ओर गणना करने की कोशिश की। लेकिन यहीं पर गड़बड़ी हुई: अलग-अलग कस्बों में अलग-अलग टैक्स दरें होती हैं। यदि ब्रोकर ने गलत कस्बे की टैक्स दर का अनुमान लगाया, तो उनकी गणना बहुत बड़ी मात्रा में गलत हो जाएगी।

लेखकों ने पाया कि जिन घर की बिक्री की उन्होंने जाँच की, उनमें से लगभग 1% से 2% मामलों में, ब्रोकर की कीमत वास्तविक कीमत से बहुत अलग थी—कभी-कभी लाखों डॉलर का अंतर था! और भी अजीब बात यह थी कि त्रुटियाँ यादृच्छिक (random) नहीं थीं। ब्रोकर्स अक्सर उन्हीं घरों पर वही गलती करते थे। उदाहरण के लिए, यदि कोई घर $300,000 में बिका, तो एक ब्रोकर ने गलती से इसे$200,000 (वास्तविक कीमत का दो-तिहाई) या $600,000 (दुगना) के रूप में दर्ज किया होगा। यह एक स्टैम्पिंग मशीन की तरह था जो बार-बार गलत नंबर छाप रही थी।

डोमिनो इफेक्ट: यह आपकी जेब के लिए क्यों मायने रखता है

आप सोच सकते हैं, "तो, कुछ घरों की कीमतें गलत हैं। इससे किसे फर्क पड़ता है?" लेखक दिखाते हैं कि यह बहुत मायने रखता है क्योंकि इन नंबरों का उपयोग प्रॉपर्टी टैक्स रिग्रेसिविटी (property tax regressivity) की गणना करने के लिए किया जाता है।

प्रॉपर्टी टैक्स को एक ग्रुप डिनर की तरह समझें जहाँ हर किसी को अपने द्वारा ऑर्डर किए गए हिस्से के आधार पर भुगतान करना होता है। "रिग्रेसिविटी" एक भारी शब्द है जिसका अर्थ है जब सस्ते भोजन का ऑर्डर देने वाले लोग, महंगे स्टेक का ऑर्डर देने वाले लोगों की तुलना में बिल का एक बड़ा प्रतिशत चुकाते हैं। वास्तविक दुनिया में, अध्ययन अक्सर दिखाते हैं कि गरीब पड़ोसों पर अमीर पड़ोसों की तुलना में प्रभावी दर से अधिक टैक्स लगाया जाता है।

लेखकों ने इस टैक्स निष्पक्षता की गणना करने के लिए ब्रोकर्स के डेटा का उपयोग किया। परिणाम क्या रहा? ब्रोकर्स के डेटा ने पूरी तरह से अलग उत्तर दिया जो वास्तविक सरकारी डेटा से भिन्न था।

• Cotality के डेटा ने ऐसा दिखाया जैसे टैक्स प्रणाली वास्तव में होने की तुलना में अधिक निष्पक्ष थी (अन्याय को कम करके दिखाया)।
• ATTOM के डेटा ने ऐसा दिखाया जैसे टैक्स प्रणाली वास्तव में होने की तुलना में अधिक अन्यायपूर्ण थी (अन्याय को बढ़ा-चढ़ाकर दिखाया)।

क्योंकि ब्रोकर्स के डेटा में ये छिपी हुई त्रुटियाँ थीं, "सच्चाई" कि कौन क्या भुगतान कर रहा है, यह इस बात पर नाटकीय रूप से बदल गया कि आपने कौन सा डेटा खरीदा। यदि कोई सरकारी अधिकारी गलत डेटा का उपयोग करता है, तो वह सोच सकता है कि टैक्स प्रणाली ठीक है जबकि वास्तव में यह गरीब परिवारों को नुकसान पहुँचा रही है, या इसके विपरीत।

"कॉपी-पेस्ट" साजिश

सबसे आश्चर्यजनक खोजों में से एक यह थी कि दोनों बड़े ब्रोकर्स, Cotality और ATTOM, वही गलतियाँ कर रहे थे। उन्होंने एक ही घरों को मिस किया, और एक ही लेनदेन पर एक ही अजीब गणितीय त्रुटियाँ कीं। वास्तव में, ये कंपनियाँ अक्सर एक-दूसरे के साथ डेटा साझा करती हैं। यह वैसा ही है जैसे दो न्यूज़ स्टेशन दोनों एक ही वायर सर्विस से ब्रेकिंग न्यूज़ प्राप्त करते हैं, और उस वायर सर्विस में एक टाइपिंग मिस्टेक हो। दोनों स्टेशन एक ही गलत कहानी रिपोर्ट करेंगे, और कोई भी यह नहीं समझ पाएगा कि यह एक गलती थी क्योंकि दोनों आपस में सहमत थे।

लेखकों ने पाया कि जिन घरों के लिए ब्रोकर्स ने कीमत गलत दर्ज की थी, वहां 99.8% मामलों में, दोनों ब्रोकर्स के पास बिल्कुल एक ही गलत नंबर था। वैज्ञानिकों के लिए यह एक बड़ी समस्या है। आमतौर पर, यदि दो अलग-अलग स्रोत सहमत होते हैं, तो आप सोचते हैं, "बहुत बढ़िया, यह निश्चित रूप से सच होगा!" लेकिन इस मामले में, उनकी सहमति एक जाल थी। वे दोनों एक ही कारण से गलत थे।

निचोड़

यह पेपर केवल कुछ टाइपिंग की गलतियों की ओर इशारा नहीं करता है; यह उस नींव में दरार को उजागर करता है जिस पर हम अपनी अर्थव्यवस्था को समझते हैं। लेखक निष्कर्ष निकालते हैं कि हम ब्रोकर्स द्वारा बेचे जाने वाले "व्यवस्थित पैकेजों" पर आँख मूंदकर भरोसा नहीं कर सकते। क्योंकि ये कंपनियाँ हमें हमेशा यह नहीं बताती हैं कि वे अपने नंबरों को कैसे साफ या अनुमानित करती हैं, हम अंधे होकर उड़ रहे हैं।

समाधान क्या है? हमें ओपन डेटा (Open Data) की आवश्यकता है। सरकारों के पास पहले से ही मूल, सही रिकॉर्ड (अर्थात "ग्राउंड ट्रुथ") मौजूद हैं। लेखक तर्क देते हैं कि महंगे, अपारदर्शी ब्रोकर्स पर निर्भर रहने के बजाय, शोधकर्ताओं और नीति निर्माताओं को सीधे मुफ्त, सार्वजनिक डेटा का उपयोग करना चाहिए। यदि हम यह नहीं देख सकते कि डेटा कैसे बनाया गया है, तो हम उससे निकाले गए निष्कर्षों पर भरोसा नहीं कर सकते। एक ऐसी दुनिया में जहाँ AI और बिग डेटा सब कुछ चला रहे हैं, सबसे महत्वपूर्ण काम यह सुनिश्चित करना है कि डेटा केवल बड़ा ही नहीं—बल्कि सही भी हो।