📊 statistics

Cross-City Comparison of Crime-Prediction Models: A Scale Confound in Aggregate Poisson Likelihood, with a Four-City Demonstration

यह शोध पत्र यह प्रदर्शित करता है कि समुच्चय पॉइसन भविष्य कहनेवाला लॉग-लाइकलीहुड (aggregate Poisson predictive log-likelihood) कम घनी आबादी वाले क्षेत्रों के पक्ष में एक स्केल कन्फाउंड (scale confound) के कारण क्रॉस-सिटी अपराध मॉडल तुलना के लिए एक त्रुटिपूर्ण मीट्रिक है, और इसके बजाय गैर-शून्य घटना-भारित लाइकलीहुड (nonzero event-weighted likelihood) और कैलिब्रेशन अनुपात (calibration ratios) का उपयोग करने वाला एक बेहतर मूल्यांकन ढांचा प्रस्तावित करता है।

मूल लेखक: Varun Surapaneni

प्रकाशित 2026-07-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Varun Surapaneni

मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल, रोज़मर्रा की भाषा में स्पष्टीकरण दिया गया है, जिसमें अवधारणाओं को स्पष्ट करने के लिए उपमाओं (analogies) का उपयोग किया गया है।

बड़ी तस्वीर: अपराध की भविष्यवाणी की तुलना करना कठिन क्यों है

कल्पित कीजिए कि आप एक कोच हैं जो यह तय करने की कोशिश कर रहे हैं कि चार अलग-अलग शहरों (बोस्टन, लीड्स, बर्मिंघम और लंदन) में से किस शहर का "अपराध भविष्यवाणी" (crime prediction) सिस्टम सबसे अच्छा है। आप जानना चाहते हैं कि किस शहर का सॉफ़्टवेयर यह अनुमान लगाने में सबसे स्मार्ट है कि अगली बार अपराध कहाँ होगा।

इस पेपर के शोधकर्ताओं ने पाया कि जिस मानक तरीके से लोग "स्मार्टनेस" को मापते आए हैं, वह वास्तव में दोषपूर्ण है। यह एक स्प्रिंटर (तेज़ दौड़ने वाला) और एक मैराथन धावक की गति की तुलना केवल इस आधार पर करने जैसा है कि उन्होंने कितने मील दौड़ लगाई, बिना यह देखे कि उनकी गति कितनी थी।

समस्या: "खाली कमरे" का जाल (The "Empty Room" Trap)

मुख्य मीट्रिक जिसकी यह पेपर आलोचना करता है, उसे एग्रीगेट पॉइसन प्रेडिक्टिव लॉग-लाइक्लाइहुड (PLL) कहा जाता है। इस मीट्रिक को आप अपराधों की संख्या बताने वाले एक "स्कोरकार्ड" के रूप में समझ सकते हैं।

पेपर का तर्क है कि यह स्कोरकार्ड "जीरो-रेट कंपोज़िशन" (zero-rate composition) से प्रभावित है। यह एक तकनीकी शब्द है जिसका अर्थ है: स्कोर इस बात से बहुत अधिक प्रभावित होता है कि कितनी जगहों पर अपराधों की संख्या 'शून्य' (zero) है।

उपमा:
कल्पना कीजिए कि आप विभिन्न बागों (orchards) में पेड़ों से गिरने वाले सेबों की संख्या की भविष्यवाणी कर रहे हैं।

बाग A (बोस्टन): इसमें बहुत सारे पेड़ हैं, लेकिन उनमें से अधिकांश खाली हैं। केवल कुछ ही पेड़ सेब गिराते हैं।
बाग B (लंदन): इसमें बहुत सारे पेड़ हैं, और उनमें से कई पेड़ सेब गिराते हैं।

यदि आप मानक स्कोरकार्ड का उपयोग करते हैं, तो बाग A एक जीनियस (प्रतिभाशाली) दिखाई देगा और बाग B एक असफल दिखाई देगा। क्यों?

बाग A में, मॉडल अधिकांश पेड़ों के लिए "शून्य सेब" की भविष्यवाणी करता है। चूंकि मॉडल खाली पेड़ों के बारे में सही है, इसलिए उसे अंकों पर एक बड़ा "फ्री पास" मिल जाता है।
बाग B में, मॉडल को व्यस्त पेड़ों पर गिरने वाले सेबों की सटीक संख्या बतानी होती है। यह कठिन है! यदि वह 5 सेबों का अनुमान लगाता है लेकिन 6 गिर जाते हैं, तो वह अंक खो देता है।

पेपर दिखाता है कि मानक स्कोरकार्ड आपको "कुछ नहीं" (nothing) को सही ढंग से बताने के लिए पुरस्कृत करता है, बजाय इसके कि आपको "कुछ" (something) को सही ढंग से बताने के लिए पुरस्कृत किया जाए। क्योंकि लंदन में अधिक अपराध (कम "खाली" स्थान) हैं, इसलिए इसका स्कोर कृत्रिम रूप से खराब दिखता है, भले ही उसका मॉडल वास्तविक घटनाओं की भविष्यवाणी करने में बहुत अच्छा हो।

समाधान: एक बेहतर स्कोरकार्ड

लेखक प्रस्ताव देते हैं कि हमें उस एकल, दोषपूर्ण स्कोरकार्ड का उपयोग करना बंद कर देना चाहिए और इसके बजाय एक दो-भाग वाले स्कोरकार्ड का उपयोग करना चाहिए:

"एक्शन" स्कोर (nonzero_pll_mean): यह केवल उन स्थानों को देखता है जहाँ वास्तव में कोई अपराध हुआ था। यह पूछता है: "जब कोई अपराध हुआ, तो आपका अनुमान कितना करीब था?" यह एक शांत शहर और एक व्यस्त शहर के बीच के अंतर को बराबर कर देता है।
"बैलेंस" स्कोर (calibration_ratio): यह पूछता है: "क्या आपने अपराधों की कुल संख्या को सही ढंग से बताया?" यदि शहर में 1,000 अपराध हुए थे, तो क्या आपके मॉडल ने 1,000 की भविष्यवाणी की, या उसने 500 या 2,000 का अनुमान लगाया?

परिणाम: जब उन्होंने स्कोरकार्ड बदले, तो शहरों की रैंकिंग पूरी तरह से बदल गई!

पुराने (दोषपूर्ण) सिस्टम के तहत, बर्मिंघम नंबर 1 दिखा।
नए "एक्शन" सिस्टम के तहत, बोस्टन नंबर 1 दिखा।
नए "बैलेंस" सिस्टम के तहत, लंदन नंबर 1 दिखा।

सबक: आप केवल एक संख्या को देखकर यह नहीं कह सकते कि एक शहर दूसरे से "बेहतर" है। आपको पूरी तस्वीर देखनी होगी, जिसमें यह भी शामिल है कि कितने "खाली" स्थान मौजूद हैं।

"नकारात्मक परिणाम": एक भूत को ठीक करने की कोशिश (Trying to Fix a Ghost)

पेपर का दूसरा भाग उन शोधकर्ताओं की कहानी है जो एक विशिष्ट समस्या को ठीक करने की कोशिश कर रहे थे: यूके में दुकान से चोरी (shoplifting) की भविष्यवाणियां बेकाबू हो रही थीं। मॉडल कुछ क्षेत्रों में दुकान से चोरी की भारी संख्या की भविष्यवाणी कर रहा था जो स्पष्ट रूप से गलत थी।

उन्होंने इसे पकड़ने के लिए एक "डाइवर्जेंस फ्लैग" (अलार्म बेल) सेट किया। जब अलार्म बजा, तो उन्होंने चार अलग-अलग "सुधारों" (जैसे गणितीय सूत्र बदलना या सीखने की गति को समायोजित करना) को आज़माया।

ट्विस्ट:
चारों सुधारों को आज़माने के बाद, उन्हें एहसास हुआ कि अलार्म बेल खराब थी।

असली मुद्दा: अलार्म इसलिए बज रहा था क्योंकि दुकान से चोरी स्वाभाविक रूप से कुछ विशिष्ट स्थानों (जैसे कुछ व्यस्त दुकानों) में केंद्रित है, जिससे बाकी शहर खाली रह जाता है। यह डेटा की एक विशेषता है, न कि मॉडल की कोई गलती।
विफल सुधार: जो "सुधार" उन्होंने आज़माए, वे वास्तव में भविष्यवाणियों को और खराब कर रहे थे या उनसे कोई मदद नहीं मिली क्योंकि वे एक ऐसी समस्या को ठीक करने की कोशिश कर रहे थे जो अस्तित्व में ही नहीं थी।

सीख: अपने जटिल गणित या एल्गोरिदम को बदलने से पहले, अपने डेटा पाइपलाइन की जांच करें। कभी-कभी समस्या आपके मॉडल में नहीं होती; बल्कि यह सिर्फ इसलिए होती है क्योंकि डेटा अधूरा या अजीब है (जैसे कि कुछ दिनों का डेटा गायब होना या किसी चीज़ को अजीब तरीके से गिनना)।

मुख्य निष्कर्षों का सारांश

"कुल स्कोर" पर भरोसा न करें: यदि आप अलग-अलग अपराध दरों वाले शहरों के बीच अपराध मॉडल की तुलना कर रहे हैं, तो मानक स्कोर अनजाने में व्यस्त शहरों को दंडित करेगा और शांत शहरों को पुरस्कृत करेगा।
"एक्शन" और "बैलेंस" स्कोर का उपयोग करें: हमेशा यह जाँचें कि मॉडल वास्तविक अपराधों की कितनी अच्छी तरह भविष्यवाणी करता है और क्या कुल संख्याएँ सही बैठती हैं।
पहले प्लंबिंग (डेटा की व्यवस्था) की जाँच करें: यदि कोई मॉडल विफल होता दिख रहा है, तो गणित को बदलने से पहले यह देखें कि क्या डेटा अधूरा या अव्यवस्थित है।
संदर्भ मायने रखता है: यह अध्ययन केवल चार समान अंग्रेजी भाषी शहरों पर केंद्रित था। ये निष्कर्ष मॉडलों को कैसे मापा जाए इस बारे में हैं, न कि यह कि यह दुनिया के हर शहर पर लागू होने वाला नियम है।

संक्षेप में, यह पेपर शोधकर्ताओं के लिए एक चेतावनी लेबल है। यह कहता है: "इन शहरों को मापने के लिए पुराने पैमाने का उपयोग करना बंद करें; यह टेढ़ा है। इसके बजाय इस नए टूलसेट का उपयोग करें, और गणित को बदलने से पहले सुनिश्चित करें कि आपका डेटा साफ है।"

तकनीकी सारांश: अपराध-पूर्वानुमान मॉडलों का शहर-दर-शहर तुलनात्मक अध्ययन

समस्या विवरण
यह शोध पत्र गणना-पूर्वानुमान मॉडलों (count-prediction models) के क्रॉस-पॉपुलेशन मूल्यांकन में एक पद्धतिगत अंतराल को संबोधित करता है, विशेष रूप से उप-नगरपालिका अपराध पूर्वानुमान के क्षेत्र में। जबकि विभिन्न अपराध घनत्वों वाले क्षेत्राधिकारों में मॉडल प्रदर्शन की तुलना करने के लिए एग्रीगेट इवेंट-वेटेड पॉइसन प्रेडिक्टिव लॉग-लाइक्लीहुड (PLL) का व्यापक रूप से उपयोग किया जाता है, लेखक यह प्रदर्शित करते हैं कि यह मीट्रिक मौलिक रूप से 'जीरो-रेट कंपोजिशन' (zero-rate composition) द्वारा भ्रमित (confounded) है। विशेष रूप से, प्रति-इवेंट लॉग-लाइक्लीहुड की ऊपरी सीमा (ceiling) गणितीय रूप से अनुमानित माध्य ( $\mu$ ) पर निर्भर करती है, जो $\mu$ के बढ़ने के साथ अधिक ऋणात्मक होती जाती है। फलस्वरूप, उच्च इवेंट घनत्व (और इस प्रकार कम जीरो रेट) वाली आबादी को, वास्तविक मॉडल गुणवत्ता के बावजूद, एग्रीगेट PLL रैंकिंग में व्यवस्थित रूपatically दंडित किया जाता है। यह भ्रम शहरों की स्पष्ट रैंकिंग को बदल सकता है, जिससे भ्रामक निष्कर्ष निकल सकते हैं।

कार्यप्रणाली
अध्ययन बोस्टन (USA), लीड्स, बर्मिंघम और लंदन (UK) के अपराध घटना डेटा पर लागू एक एकीकृत LightGBM पाइपलाइन का उपयोग करते हुए चार-शहर अनुभवजन्य प्रदर्शन (empirical demonstration) का उपयोग करता है।

डेटा: डेटासेट H3 रेजोल्यूशन-9 स्थानिक सेल (लगभग 0.105 किमी²) का है जिसे मासिक ग्रैनुलैरिटी पर एकत्रित किया गया है। बोस्टन का डेटा (जनवरी 2023–अप्रैल 2026) दैनिक-रेजोल्यूशन NIBRS डेटा है, जबकि यूके का डेटा (मार्च 2023–फरवरी 2026) मासिक होम ऑफिस डेटा है।
मॉडल: प्रत्येक शहर और मूल अपराध प्रकार के लिए एक पॉइसन ऑब्जेक्टिव के साथ स्वतंत्र LightGBM बूस्टर्स (कुल 36 $(city, type)$ सेल) को प्रशिक्षित किया गया है। मॉडल 14-फीचर स्टैक का उपयोग करते हैं जिसमें लॉग-पॉपुलेशन, टेम्पोरल लैग्स, रोलिंग मीन्स और नेबरहुड सरम्स शामिल हैं।
मूल्यांकन प्रोटोकॉल: अध्ययन एक इंटरलीव्ड वर्ष-3 स्प्लिट (24 प्रशिक्षण बिन, सत्यापन और परीक्षण के लिए सम/विषम बिन का बारी-बारी से उपयोग) का उपयोग करता है। मेट्रिक्स को होल्ड-आउट टेस्ट सेट्स पर कंप्यूट किया जाता है।
मीट्रिक विश्लेषण: लेखक पॉइसन लॉग-लाइक्लीहुड के स्टर्लिंग सन्निकटन सीमा (Stirling approximation limit) को $\mu$ पर निर्भरता दिखाने के लिए बीजगणितीय रूप से व्युत्पन्न करते हैं। वे चार सारांश मेट्रिक्स की तुलना करते हैं: इवेंट-वेटेड मीन PLL, nonzero_pll_mean (शर्त $y>0$ पर मीन PLL), calibration_ratio (ऑब्जर्व्ड मीन/प्रेडिक्टेड मीन), और zero_rate।
नेगेटिव रिजल्ट्स कैटलॉग: शोध पत्र शॉपलिफ्टिंग घटनाओं के लिए एक डाइवर्जेंस-डिटेक्शन डायग्नोस्टिक (परिभाषित: $\mu_{max} / \mu_{median} > 1000$ ) के विरुद्ध परीक्षण किए गए चार विशिष्ट ग्रेडिएंट-स्पेस हस्तक्षेपों का दस्तावेजीकरण करता है: ट्वीडी लॉस ( $p=1.5$ ), फिक्स्ड डिस्पर्शन के साथ नेगेटिव बाइनोमियल (NB) लॉस, ट्रेनिंग-टारगेट विंसराइज़ेशन (winsorization), और सिंगल-टाइप लर्निंग-रेट रिडक्शन।

प्रमुख योगदान

स्केल कॉन्फाउंड की पहचान: शोध पत्र बीजगणितीय प्रमाण और अनुभवजन्य साक्ष्य दोनों प्रदान करता है कि एग्रीगेट इवेंट-वेटेड PLL, भिन्न जीरो-रेट कंपोजिशन वाली आबादी के बीच तुलनीय नहीं है। चार-शहरों के कॉर्पस में, तीन अलग-अलग मेट्रिक्स ने तीन अलग-अलग रैंक-1 शहर दिखाए (एग्रीगेट PLL पर बर्मिंघम, nonzero_pll_mean पर बोस्टन, calibration_ratio पर लंदन), जिसमें कोई भी शहर तीनों में रैंक नहीं रख सका।
प्रस्तावित मीट्रिक पेयर: लेखक क्रॉस-पॉपुलेशन मूल्यांकन के लिए प्राथमिक जोड़ी के रूप में nonzero_pll_mean और calibration_ratio का प्रस्ताव करते हैं, जिसमें zero_rate को वर्णनात्मक संदर्भ के रूप में रिपोर्ट किया जाता है। यह दृष्टिकोण डेटा वितरण के संरचनात्मक गुणों से मॉडल के प्रदर्शन को अलग करता है।
नेगेटिव रिजल्ट्स कैटलॉग: शोध पत्र स्पष्ट रूप से चार कॉन्फ़िगरेशन-विशिष्ट हस्तक्षेपों को रिपोर्ट करता है जो परीक्षण किए गए शासन (regime) में भविष्यवाणियों में सुधार करने में विफल रहे। महत्वपूर्ण रूप से, लेखक ने पाया कि डाइवर्जेंस डायग्नोस्टिक स्वयं स्थानिक स्पर्सिटी (spatial sparsity) को माप रहा था (जो केंद्रित अपराध का एक संरचनात्मक गुण है), न कि प्रेडिक्टिव पैथोलॉजी को, जिससे हस्तक्षेप अनावश्यक या प्रतिकूल हो गए।

परिणाम

मेट्रिक असहमति: अध्ययन पुष्टि करता है कि एग्रीगेट PLL रैंकिंग जीरो-रेट कंपोजिशन द्वारा संचालित होती है। उदाहरण के लिए, बोस्टन (74%) और लंदन (61%) के बीच जीरो रेट में 13.5 प्रतिशत अंक का अंतर, तुलनीय प्रति-इवेंट प्रदर्शन के बावजूद, एग्रीगेट PLL गैप के अधिकांश हिस्से के लिए जिम्मेदार है।
कैलिब्रेशन सुधार: बोस्टन के कैलिब्रेशन रेशियो पर एक केस स्टडी (प्रारंभिक 0.849 बनाम यूके शहरों का ~0.93) ने खुलासा किया कि यह विसंगति मॉडल आर्किटेक्चर परिवर्तनों से नहीं, बल्कि डेटा-पाइपलाइन सुधारों से हल हुई थी: टाइम-डिके वेट्स लागू करना, आंशिक-माह टेस्ट बिन्स को बाहर करना, और मौसमी प्रभावों को संतुलित करने के लिए इंटरलीव्ड स्प्लिट का उपयोग करना।
हस्तक्षेप के परिणाम:
- ट्वीडी लॉस ( $p=1.5$ ): डाइवर्जेंस रेशियो को कम करने में विफल रहा और अन्य अपराध प्रकारों में ट्रेनिंग पैथोलॉजी का कारण बना।
- नेगेटिव बाइनोमियल (फिक्स्ड $\alpha$ ): कन्वर्ज्ड मॉडल्स ने पॉइसन बेसलाइन (कैलिब्रेशन रेशियो 0.69–0.83) की तुलना में काफी अधिक ओवर-प्रेडिक्शन किया।
- विंसराइज़ेशन: 99.9वें पर्सेंटाइल क्लिपिंग ने अन्य प्रकारों को खराब किए बिना डाइवर्जेंस रेशियो को कम किया, लेकिन इसे इसलिए नहीं अपनाया गया क्योंकि अंतर्निहित डायग्नोस्टिक गलत लक्षित (mis-targeted) था।
- लर्निंग रेट रिडक्शन: शॉपलिफ्टिंग के लिए लर्निंग रेट को 5 के कारक से कम करने से डाइवर्जेंस फ्लैग तो साफ हो गया, लेकिन इसने भविष्यवाणी की गुणवत्ता को विनाशकारी रूप से प्रभावित किया (कैलिब्रेशन रेशियो $\approx 0.01$ ), क्योंकि मॉडल स्पार्स स्थानिक संरचना को सीखने में विफल रहा।

महत्व और दायरा
यह शोध पत्र एक सामान्यीकरण करने वाले प्रेडिक्टिव पुलिसिंग आर्किटेक्चर के बजाय एक पद्धतिगत नोट के रूप में खुद को स्थापित करता है।

दायरा सीमाएं: लेखक स्पष्ट रूप से कहते हैं कि चार-शहरों का नमूना ( $n=4$ ) उच्च-आय, ओईसीडी (OECD), अंग्रेजी बोलने वाले, कॉमन-लॉ अधिकार क्षेत्रों का है जिनमें समान पुलिसिंग संस्थान हैं। इसलिए, यह अध्ययन LightGBM आर्किटेक्चर या विशिष्ट नकारात्मक परिणामों के लिए क्रॉस-ज्यूरिस्डिक्शनल सामान्यीकरण का दावा नहीं करता है।
प्राथमिक योगदान: मुख्य महत्व इस बात में है कि एग्रीगेट PLL एक स्केल-कंफाउंडेड मीट्रिक है, जिसका बीजगणितीय और अनुभवजन्य प्रमाण दिया गया है। शोध पत्र तर्क देता है कि तुलनात्मक अध्ययनों में रैंकिंग को भ्रामक बनाने से बचने के लिए zero_rate के साथ nonzero_pll_mean और calibration_ratio को रिपोर्ट किया जाना चाहिए।
प्रक्रियात्मक सिफारिश: एक प्रमुख निष्कर्ष यह है कि जब क्रॉस-पॉपुलेशन कैलिब्रेशन विसंगतियां आती हैं, तो मॉडल आर्किटेक्चर या लॉस फंक्शन बदलने से पहले डेटा-पाइपलाइन अखंडता (जैसे ट्रंकेटेड बिन्स, मिसमैच्ड विंडोज) की जांच करने की सिफारिश की जाती है।
नेगेटिव रिजल्ट्स: रिपोर्ट किए गए विशिष्ट हस्तक्षेपों की विफलताएं भारी-पूंछ (heavy-tailed) और स्थानिक रूप से केंद्रित काउंट डेटा के साथ काम करने वाले अभ्यासकर्ताओं के लिए कॉन्फ़िगरेशन-विशिष्ट अवलोकन के रूप में कार्य करती हैं, न कि तकनीकों (जैसे MLE-अनुमानित $\alpha$ के साथ NB) के श्रेणीबद्ध अस्वीकार के रूप में।

शोध पत्र निष्कर्ष निकालता है कि एग्रीगेट PLL में स्केल कॉन्फाउंड एक माप संबंधी मुद्दा है जो प्रेडिक्टिव पुलिसिंग नैतिकता की व्यापक बहसों से ऊपर है, जिसके लिए तुलनात्मक अध्ययनों में प्रदर्शन रिपोर्ट करने के तरीके में बदलाव की आवश्यकता है।

बड़ी तस्वीर: अपराध की भविष्यवाणी की तुलना करना कठिन क्यों है

समस्या: "खाली कमरे" का जाल (The "Empty Room" Trap)

समाधान: एक बेहतर स्कोरकार्ड

"नकारात्मक परिणाम": एक भूत को ठीक करने की कोशिश (Trying to Fix a Ghost)

मुख्य निष्कर्षों का सारांश

इसी तरह के और पेपर