Using Fine-Tuned LLMs to Identify Indicators of Vulnerability in UK Police Incident Logs
यह अध्ययन प्रदर्शित करता है कि जबकि फाइन-ट्यून्ड ओपन-सोर्स एलएलएम (LLMs) जनसंख्या स्तर पर यूके पुलिस घटना लॉग में भेद्यता संकेतकों के प्रसार का अनुमान लगा सकते हैं, उनके आउटपुट को रक्षात्मक माप बनने के लिए व्यापक मानवीय समीक्षा और सांख्यिकीय सुधार की आवश्यकता होती है, जो निरंतर अस्थिरता और त्रुटि के कारण उन्हें व्यक्तिगत परिचालन निर्णयों के लिए अनुपयुक्त बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन किसी अपराध स्थल को देखने के बजाय, आप हस्तलिखित पुलिस नोटबुक के ढेर को घूर रहे हैं। ये नोटबुक लोगों की कहानियों से भरी हुई हैं जिन्होंने मदद के लिए पुलिस को बुलाया। कुछ कहानियाँ खोई हुई बिल्लियों के बारे में हैं, कुछ शोर मचाने वाले पड़ोसियों के बारे में, और कुछ उन लोगों के बारे में शामिल हैं जो बहुत बीमार हैं, नशे के संघर्ष से जूझ रहे हैं, या जिनके पास सोने के लिए कोई जगह नहीं है। डेटा साइंस की दुनिया में, इन नोटबुक्स को "अनस्ट्रक्चर्ड टेक्स्ट" (असंरचित पाठ) कहा जाता है क्योंकि वे साफ-सुथरी सूचियाँ या चेकबॉक्स नहीं हैं; वे अव्यवस्थित, बहती हुई कहानियाँ हैं। लंबे समय तक, कंप्यूटर इन कहानियों को पढ़ने और विशिष्ट पैटर्न खोजने में बहुत खराब रहे, जैसे कि "क्या यह व्यक्ति बेघर है?" या "क्या वे मानसिक स्वास्थ्य से जूझ रहे हैं?" वे केवल साफ-सुथरे चेकबॉक्स को ही पढ़ सकते थे, जिससे असली कहानी छूट जाती थी।
यहाँ बड़े भाषा मॉडल (LLMs) का प्रवेश होता है। इन मॉडलों को सुपर-स्मार्ट, डिजिटल रीडिंग मशीन समझें जिन्होंने इंटरनेट पर लगभग सब कुछ पढ़ा है। वे संदर्भ, बारीकियों और एक मजाक और मदद के लिए की गई गंभीर पुकार के बीच के अंतर को समझने में माहिर हैं। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक रोबोट एक कहानी पढ़ सकता है, इसका मतलब यह नहीं है कि वह हमेशा उसमें हो रही चीज़ों के बारे में सच बता सकता है। कभी-कभी, रोबोट बहुत उत्साहित हो जाता है और वहाँ भी समस्याएँ देख लेता है जहाँ कोई समस्या नहीं होती, या वह स्लैंग (बोलचाल की भाषा) और संक्षिप्त शब्दों से भ्रमित हो जाता है। यह शोध एक बड़ा सवाल पूछता है: क्या हम इन डिजिटल रीडिंग मशीनों को यह सिखा सकते हैं कि पुलिस की कहानियों में कितने लोग कठिन जीवन स्थितियों से जूझ रहे हैं, और क्या हम उनके द्वारा दिए गए आंकड़ों पर भरोसा कर सकते हैं?
प्रयोग: एक रोबोट को पुलिस की कहानियाँ पढ़ाना सिखाना
इस अध्ययन के शोधकर्ताओं ने यह परीक्षण करने का निर्णय लिया कि क्या वे एक फाइन-ट्यून्ड एलएलएम (एक रोबोट जिसे विशेष रूप से उदाहरणों पर प्रशिक्षित किया गया है) का उपयोग करके यूके के एक पुलिस बल के लगभग 3,000 पुलिस घटना लॉग्स को पढ़ने के लिए कर सकते हैं। ये लॉग्स पुलिस कार्य की दैनिक डायरी हैं, जिन्हें अधिकारियों और कंट्रोल रूम के कर्मचारियों द्वारा वास्तविक समय में लिखा जाता है। लक्ष्य यह पता लगाना था कि इन लॉग्स में चार विशिष्ट संघर्षों का कितनी बार उल्लेख किया गया: मानसिक स्वास्थ्य संबंधी समस्या, नशीली दवाओं का दुरुपयोग, शराब की लत, और बेघर होना।
उन्होंने केवल रोबोट को एक बार पढ़ने और उत्तर देने के लिए नहीं कहा। इसके बजाय, उन्होंने एक सावधानीपूर्वक, बहु-चरणीय पाइपलाइन बनाई। सबसे पहले, उन्होंने रोबोट के एक छोटे, स्थानीय संस्करण को प्रशिक्षित किया (ताकि डेटा सुरक्षित रहे और क्लाउड पर न जाए) जिसमें अमेरिकी पुलिस डेटा के उदाहरणों का उपयोग किया गया था। फिर, उन्होंने रोबोट को प्रत्येक कहानी पाँच बार पढ़ने दी। पाँच बार क्यों? क्योंकि, एक इंसान की तरह जो थका हुआ या विचलित हो सकता है, रोबोट भी कभी-कभी अपना मन बदल लेता है। यदि वह पाँच बार लगातार कहता है "हाँ, यह व्यक्ति बेघर है", तो यह एक मजबूत संकेत है। यदि वह तीन बार "हाँ" और दो बार "नहीं" कहता है, तो यह भ्रम का संकेत है।
निष्कर्ष: रोबोट "ना" कहने में अच्छा है, लेकिन "हाँ" कहने में बुरा है
परिणाम अच्छे समाचार और एक बड़ी चेतावनी का मिश्रण थे।
सबसे पहले, रोबोट यह पहचानने में अविश्वसनीय रूप से अच्छा था कि कब कुछ भी गलत नहीं था। यदि कोई कहानी केवल एक ट्रैफिक दुर्घटना या खोए हुए वॉलेट के बारे में थी, तो रोबोट ने आत्मविश्वास और सही ढंग से कहा, "यहाँ कोई भेद्यता (vulnerability) नहीं है।" इसने एक विश्वसनीय फिल्टर की तरह काम किया, उबाऊ चीजों को बाहर निकाल दिया।
हालाँकि, जब रोबोट ने समस्याओं को खोजने की कोशिश की, तो वह थोड़ा बहुत उत्साही हो गया। उसने होटलों में रहने वाले लोगों के बारे में कहानियों में "बेघर होने" को देखा, या मानसिक स्वास्थ्य से संबंधित न होने वाली अस्पताल यात्राओं में "मानसिक स्वास्थ्य समस्याओं" को देखा। यह एक ऐसे जासूस की तरह था जो एक साये को देखता है और तुरंत सोचता है कि वह एक राक्षस है, भले ही वह केवल एक कोट रैक हो।
इसे ठीक करने के लिए, शोधकर्ताओं ने मानव समीक्षकों को शामिल किया। उन्होंने रोबोट के काम के एक नमूने को देखने के लिए एक इंसान को शामिल किया ताकि देखा जा सके कि वह कहाँ गलत हुआ। उन्होंने पाया कि रोबोट व्यवस्थित रूप से समस्याओं को बढ़ा-चढ़ाकर बता रहा था। उदाहरण के लिए, रोबोट ने शुरू में सोचा कि 12.8% कहानियों में नशीली दवाओं के दुरुपयोग का मामला था। लेकिन मानव समीक्षा और कुछ सांख्यिकीय गणित (रोबोट की गलतियों को ठीक करने का एक शानदार तरीका) के बाद, वास्तविक संख्या बहुत कम, लगभग 5.0% होने की संभावना थी।
अंतिम संख्याएँ
सभी सुधारों और दोबारा जाँच के बाद, अध्ययन ने इन भेद्यताओं के दिखने की आवृत्ति के नए अनुमान प्रस्तुत किए:
- मानसिक स्वास्थ्य संबंधी समस्या: लगभग 23% घटनाओं में पाया गया (लगभग पाँच में से एक)।
- शराब की लत: लगभग 8% घटनाओं में।
- नशीली दवाओं का दुरुपयोग: लगभग 5% घटनाओं में।
- बेघर होना: लगभग 3% घटनाओं में।
सबसे बड़ा सबक: अकेले रोबोट पर भरोसा न करें
इस शोध का सबसे महत्वपूर्ण निष्कर्ष यह है कि आप केवल एक रोबोट को पुलिस लॉग पढ़ने के लिए नहीं छोड़ सकते और उसके द्वारा दिए गए आंकड़ों पर भरोसा नहीं कर सकते। यदि आप ऐसा करते, तो आपको गलत विचार मिलता कि समस्या कितनी बड़ी है। रोबोट एक शक्तिशाली उपकरण है, लेकिन उसे अपना होमवर्क चेक करने के लिए एक मानव शिक्षक की आवश्यकता होती है।
शोधकर्ताओं ने दिखाया कि जबकि रोबोट सेकंडों में हजारों कहानियों को पढ़ सकता है—जो एक मानव टीम को करने में वर्षों लग जाएंगे—वह एक विशिष्ट प्रकार की गलती करता है: वह उन समस्याओं को देखता है जो शायद मौजूद ही नहीं हैं। एक भरोसेमंद उत्तर प्राप्त करने के लिए, आपको एक "बहु-चरणीय पाइपलाइन" की आवश्यकता होती है। इसका अर्थ है रोबोट को कई बार चलाना, उसके काम के एक नमूने की मनुष्यों द्वारा जांच करवाना, और त्रुटियों को ठीक करने के लिए सांख्यिकी का उपयोग करना।
शोध पत्र निष्कर्ष निकालता है कि हालांकि हम समग्र तस्वीर (जैसे कि यह जानना कि मानसिक स्वास्थ्य संबंधी मुद्दे पुलिस कार्य का एक बड़ा हिस्सा हैं) का एक अच्छा अनुमान प्राप्त कर सकते हैं, लेकिन हम व्यक्तिगत लोगों के बारे में निर्णय लेने के लिए रोबोट पर भरोसा नहीं कर सकते। यदि कोई रोबोट किसी विशिष्ट व्यक्ति को "जोखिम में" के रूप में चिह्नित करता है, तो वह गलत हो सकता है। लेकिन यदि हम बड़े रुझानों को समझने के लिए इस पद्धति का उपयोग करते हैं, तो यह हमें पुराने, अव्यवस्थित चेकबॉक्स की तुलना में दुनिया की बहुत स्पष्ट तस्वीर देता है। यह एक शक्तिशाली नया लेंस है, लेकिन इसे एक स्थिर, सावधान हाथ द्वारा पकड़ा जाना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।