A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

कल्पना कीजिए कि आप एक जासूस हैं जो एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन उंगलियों के निशान या पैरों के निशान खोजने के बजाय, आप एक विशाल, अराजक शहर के चौक में लोगों द्वारा छोटे गए लाखों छोटे, बिखरे हुए नोट्स को छान रहे हैं। यह नेचुरल लैंग्वेज प्रोसेसिंग (NLP) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें मानव पाठ (text) को पढ़ना और समझना सीखती हैं। कभी-कभी, कंप्यूटर औपचारिक किताबें पढ़ने में बहुत अच्छे होते हैं, लेकिन वे अक्सर वास्तविक जीवन में लोगों द्वारा लिखे गए स्लैंग (बोलचाल की भाषा), वर्तनी की गलतियों और भावनात्मक भड़ासों से भ्रमित हो जाते हैं। यहाँ मुख्य प्रश्न यह है: क्या हम कंप्यूटर को उन विशिष्ट, क्रोधित फुसफुसाहटों को पहचानने के लिए सिखा सकते हैं जो सार्वजनिक सरकारी सौदों में भ्रष्टाचार या अनियमितताओं का संकेत देती हैं, भले ही वे फुसफुसाहटें उबाऊ शिकायतों और सवालों के ढेर के नीचे दबी हुई हों? यह महत्वपूर्ण है क्योंकि सार्वजनिक धन एक बहुत बड़ा संसाधन है, और जब लोग अनियमितताओं में शामिल होते हैं, तो इसमें सभी का नुकसान होता है। यदि हम एक डिजिटल "झूठ पकड़ने वाला यंत्र" (lie detector) बना सकें जो इन नोट्स को पढ़ सके, तो हम बुरे तत्वों को जनता का विश्वास चुराने से पहले पकड़ सकते हैं।

यह शोध पत्र एक टीम के शोधकर्ताओं की कहानी बताता है जिन्होंने इक्वाडोर की सार्वजनिक खरीद प्रणाली में "आरोप लगाने वाली" भाषा को खोजने के लिए एक चतुर, दो-चरणीय जासूसी प्रणाली बनाई। सोचिए कि सार्वजनिक खरीद (public procurement) सरकार द्वारा सड़क मरम्मत से लेकर स्कूल की आपूर्ति तक सब कुछ खरीदने की प्रक्रिया है। अंतिम सौदा होने से पहले, आपूर्तिकुओं को प्रश्न पूछने या टिप्पणी छोड़ने की अनुमति दी जाती है। अधिकांश टिप्पणियाँ हानिरहित होती हैं, जैसे "क्या आप इस नियम को समझा सकते हैं?" या "मुझे कीमत पसंद नहीं है।" लेकिन कुछ टिप्पणियाँ खतरनाक फुसफुसाहट जैसी होती हैं जैसे, "यह सौदा फिक्स्ड है," या "वे केवल एक ही कंपनी को जीतने दे रहे हैं।" चुनौती यह है कि ये खतरनाक फुसफुसाहटें दुर्लभ हैं—जैसे दस लाख नीली सुइयों के बीच एक अकेली लाल सुई को खोजना।

शोधकर्ताओं ने इन सुइयों को खोजने के लिए सबसे अत्याधुनिक, महंगी "सुपर-रीडिंग" कंप्यूटरों (जिन्हें लार्ज लैंग्वेज मॉडल्स जैसे LLaMA और RoBERTa कहा जाता है) का उपयोग करने का प्रयास किया। उन्हें उम्मीद थी कि ये शक्तिशाली उपकरण सबसे अच्छे होंगे। हालाँकि, उन्होंने पाया कि ये फैंसी, भारी-भरकीले कंप्यूटर बिखरे हुए, अनौपचारिक टेक्स्ट से वास्तव में बहुत भ्रमित थे। उन्होंने सुइयों को देखा तो सही, लेकिन वे उन्हें घास से अलग नहीं कर सके। इसके बजाय, टीम ने पाया कि एक बहुत ही सरल, पुराना और हल्का उपकरण जिसे Word2Vec कहा जाता है, जिसे उन्होंने स्थानीय भाषा और स्लैंग पर विशेष रूप से प्रशिक्षित किया था, वह जादू की तरह काम कर गया। यह एक उच्च-शक्ति वाले, अत्यधिक इंजीनियर किए गए मेटल डिटेक्टर को बदलने जैसा था जो हर चीज़ पर बीप करता है, एक साधारण, अच्छी तरह से ट्यून किए गए चुंबक के लिए जो केवल उसी विशिष्ट धातु को उठाता है जिसकी उन्हें तलाश थी।

टीम का समाधान एक "कैस्केडेड" पाइपलाइन था, जो केवल एक फैंसी तरीका है यह कहने का कि उन्होंने अंतिम जाँच से पहले एक फ़िल्टर का उपयोग किया। सबसे पहले, उन्होंने समान टिप्पणियों को एक साथ समूहबद्ध करने के लिए सरल Word2Vec टूल का उपयोग किया, जैसे कि मिश्रित अक्षरों के ढेर को लिखावट की शैली के आधार पर लिफाफों में छाँटना। फिर, उन्होंने एक गणितीय पद्धति (Gaussian Mixture Models) का उपयोग किया ताकि उस विशिष्ट लिफाफे को खोजा जा सके जिसमें "आरोप लगाने वाली" चिट्ठियाँ होने की सबसे अधिक संभावना थी। अंत में, उन्होंने एक मानक, विश्वसनीय क्लासिफायर (एक Random Forest एल्गोरिदम) का उपयोग किया ताकि केवल उन विशिष्ट चिट्ठियों को पढ़ा जा सके और यह निर्णय लिया जा सके कि क्या वे वास्तव में भ्रष्टाचार के आरोप हैं।

परिणाम प्रभावशाली थे। भले ही "आरोप लगाने वाली" टिप्पणियाँ कुल डेटा का केवल 3% थीं (एक गंभीर असंतुलन), इस सरल, दो-चरणीय प्रणाली ने उन्हें 91% रिकॉल (recall) और 84% सटीकता (precision) के साथ पकड़ा। यह सुझाव देता है कि आपको इस तरह की समस्या को हल करने के लिए किसी विशाल, महंगे सुपरकंप्यूटर की आवश्यकता नहीं है; एक हल्का, समझदारी से प्रशिक्षित सिस्टम भी उतना ही अच्छा, या शायद उससे भी बेहतर काम कर सकता है। यह शोध पत्र इस विचार को स्पष्ट रूप से खारिज करता है कि नवीनतम, सबसे जटिल AI मॉडल स्वचालित रूप से इस विशिष्ट, शोर-शृंखला वाले वास्तविक दुनिया के कार्य के लिए सबसे अच्छा विकल्प हैं। हालांकि फैंसी मॉडलों ने आशा दिखाई, लेकिन वे डेटा के "एनिसोट्रॉपी" (anisotropy) से जूझ रहे थे—एक तकनीकी तरीका यह कहने का कि डेटा एक ऐसे आकार में दब गया था जिसने जटिल मॉडलों को भ्रमित कर दिया। सरल मॉडल, जिसे सीधे वास्तविक, अव्यवस्थित टिप्पणियों पर प्रशिक्षित किया गया था, ने अराजकता को बहुत बेहतर तरीके से संभाला।

शोधकर्ताओं ने अपने सिस्टम का परीक्षण एक विशाल बिना लेबल वाले डेटा (ऐसी टिप्पणियाँ जिन्हें उन्होंने मैन्युअल रूप से चेक नहीं किया था) पर भी किया। सिस्टम ने लगभग 93,000 टिप्पणियों में से लगभग 1,892 संभावित आरोपों को चिह्नित किया। जब उन्होंने इन चिह्नित टिप्पणियों के एक नमूने की मैन्युअल जांच की, तो उन्होंने पाया कि लगभग 84% वास्तव में भ्रष्टाचार या अनियमितताओं के वास्तविक आरोप थे। यह सुझाव देता है कि सिस्टम सरकारी खर्च के लिए एक वास्तविक समय के प्रहरी (watchdog) के रूप में उपयोग किए जाने के लिए पर्याप्त मजबूत है। हालाँकि, शोध पत्र एक सीमा को नोट करता है: सिस्टम प्रत्यक्ष आरोपों को पकड़ने में अच्छा है, लेकिन यह सूक्ष्म, व्यंग्यात्मक या विडंबनापूर्ण टिप्पणियों को मिस कर सकता है जो सामान्य "भ्रष्टाचार" कीवर्ड का उपयोग नहीं करती हैं।

अंत में, यह शोध पत्र दिखाता है कि कभी-कभी किसी जटिल समस्या को हल करने का सबसे अच्छा तरीका सबसे शक्तिशाली तकनीक को उस पर झोंक देना नहीं है, बल्कि एक स्मार्ट, अनुकूलित प्रक्रिया बनाना है जो डेटा की विशिष्ट बारीकियों को समझता हो। एक सरल, डोमेन-विशिष्ट एम्बेडिंग के साथ एक स्मार्ट फ़िल्टरिंग रणनीति को जोड़कर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया जो तेज़ है, चलाने में सस्ता है, और उन छायाओं पर रोशनी डालने में प्रभावी है जहाँ भ्रष्टाचार छिपता है। वे सुझाव देते हैं कि इस दृष्टिकोण को अन्य देशों के लिए भी अपनाया जा सकता है, बशर्ते उन देशों के पास अपना सार्वजनिक खरीद डेटा इस तरह व्यवस्थित हो जिसे कंप्यूटर आसानी से पढ़ सकें।