OpenSanctions Pairs: Large-Scale Entity Matching with LLMs
यह शोध पत्र ओपनसैनक्शन्स पेयर्स (OpenSanctions Pairs) को प्रस्तुत करता है, जो वास्तविक दुनिया के प्रतिबंधों (sanctions) के डेटा से प्राप्त एक बड़े पैमाने का एंटिटी मैचिंग बेंचमार्क है, जो यह प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स सटीकता में प्रोडक्शन रूल-बेस्ड सिस्टम्स से काफी बेहतर प्रदर्शन करते हैं, जबकि यह भी रेखांकित करता है कि भविष्य के सुधार केवल पेयरवाइज मैचिंग के बजाय ब्लॉकिंग और क्लस्टरिंग जैसे पाइपलाइन घटकों पर केंद्रित होने चाहिए।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, अराजक पुस्तकालय के मुख्य लाइब्रेरियन हैं जो पूरी दुनिया में फैला हुआ है। लेकिन यह एक सामान्य पुस्तकालय नहीं है; यह उन लोगों और कंपनियों का पुस्तकालय है जो अवैध गतिविधियों में शामिल होने के कारण "प्रवेश निषेध" (प्रतिबंध/sanctions) सूचियों में हैं।
समस्या यह है कि यह पुस्तकालय बहुत अस्त-व्यस्त है।
- 293 अलग-अलग कैटलॉग (स्रोत) जो 31 विभिन्न देशों से हैं।
- नाम अलग-अलग भाषाओं (अंग्रेजी, रूसी, अरबी, चीनी) में लिखे गए हैं।
- एक ही व्यक्ति को "जॉन स्मिथ," "जे. स्मिथ," "इवानोव" (एक लिप्यंतरण/transliteration), या "द बॉस" के रूप में सूचीबद्ध किया जा सकता है।
- कुछ रिकॉर्ड में जन्म तिथि गायब है; अन्य में स्पेलिंग की गलतियाँ (typos) हैं।
आपका काम डुप्लिकेट्स ढूँढना है: क्या रूसी सूची में "व्लादिमीर पुतिन" वही व्यक्ति है जो अमेरिकी सूची में "वी. पुतिन" है? यदि आप कोई मिलान करने में चूक जाते हैं, तो एक अपराधी बच निकलेगा। यदि आप दो अलग-अलग लोगों को मिला देते हैं, तो आप अनजाने में किसी निर्दोष व्यक्ति का बैंक खाता फ्रीज कर देंगे।
यह शोध पत्र इस बारे में है कि कैसे शोधकर्ताओं की एक टीम ने एक विशाल टेस्ट सेट बनाया ताकि यह देखा जा सके कि क्या आधुनिक AI (लार्ज लैंग्वेज मॉडल्स, या LLMs) इस मिलान (matching) के काम को पुराने, कठोर कंप्यूटर प्रोग्रामों (जो वर्तमान में बैंकों और सरकारों द्वारा उपयोग किए जाते हैं) से बेहतर कर सकते हैं।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
1. नया "टेस्ट बुक" (OpenSanctions Pairs)
इस शोध पत्र से पहले, शोधकर्ता मुख्य रूप से "अमेज़न उत्पादों" या "फिल्मों के शीर्षक" जैसे साफ और सरल डेटा पर मिलान प्रणालियों का परीक्षण करते थे। यह एक रेस कार को एक चिकने ट्रैक पर चलाने जैसा था।
लेखकों ने OpenSanctions Pairs बनाया, जो 755,000 रिकॉर्ड्स के जोड़ों (pairs) का एक विशाल डेटासेट है। यह एक रेस कार को एक कीचड़ भरे, पथरीले, धुंध भरे पहाड़ी रास्ते पर ले जाने जैसा है जिसमें 293 अलग-अलग प्रकार के इलाके हैं। इसमें शामिल हैं:
- 31 विभिन्न देशों के नाम।
- अव्यवस्थित डेटा (गायब जानकारी, स्पेलिंग की गलतियाँ)।
- वास्तविक दुनिया की जटिलता (उपनाम/aliases, अलग-अलग स्पेलिंग)।
उन्होंने केवल अनुमान नहीं लगाया; उन्होंने मानवीय विशेषज्ञों का उपयोग करके इन जोड़ों को लेबल किया। सोचिए कि ये विशेषज्ञ "गोल्ड स्टैंडर्ड" रेफरी की तरह हैं।
2. दौड़: पुराने नियम बनाम नया AI
शोधकर्ताओं ने दो प्रकार के "जासूसों" को एक-दूसरे के विरुद्ध खड़ा किया:
पुराना जासूस (नियम-आधारित प्रणाली/Rule-Based System): यह एक रोबोट की तरह है जिसके पास एक सख्त चेकलिस्ट है। यह कहता है, "यदि नाम 90% समान हैं और जन्म वर्ष समान है, तो वे एक मैच हैं।" यह तेज़ है लेकिन कठोर है। यह अक्सर गलतियाँ करता है जब नाम अलग-अलग स्पेलिंग में होते हैं या डेटा गायब होता है।
- परिणाम: इसने लगभग 91% उत्तर सही दिए। यह "हाँ, वे मैच हैं" कहने के लिए बहुत उत्सुक था, जिससे कई गलत अलार्म (false alarms) पैदा हुए।
नया जासूस (GPT-4o, DeepSeek आदि जैसे LLMs): ये उन्नत AI मॉडल हैं। एक चेकलिस्ट के बजाय, वे एक इंसान की तरह संदर्भ (context) को समझते हुए रिकॉर्ड को "पढ़ते" हैं। वे जानते हैं कि "मिस्टर स्मिथ" और "स्मिथ" संभवतः एक ही हैं, लेकिन "स्मिथ" और "स्मिथर्स" शायद नहीं हैं।
- परिणाम: सर्वश्रेष्ठ AI मॉडल ने 98-99% उत्तर सही दिए। वे मानवीय विशेषज्ञों के लगभग बराबर थे।
3. चौंकाने वाला मोड़: "कम ही अधिक है" (Less is More)
शोधकर्ताओं ने AI को और भी स्मार्ट बनाने की कोशिश की:
- इसे उदाहरण देना (इसे पहले से हल किए गए कुछ मामले दिखाना)।
- एक "प्रॉम्प्ट ऑप्टिमाइज़र" का उपयोग करना (एक टूल जो AI को निर्देश देने के लिए शब्दों को फिर से लिखता है ताकि सटीक शब्दावली मिल सके)।
चौंकाने वाली बात क्या थी?
- उदाहरण देने से AI थोड़ा बदतर हो गया। यह एक प्रतिभाशाली छात्र को कुछ विशिष्ट गणित के सवाल दिखाकर सिखाने जैसा है; वे विशिष्ट उदाहरणों से भ्रमित हो गए और सामान्य नियम भूल गए।
- "परफेक्ट प्रॉम्प्ट" आश्चर्यजनक रूप से सरल था। AI को 500 शब्दों के निर्देश मैनुअल की आवश्यकता नहीं थी। इसे बस यह बताने की आवश्यकता थी: "समानताएँ न खोजें; विरोध (conflicts) खोजें। यदि आप स्पष्ट विरोधाभास (जैसे अलग आईडी नंबर) नहीं देखते हैं, तो मान लें कि वे एक ही व्यक्ति हैं।"
4. जहाँ AI अभी भी लड़खड़ाता है
भले ही सर्वश्रेष्ठ AI भी पूर्ण नहीं है। शोधपत्र में पाया गया कि वे दो मुख्य तरीकों से विफल होते हैं:
- "अनुवादक" की समस्या: यदि एक नाम सिरिलिक (रूसी) में लिखा गया है और फिर अंग्रेजी में दो अलग-अलग तरीकों से लिप्यंतरित (transliterated) किया गया है, तो AI कभी-कभी संबंध को पहचानने में चूक जाता है।
- "टाइपो" की समस्या: यदि एक रिकॉर्ड "1980" कहता है और दूसरा "1981" (शायद टाइपो), तो AI बहुत सख्त हो जाता है और कहता है, "ये अलग लोग हैं!" क्योंकि वह विरोध (conflicts) की तलाश कर रहा है।
5. बड़ा निष्कर्ष: काम बदल गया है
सबसे महत्वपूर्ण बात यह है: "मिलान" (matching) का काम लगभग हल हो चुका है।
अतीत में, सबसे बड़ी बाधा यह थी कि कंप्यूटर को यह समझने में लगाना कि दो रिकॉर्ड एक ही हैं या नहीं। अब, AI इसमें इतना अच्छा है (99% सटीकता), कि यह अब कठिन हिस्सा नहीं रह गया है।
तो, हमें आगे क्या करने पर ध्यान केंद्रित करना चाहिए?
मिलान करने वाले AI को थोड़ा और स्मार्ट बनाने के बजाय, हमें पाइपलाइन के अन्य हिस्सों पर ध्यान केंद्रित करना चाहिए:
- ब्लॉकिंग (Blocking): दुनिया के हर व्यक्ति की जाँच किए बिना सही उम्मीदवारों को जल्दी से कैसे खोजा जाए?
- क्लस्टरिंग (Clustering): हम 10 अलग-अलग रिकॉर्ड्स को, जो एक ही व्यक्ति को संदर्भित करते हैं, एक "सुपर-प्रोफाइल" में कैसे समूहित करें?
- अनिश्चितता (Uncertainty): जब AI 100% सुनिश्चित न हो, तो उसे मानव समीक्षा के लिए कैसे फ्लैग किया जाए?
सारांश - उपमा (Analogy)
कल्पना कीजिए कि आप घास के ढेर में खोई हुई सुई खोजने की कोशिश कर रहे हैं।
- पुराना तरीका: आपने एक चुंबक का उपयोग किया जो केवल एक विशिष्ट प्रकार के स्टील से बनी सुइयों को उठाता था। आपने बहुत सी सुइयाँ छोड़ दीं।
- नया तरीका: आपने एक सुपर-स्मार्ट रोबोट को काम पर रखा जो घास के बीच से सुई देख सकता है। वह लगभग हर सुई को ढूंढ लेता है।
- सबक: हमें अब रोबोट की आँखें और तेज करने की आवश्यकता नहीं है। हमें यह समझने की आवश्यकता है कि घास के ढेर को बेहतर तरीके से व्यवस्थित कैसे किया जाए ताकि रोबोट को पूरे ढेर को न देखना पड़े, और यह भी कि उन कुछ सुइयों को कैसे संभालना है जिनके बारे में रोबोट अनिश्चित है।
संक्षेप में: AI ने एक अव्यवस्थित, वैश्विक डेटाबेस में नामों को मिलाने की कला में महारत हासिल कर ली है। भविष्य बेहतर मिलान के बारे में नहीं है; यह बेहतर संगठन और मानवीय निरीक्षण के बारे में है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।