Structure-Guided Entity Resolution: Fine-Tuning LLMs for Robust Name Matching in Complex Linguistic Contexts
यह शोध पत्र स्ट्रक्चर-गाइडेड एंटिटी रेजोल्यूशन (SGER) प्रस्तुत करता है, जो लार्ज लैंग्वेज मॉडल्स के लिए एक टू-फेज करिकुलम फाइन-ट्यूनिंग फ्रेमवर्क है, जो जटिल, बहुभाषी व्यक्तिगत नामों को मिलाने में अत्याधुनिक सटीकता प्राप्त करता है और वर्तमान में ड्रीम11 के प्लेटफॉर्म पर KYC अनुपालन के लिए बड़े पैमाने पर तैनात किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप दो लोगों के नामों को मिलाने की कोशिश कर रहे हैं, लेकिन नाम बहुत ही अव्यवस्थित और अस्त-व्यस्त तरीके से लिखे गए हैं। एक व्यक्ति का नाम "Rajesh Kumar" हो सकता है, दूसरे का "Kumar Rajesh", तीसरे का "RajeshKumar" (बिना स्पेस के), और चौथे का "Rajeshbhai" (एक प्यारा सा टाइटल जुड़ा हुआ)। भारत जैसे विविध देश में, जहाँ नाम क्षेत्र, भाषा और यहाँ तक कि क्लर्क द्वारा टाइप करने के तरीके के आधार पर बदल जाते हैं, यह कंप्यूटरों के लिए एक दुस्वप्न बन जाता है।
यह शोध पत्र SGER (स्ट्रक्चर-गाइडेड एंटिटी रिज़ॉल्यूशन) नामक एक नई प्रणाली पेश करता है जो इस समस्या को एक चतुर दो-चरणीय प्रशिक्षण पद्धति के साथ हल करती है। यह कैसे काम करता है, इसे सरल रूप में यहाँ समझाया गया है:
समस्या: "मेसी नेम" (अव्यवस्थित नाम) की पहेली
"नो योर कस्टमर" (KYC) जांच की दुनिया में—जहाँ कंपनियाँ आपको गेम खेलने या अकाउंट खोलने से पहले यह सत्यापित करती हैं कि आप कौन हैं—कंप्यूटर अक्सर विफल हो जाते हैं।
- पुराना तरीका: पारंपरिक कंप्यूटर सरल नियमों का उपयोग करते हैं, जैसे कि दो नामों के बीच कितने अक्षर अलग हैं, इसकी गिनती करना। यह एक पहेली को सुलझाने जैसा है जहाँ आप केवल टुकड़ों के रंग को देखते हैं, उनके आकार को अनदेखा कर देते हैं। यदि कोई "Shubham" के बजाय "Subham" लिख देता है, तो कंप्यूटर भ्रमित हो जाता है।
- नया तरीका (LLMs): लार्ज लैंग्वेज मॉडल्स (AI) बुद्धिमान होते हैं, लेकिन यदि आप उनसे बस यह पूछते हैं कि "क्या ये दोनों नाम एक ही व्यक्ति के हैं?" तो वे कभी-कभी गलत अनुमान लगा लेते हैं क्योंकि उन्होंने पहले नामों के व्याकरण को नहीं सीखा है। वे संरचना और उत्तर को एक साथ सीखने की कोशिश करते हैं, जो एक छात्र को एक साथ थीसिस लिखने और गणित का सवाल हल करने के लिए कहने जैसा है।
समाधान: AI के लिए एक दो-चरणों वाला "स्कूल"
लेखकों ने एक पाठ्यक्रम (पाठ योजना) बनाया है ताकि उनके AI मॉडल को, जो Llama 3 नामक सिस्टम पर आधारित है, दो अलग-अलग चरणों में प्रशिक्षित किया जा सके। इसे एक नए कर्मचारी को प्रशिक्षित करने की तरह समझें:
चरण 1: "नेम आर्किटेक्ट" क्लास
नामों को अलग करने से पहले, AI को उन्हें टुकड़ों में तोड़ना सिखाया जाता है।
- कार्य: आप AI को "Kirtan Singh Rathore" जैसा एक अव्यवस्थित नाम देते हैं।
- पाठ: AI को एक साफ, संरचित सूची (जैसे कि एक JSON फ़ाइल) आउटपुट करनी होती है जो कहती है: प्रथम नाम: Kirtan, मध्य नाम: Singh, अंतिम नाम: Rathore।
- उपमा: कल्पना कीजिए कि एक बच्चे को जमे हुए लेगो ब्रिक्स के ढेर को "पहियों", "खिड़कियों" और "दीवारों" में छाँटना सिखाना, इससे पहले कि वह कार बनाने की कोशिश करे। AI यह सीखता है कि "Singh" अक्सर एक मध्य नाम या पारिवारिक नाम होता है, और "Rathore" पारिवारिक नाम है, चाहे वे किसी भी क्रम में दिखाई दें।
चरण 2: "डिटेक्टिव" क्लास
अब जब AI समझ चुका है कि नाम कैसे बनते हैं, तो उसे जासूस की भूमिका में पदोन्नत किया जाता है।
- कार्य: आप इसे दो नाम देते हैं (जैसे, "Rajeshk" और "Rajesh Kumar") और पूछते हैं, "क्या ये एक ही व्यक्ति हैं?"
- लाभ: चूंकि AI चरण 1 से पहले ही नामों को विघटित करना जानता है, इसलिए उसे निर्णय लेते समय संरचना का अनुमान लगाने की आवश्यकता नहीं होती। वह पूरी तरह से मिलान (मैच) करने पर ध्यान केंद्रित कर सकता है।
- परिणाम: यह यह पहचानने में अविश्वसनीय रूप से सटीक हो जाता है कि "Rajeshk" केवल "Rajesh Kumar" का एक टाइपो या संक्षिप्त रूप है।
परिणाम: एक अत्यंत सटीक प्रणाली
टीम ने इस प्रणाली का परीक्षण 50,000 वास्तविक-दुनिया के उदाहरणों पर किया, जो भारत से लिए गए हैं—एक ऐसा देश जो अपनी सबसे जटिल और विविध नामकरण परंपराओं के लिए जाना जाता है।
- पुराने तरीके: लगभग 57% से 85% सटीकता प्राप्त की।
- मानक AI (दो-चरणीय प्रशिक्षण के बिना): लगभग 91% सटीकता प्राप्त की।
- SGER (नई प्रणाली): इसने 99.02% सटीकता हासिल की।
इसका अर्थ है कि यह प्रणाली लगभग पूर्ण है यह बताने में कि क्या दो नाम एक ही व्यक्ति के हैं, भले ही नाम गलत लिखे गए हों, बदले गए हों, या उनमें स्पेस गायब हो।
वास्तविक दुनिया का प्रभाव: Dream11
यह केवल एक सिद्धांत नहीं है; यह पहले से ही काम कर रहा है। यह प्रणाली Dream11 में तैनात है, जो दुनिया का सबसे बड़ा फैंटेसी स्पोर्ट्स प्लेटफॉर्म है, जो 25 करोड़ (250 मिलियन) से अधिक उपयोगकर्ताओं की सेवा करता है।
- पहले: जब कंप्यूटर सुनिश्चित नहीं होता था, तो उसे मैन्युअल रूप से जांच के लिए किसी इंसान के पास भेजना पड़ता था। यह धीमा और महंगा था।
- बाद में: AI लगभग सब कुछ स्वचालित रूप से संभाल लेता है।
- लाभ: कंपनी सालाना $500,000 से अधिक की बचत करती है क्योंकि अब उन्हें इन मामलों को जांचने के लिए इंसानों को भुगतान करने की आवश्यकता नहीं है, और वैध उपयोगकर्ताओं को बिना प्रतीक्षा किए तुरंत सत्यापित किया जाता है।
सारांश
यह शोध पत्र तर्क देता है कि AI को किसी विशिष्ट, अव्यवस्थित काम (जैसे भारत में नाम मिलाना) में कुशल बनाने के लिए, आपको केवल डेटा उस पर फेंकना नहीं चाहिए। इसके बजाय, आपको पहले उसे खेल के नियम (नाम कैसे संरचित होते हैं) सिखाने चाहिए और फिर उसे खेल खेलना (नामों को मिलाना) सिखाना चाहिए। इस "करिकुलम" दृष्टिकोण ने एक अच्छे AI को एक लगभग पूर्ण AI में बदल दिया, जिससे एक वैश्विक कंपनी की बड़ी समस्या हल हो गई।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।