Fast and Accurate Quotation Attribution in Literary Texts
यह शोध पत्र "जॉइंट स्कोरिंग" (joint scoring) को प्रस्तुत करता है, जो एक कुशल एनकोडर-आधारित विधि है जो साहित्यिक ग्रंथों में उद्धरणों को वक्ताओं के साथ जोड़ने की सटीकता में अत्याधुनिक (state-of-the-art) स्तर प्राप्त करती है और गति के मामले में मानक विधियों एवं लार्ज लैंग्वेज मॉडल्स (LLMs) दोनों से काफी बेहतर प्रदर्शन करती है, और इसके अपनाने की सुविधा के लिए मॉडर्नबुकएनएलपी (ModernBookNLP) टूलकिट जारी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जासूस हैं जो हजारों पुरानी उपन्यासों से भरी एक विशाल, धूल भरी लाइब्रेरी में घूम रहे हैं। आपका काम एक विशिष्ट रहस्य को सुलझाना है: हर बार जब कहानी में कोई बोलता है, तो आपको यह पता लगाना होता है कि वह किसने कहा। कभी-कभी टेक्स्ट आसान होता है, जैसे "जॉन चिल्लाया," लेकिन अक्सर यह पेचीदा होता है, जैसे "उसने कहा," या यहाँ तक कि बिना किसी नाम के केवल एक उद्धरण (quote), जिससे आपको बातचीत के प्रवाह के आधार पर अनुमान लगाना पड़ता है। इस जासूसी कार्य को "कोटेशन एट्रिब्यूशन" (quotation attribution) कहा जाता है, और यह उन लोगों के लिए बहुत बड़ी बात है जो कंप्यूटर पर साहित्य का अध्ययन करना चाहते हैं। यदि कंप्यूटर यह नहीं बता सकता कि कौन बोल रहा है, तो वह पात्रों के बीच की दोस्ती को मैप नहीं कर सकता, न ही यह ट्रैक कर सकता है कि पूरी किताब में भावनाएं कैसे बदलती हैं, या किसी विशिष्ट व्यक्ति की अनूठी आवाज़ को समझ सकता है। लंबे समय तक, कंप्यूटर इसमें खराब रहे हैं। पुराना तरीका एक समय में एक सुराग की जांच करने जैसा था, जो तेज़ तो था लेकिन अक्सर गलत उत्तर देता था। नया, सुपर-स्मार्ट तरीका विशाल आर्टिफिशियल इंटेलिजेंस मस्तिष्क का उपयोग करता है जो अविश्वसनीय रूप से सटीक है, लेकिन इसे चलाने के लिए इतनी अधिक कंप्यूटिंग शक्ति की आवश्यकता होती है कि वे पूरी लाइब्रेरी का विश्लेषण करने के लिए व्यावहारिक रूप से बेकार हैं। बड़ा सवाल यह है: क्या हम एक ऐसा जासूस बना सकते हैं जो सुपर-स्मार्ट भी हो और सुपर-फास्ट भी?
यह शोध पत्र "जॉइंट स्कोरिंग" (joint scoring) नामक एक नई विधि पेश करता है जो इस समस्या को हल करने के लिए एक प्रतिभाशाली, कुशल जासूस की तरह कार्य करती है। प्रत्येक उद्धरण को अलग-थм देखने के बजाय, शोधकर्ताओं की प्रणाली कहानी के एक पूरे हिस्से को एक साथ देखती है, जैसे कि एक एकल अनुमान लगाने से पहले उपन्यास का एक पूरा पन्ना पढ़ना। उन्होंने पाया कि ऐसा करने से, कंप्यूटर याद रख सकता है कि बातचीत में पहले कौन बोल रहा था, भले ही पात्र टेक्स्ट में दूर हों। जब उन्होंने 22 क्लासिक अंग्रेजी उपन्यासों के संग्रह पर परीक्षण किया जिसमें 35,000 से अधिक उद्धरण थे, तो उनकी नई प्रणाली 94.5% बार सही उत्तर देती है। यह एक नया रिकॉर्ड है, जो पिछले सर्वोत्तम तरीकों को पीछे छोड़ देता है। इससे भी अधिक प्रभावशाली बात यह है कि उनकी प्रणाली मानक तेज़ तरीकों की तुलना में 20 गुना तेज़ है और विशाल AI मस्तिष्क की तुलना में 1,000 गुना से भी अधिक तेज़ है, और यह एक मानक ग्राफिक्स कार्ड पर चलती है।
इसका 'सीक्रेट सॉस' (secret sauce) केवल यह नहीं है कि कंप्यूटर स्मार्ट है; बल्कि यह है कि वह कैसे सोचता है। शोधकर्ताओं ने पाया कि पुराने, तेज़ तरीके उस छात्र की तरह थे जो पांच मिनट पहले पढ़ा हुआ भूल जाता है। वे एक उद्धरण को देखते और संदर्भ को याद रखे बिना बोलने वाले का अनुमान लगाने की कोशिश करते। हालाँकि, नया "जॉइंट स्कोरिंग" तरीका पूरे संदर्भ विंडो (context window) को एक साथ अपने दिमाग में रखता है। यह पता चला कि कंप्यूटर का अंतर्निखंड मस्तिष्क (एक मॉडल जिसे ModernBERT कहा जाता है) में पहले से ही "वह" (he) या "वह" (she) जैसे सर्वनामों को लंबी दूरी के बावजूद सही व्यक्ति से जोड़ने की स्वाभाविक प्रतिभा थी। पुराने तरीकों ने अनजाने में इस प्रतिभा को तोड़ दिया क्योंकि वे कंप्यूटर को एक-एक करके निर्णय लेने के लिए मजबूर करते थे। नया तरीका इस स्वाभाविक क्षमता को बनाए रखता है, जिससे सिस्टम को लंबी बातचीत में कड़ियों को जोड़ने की अनुमति मिलती है।
यह शोध पत्र क्षेत्र के कुछ सामान्य विचारों का खंडन भी करता है। लंबे समय तक, शोधकर्ताओं का मानना था कि कंप्यूटर के विफल होने का मुख्य कारण यह था कि वे सर्वनामों और उपनामों को अच्छी तरह से नहीं संभाल पाते थे, इसलिए उन्होंने उन्हें अनदेखा करने और केवल पूर्ण नामों को खोजने की कोशिश की। यह पेपर सुझाव देता है कि यह एक गलती थी। उनके प्रयोगों से पता चलता है कि सर्वनामों और उपनामों को शामिल करने से वास्तव में सिस्टम बहुत अधिक सटीक हो जाता है, विशेष रूप से उन पेचीदा स्थितियों में जहाँ वक्ता का नाम सीधे तौर पर नहीं लिया गया है। वे इस विचार को भी खारिज करते हैं कि अच्छे परिणाम प्राप्त करने के लिए आपको एक अत्यंत महंगे, विशाल AI की आवश्यकता है; उनका छोटा, तेज़ मॉडल गति और सटीकता दोनों में विशाल AI से बेहतर प्रदर्शन करता है।
यह साबित करने के लिए कि उनका सिस्टम केवल एक नियंत्रित लैब में नहीं, बल्कि वास्तविक दुनिया में काम करता है, उन्होंने 100 पुस्तक अंशों के एक अलग सेट पर परीक्षण किया जहाँ कंप्यूटर के पास पात्रों की संदर्भ सूची नहीं थी। बिना पहले से पात्रों की सूची जाने भी, उनकी प्रणाली ने आज के साहित्यिक शोधकर्ताओं द्वारा उपयोग किए जाने वाले मानक उपकरणों की तुलना में वक्ताओं को खोजने की सटीकता में लगभग 10 अंक का सुधार किया। लेखक सुझाव देते हैं कि यह दृष्टिकोण किताबों के विशाल संग्रहों को तेज़ी से और सटीक रूप से विश्लेषण करने के द्वार खोलता है, जिससे क्या कभी एक धीमा, त्रुटिपूर्ण कार्य था, वह कुशलतापूर्वक किया जाने वाला कार्य बन जाता है। उन्होंने अपना नया टूल, "ModernBookNLP" भी जारी कर दिया है, ताकि अन्य लोग भी इसका उपयोग कर सकें, इस उम्मीद में कि यह अधिक लोगों को साहित्य के छिपे हुए पैटर्न को खोजने में मदद करेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।