A Self-Healing Architecture for Mitigating Bibliographic Hallucinations in LLM-Generated Academic Texts
यह शोध पत्र एक नवीन स्व-उपचार (self-healing) आर्किटेक्चर प्रस्तुत करता है जो बहु-स्तरीय सत्यापन को एक कुशल वाक्य-आधारित परिशोधन प्रक्रिया के साथ जोड़कर, LLM द्वारा जनरेट किए गए शैक्षणिक ग्रंथों में ग्रंथ सूची संबंधी मतिभ्रम (bibliographic hallucinations) का स्वायत्त रूप से पता लगाता है और उन्हें कम करता है, जिससे उच्च पहचान सटीकता (0.96) प्राप्त होती है और विद्वत्तापूर्ण अखंडता सुनिश्चित करते हुए कम्प्यूटेशनल लागतों में उल्लेखनीय कमी आती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लेखन की आधुनिक दुनिया में, कंप्यूटर उल्लेखनीय रूप से कुशल साथी बन गए हैं। वे निबंधों का मसौदा तैयार कर सकते हैं, जटिल रिपोर्टों का सारांश निकाल सकते हैं, और एक अनुभवी विद्वान के लहजे की नकल आश्चर्यजनक सहजता के साथ कर सकते हैं। ये उपकरण, जिन्हें 'लार्ज लैंग्वेज मॉडल' कहा जाता है, पाठ की विशाल मात्रा से सीखे गए पैटर्न के आधार पर वाक्य में अगले शब्द की भविष्यवाणी करके कार्य करते हैं। हालाँकि, इस शक्ति में एक छिपी हुई कमजोरी भी है। क्योंकि ये सिस्टम वास्तविक दुनिया के सख्त तथ्यों के बजाय भाषा के प्रवाह को प्राथमिकता देते हैं, इसलिए वे कभी-कभी ऐसे विवरण गढ़ देते हैं जो पूरी तरह से विश्वसनीय लगते हैं लेकिन पूरी तरह से गलत होते हैं। शैक्षणिक लेखन के क्षेत्र में, यह समस्या फुटनोट्स (पाद-टिप्पणियों) और संदर्भ सूचियों में सबसे खतरनाक रूप से प्रकट होती है। एक कंप्यूटर एक ऐसा उद्धरण (citation) बना सकता है जो शीर्षक, लेखक और 'DOI' नामक एक विशिष्ट डिजिटल कोड के साथ बिल्कुल सही दिखता है, केवल तभी जब एक मानव पाठक यह पता लगाए कि वह शोध पत्र अस्तित्व में ही नहीं था, लेखक ने उसे कभी लिखा ही नहीं था, या उसकी तिथि असंभव थी। यह घटना, जिसे 'हैलुसिनेशन' (hallination) कहा जाता है, अनुसंधान की अखंडता के लिए खतरा पैदा करती है, क्योंकि ऐसे दस्तावेज़ प्रस्तुत करने वाले पेशेवरों को पहले ही कानूनी और शैक्षणिक दंड दिए जा चुके हैं।
इटली के यूनिवर्सिटी ऑफ इनसुब्रिया के शोधकर्ताओं की एक टीम ने एक नई प्रणाली विकसित की है जिसे इन त्रुटियों को स्वचालित रूप से पकड़ने और ठीक करने के लिए डिज़ाइन किया गया है। वे अपनी इस रचना को एक "सेल्फ-हीलिंग" (स्वयं ठीक होने वाली) संरचना कहते हैं। कंप्यूटर को शुरुआत से ही पूर्ण बनाने की कोशिश करने के बजाय, जो कि कठिन साबित हुआ है, उनका सिस्टम एक कठोर संपादक के रूप में कार्य करता है जो पाठ लिखे जाने के बाद हस्तक्षेप करता है। यह एक चार-चरणीय प्रक्रिया के माध्यम से संचालित होता है जो एक सावधानीपूर्वक मानव समीक्षा की नकल करता है। सबसे पहले, सिस्टम पूरे दस्तावेज़ को स्कैन करता है ताकि हर एक संदर्भ को खोजा जा सके, चाहे उसका प्रारूप कैसा भी हो। इसके बाद, यह एक तथ्य-जांचकर्ता (fact-checker) के रूप में कार्य करता है, और प्रत्येक उद्धरण को आधिकारिक, विश्वसनीय डेटाबेस में भेजता है जो वास्तविक वैज्ञानिक प्रकाशनों के रिकॉर्ड रखते हैं, ताकि यह देखा जा सके कि वे मेल खाते हैं या नहीं। यदि कोई संदर्भ फर्जी या गलत पाया जाता है, तो सिस्टम उसे हटा देता है या उसे सही विवरणों के साथ बदल देता है। अंत में, यह उन वाक्यों को फिर से लिखता है जहाँ परिवर्तन किए गए थे ताकि यह सुनिश्चित हो सके कि पाठ अभी भी सुचारू रूप से पढ़ा जा सके और व्याकरणिक रूप से सही हो। यह दृष्टिकोण कंप्यूटर को प्रारंभिक मसौदा तैयार करने की अनुमति देता है जबकि एक अलग, साक्ष्य-आधारित परत यह सुनिश्चित करती है कि अंतिम उत्पाद भरोसेमंद हो।
यह परीक्षण करने के लिए कि क्या यह विधि काम करती है, शोधकर्ताओं ने एक हजार उद्धरणों का एक बड़ा संग्रह बनाया। कुछ वास्तविक थे, जबकि अन्य जानबूझकर उन गलतियों की नकल करने के लिए बदले गए थे जो कंप्यूटर करते हैं, जैसे कि एक डिजिटल कोड बनाना या प्रकाशन वर्ष बदलना। उन्होंने यह देखने के लिए कि सेल्फ-हीलिंग सिस्टम नकली उद्धरणों को कितनी अच्छी तरह पकड़ सकता है, इन उद्धरणों को चार अलग-अलग प्रमुख कंप्यूटर मॉडलों के माध्यम से चलाया। परिणाम उत्साहजनक थे। सिस्टम ने फर्जी संदर्भों के बड़े हिस्से को सफलतापूर्वक पहचाना, और 96 प्रतिशत से अधिक की सटीकता दर हासिल की। यह उन उद्धरणों को पकड़ने में विशेष रूप से प्रभावी था जिनके डिजिटल कोड किसी भी वास्तविक डेटाबेस में मौजूद नहीं थे। बिना इस सुरक्षा कवच के एक कंप्यूटर मॉडल का उपयोग करते हुए किए गए बेसलाइन परीक्षण में, लगभग 40 प्रतिशत जनरेट किए गए डिजिटल कोड फर्जी थे, जिसका अर्थ है कि लगभग आधे संदर्भ पाठकों को मृत अंत (dead ends) की ओर ले जाते। सेल्फ-हीलिंग सिस्टम के होने से, वे त्रुटियाँ पकड़ी गईं और सुधारी गईं।
शोधकर्ताओं ने यह भी पाया कि दक्षता के लिए सिस्टम द्वारा पाठ को फिर से लिखने का तरीका बहुत मायने रखता है। प्रारंभ में, उन्होंने विचार किया कि जब भी कंप्यूटर को कोई त्रुटि मिले तो उसे पूरा पैराग्राफ फिर से लिखवाना चाहिए। हालाँकि, उन्होंने पाया कि यह एक धीमी और महंगी प्रक्रिया थी, जिसमें बड़ी मात्रा में कंप्यूटिंग शक्ति खर्च होती थी। इसके बजाय, उन्होंने सिस्टम को केवल उन विशिष्ट वाक्यों पर ध्यान केंद्रित करने के लिए अनुकूलित किया जिनमें त्रुटियाँ थीं। केवल टूटे हुए हिस्सों को अलग करके और उन्हें ठीक करके, सिस्टम ने पाठ को संसाधित करने में लगने वाले समय को लगभग 68 प्रतिशत कम कर दिया और कंप्यूटिंग संसाधनों की लागत को भी समान मार्जिन से कम कर दिया। इसका अर्थ है कि इस टूल का उपयोग बड़े दस्तावेजों पर बिना बहुत धीमा या महंगा हुए व्यावहारिक रूप से किया जा सकता है।
अध्ययन यह स्वीकार करता है कि यह प्रणाली पूर्ण नहीं है और उन डेटाबेस पर निर्भर करती है जिनकी यह जाँच करती है। यदि कोई वास्तविक पेपर मौजूद है लेकिन उन विशिष्ट रिकॉर्डों में दर्ज नहीं किया गया है, तो सिस्टम उसे गलती से फर्जी मान सकता है। इसके अलावा, परीक्षणों में उन उद्धरणों का उपयोग किया गया था जिन्हें शोधकर्ताओं द्वारा त्रुटियों का अनुकरण करने के लिए जानबूझकर दूषित किया गया था, न कि केवल कंप्यूटर द्वारा स्वतः उत्पन्न पाठ का। इसका अर्थ यह है कि देखे गए उच्च सफलता दरें सिस्टम की क्षमता का एक मजबूत संकेतक हैं, लेकिन वास्तविक दुनिया का प्रदर्शन थोड़ा भिन्न हो सकता है। इन सीमाओं के बावजूद, यह कार्य प्रदर्शित करता है कि सत्यापन की एक बाहरी परत जोड़ने से मशीन-जनित शैक्षणिक लेखन की विश्वसनीयता में काफी सुधार हो सकता है। कृत्रिम बुद्धिमत्ता की गति को तथ्यात्मक सत्यापन के सख्त नियमों के साथ जोड़कर, शोधकर्ताओं ने एक ऐसा उपकरण बनाया है जो यह सुनिश्चित करने में मदद करता है कि विद्वत्तापूर्ण रिकॉर्ड सटीक बना रहे, भले ही पहला मसौदा किसी मशीन से आया हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।