Auditing and mitigating high-confidence false relation edges in LLM-assisted scientometric extraction
यह शोध पत्र एक विक्षोभ-आधारित (perturbation-based) ऑडिट और शमन ढांचे का प्रस्ताव और मूल्यांकन करता है जो यह प्रदर्शित करता है कि कैसे एंटिटी नॉइज़ (entity noise), एलएलएम-जनित साइंटोमेट्रिक ग्राफ में उच्च-विश्वास वाले गलत संबंध जोखिमों को बढ़ाती है, जिससे यह स्पष्ट होता है कि एंटिटी- और साक्ष्य-जागरूक अपवंचन रणनीतियाँ (entity- and evidence-aware abstention strategies) ग्राफ की अखंडता बनाए रखने में सरल कॉन्फिडेंस फ़िल्टरिंग की तुलना में प्रभावी रूप से बेहतर प्रदर्शन करती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मानव ज्ञान के विशाल पुस्तकालय में, वैज्ञानिक और पुस्तकालयाध्यक्ष नए शोध की बाढ़ को व्यवस्थित करने के लिए तेजी से आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) की ओर मुड़ रहे हैं। वे इन स्मार्ट कंप्यूटर प्रोग्रामों का उपयोग लाखों वैज्ञानिक सारांशों (एब्स्ट्रैक्ट्स) को पढ़ने और विशिष्ट तथ्यों को निकालने के लिए करते हैं: किस शोधकर्ता ने एक नई विधि का आविष्कार किया, किसी विशिष्ट कार्य के लिए किस सॉफ्टवेयर टूल का उपयोग किया गया था, या एक खोज दूसरी खोज से कैसे जुड़ी है। इन निकाले गए तथ्यों को फिर विज्ञान के विशाल डिजिटल मानचित्र बनाने के लिए आपस में जोड़ा जाता है, जिससे शोधकर्ताओं को पैटर्न खोजने, विचारों के इतिहास को ट्रैक करने और विभिन्न क्षेत्रों के प्रभाव का मूल्यांकन करने में मदद मिलती है। इन मानचित्रों के उपयोगी होने के लिए, तथ्यों के बीच के संबंध सटीक होने चाहिए। यदि कंप्यूटर एक विधि को गलत कार्य से जोड़ देता है, या ऐसा दावा करता है जो अस्तित्व में ही नहीं है, तो पूरा मानचित्र विकृत हो जाता है, जिससे स्पष्टता के बजाय भ्रम पैदा होता है।
मुख्य चुनौती इस बात में निहित है कि ये सिस्टम वाक्य के निर्माण खंडों (बिल्डिंग ब्लॉक्स): संस्थाओं (entities) को कैसे संभालते हैं। एक वैज्ञानिक पाठ में, एक 'एंटिटी' एक विशिष्ट नाम या शब्द होता है, जैसे कि किसी दवा का नाम या कोई शोध तकनीक। कंप्यूटर को पहले इन नामों की सही पहचान करनी होगी और फिर यह तय करना होगा कि क्या उनके बीच कोई संबंध मौजूद है। जिलिन यूनिवर्सिटी के शोधकर्ताओं द्वारा किया गया एक नया अध्ययन इस बात की जांच करता है कि क्या होता है जब कंप्यूटर नामों को थोड़ा गलत कर देता है। उन्होंने एक महत्वपूर्ण प्रश्न पूछा: यदि इनपुट डेटा दूषित या थोड़ा परिवर्तित है, तो क्या आर्टिफिशियल इंटेलिजेंस अभी भी आत्मविश्वास के साथ एक ऐसा संबंध बना लेगा जो वहां मौजूद ही नहीं है? उनके निष्कर्ष एक चिंताजनक प्रवृत्ति को प्रकट करते हैं जहाँ, टूटे हुए या गलत मेल वाले डेटा के बावजूद, सिस्टम अक्सर उच्च निश्चितता के साथ एक मजबूत संबंध बनाने पर जोर देता है, जो प्रभावी रूप से ऐसे तथ्यों की कल्पना (hallucination) करता है जो पूरे वैज्ञानिक समुदाय को गुमराह कर सकते हैं।
इसका परीक्षण करने के लिए, शोधकर्ताओं ने दो अलग-अलग वैज्ञानिक पाठ संग्रहों का उपयोग करके एक नियंत्रित प्रयोग स्थापित किया। एक डेटासेट में व्यापक विषयों को कवर करने वाले सामान्य वैज्ञानिक सारांश थे, जबकि दूसरे में मधुमेह (डायबिटीज) अनुसंधान के एक संकीर्ण क्षेत्र पर ध्यान केंद्रित किया गया था। उन्होंने उन संस्थाओं के जोड़े लिए जिनके बीच वास्तविक संबंध ज्ञात था और जानबूझकर उनमें छोटी त्रुटियां डालीं। कुछ मामलों में, उन्होंने एक शब्द की सीमाओं को खिसका दिया, जिससे एक अक्षर कट गया या एक जुड़ गया। अन्य मामलों में, उन्होंने शब्द को बिल्कुल वैसा ही रखा लेकिन कंप्यूटर को बताया कि यह एक अलग श्रेणी से संबंधित है, जैसे कि एक सॉफ्टवेयर टूल को रासायनिक यौगिक के रूप में लेबल करना। लक्ष्य यह देखना था कि जब संबंध के लिए साक्ष्य मौलिक रूप से त्रुटिपूर्ण होते हैं, तो आर्टिफिशियल इंटेलिजेंस कैसे प्रतिक्रिया देता है।
परिणामों ने दिखाया कि जब इनपुट डेटा दूषित था, तो कंप्यूटर का प्रदर्शन काफी गिर गया, लेकिन उस तरह से नहीं जैसा कि कोई उम्मीद करता है। "मुझे नहीं पता" कहने या संबंध बनाने से इनकार करने के बजाय, सिस्टम अक्सर एक विशिष्ट संबंध ही उत्पन्न करता रहा। अधिक चिंताजनक बात यह थी कि इसने अत्यधिक आत्मविश्वास के साथ ऐसा किया। सामान्य विज्ञान डेटासेट में, जब शोधकर्ताओं ने ये त्रुटियां डालीं, तो इन आत्मविश्वासी लेकिन गलत कनेक्शनों की दर लगभग 24 प्रतिशत के आधार स्तर से बढ़कर लगभग 49 प्रतिशत हो गई। मधुमेह डेटासेट में भी जोखिम बढ़ गया, हालांकि कुल संख्या कम थी, जो यह सुझाव देती है कि वैज्ञानिक क्षेत्र की संरचना स्वयं कभी-कभी इन त्रुटियों के विरुद्ध एक सुरक्षा कवच (बफर) के रूप में कार्य करती है। अध्ययन में पाया गया कि कंप्यूटर केवल अनुमान नहीं लगा रहा था; वह अमान्य साक्ष्य के आधार पर आत्मविश्वास के साथ तथ्य प्रस्तुत कर रहा था, एक ऐसी घटना जिसे शोधकर्ता "एंटिटी-एविडेंस सब्स्टीट्यूशन" (संस्था-साक्ष्य प्रतिस्थापन) कहते हैं।
शोधकर्ताओं ने पाया कि कंप्यूटर अपने सामने मौजूद विशिष्ट साक्ष्य के बजाय अपने प्रशिक्षण डेटा से सीखे गए व्यापक पैटर्न पर निर्भर था। भले ही विशिष्ट नाम सही ढंग से मेल नहीं खा रहे थे, फिर भी सिस्टम ने एक संभावित पैटर्न देखा और उस अंतर को एक आत्मविश्वासी दावे के साथ भर दिया। उदाहरण के लिए, यदि पाठ में एक विधि और एक कार्य का उल्लेख है, तो कंप्यूटर उन्हें आपस में जोड़ सकता है भले ही विधि या कार्य के विशिष्ट नाम बिगड़ गए हों। सिस्टम का आंतरिक तर्क वास्तविक शब्दों की वैधता के बजाय वाक्य के सामान्य आकार को प्राथमिकता देता प्रतीत हुआ, जिससे यह एक ऐसा संबंध बनाने की ओर ले गया जो सतह पर तो सही दिखता है लेकिन एक टूटे हुए आधार पर निर्मित है।
इस व्यवहार के वैज्ञानिक ज्ञान मानचित्रों के निर्माण के लिए गंभीर निहितार्थ हैं। शोधकर्ताओं ने सिम्युलेट किया कि यदि इन गलत कनेक्शनों को वैज्ञानिक तथ्यों के नेटवर्क में जोड़ा जाता है तो क्या होगा। उन्होंने पाया कि इन आत्मविश्वासी त्रुटियों ने केवल कुछ गलत रेखाएं ही नहीं जोड़ीं; बल्कि उन्होंने पूरे नेटवर्क की संरचना को ही बदल दिया। गलत कनेक्शनों ने असंबंधित विचारों के बीच नए मार्ग बना दिए और कुछ नोड्स के महत्व को बदल दिया, जिससे कुछ विषय वास्तव में जितने हैं उससे कहीं अधिक केंद्रीय या जुड़े हुए दिखाई देने लगे। वास्तविक दुनिया के परिदृश्य में, इसका अर्थ यह हो सकता है कि किसी विशिष्ट उपकरण की तलाश कर रहा शोधकर्ता एक गलत रास्ते पर जा सकता है, या वैज्ञानिक क्षेत्र का इतिहास गलत लिंक के साथ फिर से लिखा जा सकता है।
इसे संबोधित करने के लिए, अध्ययन ने "एंटिटी-अवेयर एब्स्टेंशन" (संस्था-जागरूक परहेज) नामक एक नए सुरक्षा तंत्र का परीक्षण किया। केवल कंप्यूटर के स्व-रिपोर्ट किए गए आत्मविश्वास स्कोर पर भरोसा करने के बजाय, यह दृष्टिकोण सिस्टम को अपने काम की दोबारा जांच करने के लिए कहता है। एक संबंध को अंतिम रूप देने से पहले, सिस्टम को यह सत्यापित करने का निर्देश दिया जाता है कि वह किन नामों को जोड़ रहा है और क्या उस विशिष्ट संबंध का समर्थन करने के लिए स्पष्ट पाठ साक्ष्य मौजूद हैं। जब यह अतिरिक्त जांच लागू की गई, तो रिटेन (बचे हुए) गलत कनेक्शनों की संख्या काफी कम हो गई। सामान्य विज्ञान डेटासेट में, इस पद्धति ने कम आत्मविश्वास वाले उत्तरों को फ़िल्टर करने की तुलना में उच्च-आत्मविश्वास वाले गलत किनारों (edges) को अधिक प्रभावी ढंग से कम किया। अध्ययन का सुझाव है कि आर्टिफिशियल इंटेलिजेंस को विज्ञान के लिए एक विश्वसनीय साथी बनने के लिए, इसे यह पहचानना सिखाया जाना चाहिए कि इसके अपने साक्ष्य कब कमजोर हैं और संबंध बनाने के बजाय पीछे हटना चाहिए।
शोध निष्कर्ष निकालता है कि हालांकि लार्ज लैंग्वेज मॉडल वैज्ञानिक ज्ञान को व्यवस्थित करने के लिए शक्तिशाली उपकरण हैं, लेकिन वे अचूक नहीं हैं। उन्हें इनपुट में सूक्ष्म त्रुटियों द्वारा छला जा सकता है, जिससे आत्मविश्वासी लेकिन गलत निष्कर्ष निकल सकते हैं जो वैज्ञानिक डेटाबेस में लहरें पैदा कर सकते हैं। अध्ययन इन प्रणालियों के ऑडिट करने के लिए एक व्यावहारिक ढांचा प्रदान करता है, यह दिखाते हुए कि अंतिम उत्तर की जांच करने के जितना महत्वपूर्ण निर्माण खंडों (building blocks) की वैधता की जांच करना है। आत्मविश्वास स्कोर को प्रत्यक्ष साक्ष्य जांचों के साथ जोड़कर, वैज्ञानिक अधिक मजबूत सिस्टम बना सकते हैं जो गलत संबंध बनाने की संभावना कम रखते हैं, जिससे यह सुनिश्चित होता है कि मानव ज्ञान के मानचित्र सटीक और विश्वसनीय बने रहें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।