Candidate information structure reduces over-alignment in LLM- based concept mapping
यह शोध पत्र प्रदर्शित करता है कि LLM-आधारित कॉन्सेप्ट मैपिंग सिस्टम, उम्मीदवार सेटों को तुलनीय और अपवर्जनीय (excludable) प्रारूपों में व्यवस्थित करके, गैर-मैपेबल शब्दों पर ओवर-अलाइनमेंट त्रुटियों को काफी कम कर सकते हैं, जो एक ऐसा डिज़ाइन सिद्धांत है जो केवल सही उत्तर प्रदान करने या रिट्रीवल में सुधार करने की तुलना में अधिक प्रभावी सिद्ध होता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस के विशाल परिदृश्य में, लार्ज लैंग्वेज मॉडल्स मानव भाषा को संरचित डेटा में अनुवाद करने के लिए शक्तिशाली उपकरण बन गए हैं। एक ऐसे लाइब्रेरियन की कल्पना करें जो लाखों किताबों को तुरंत एक सटीक कैटलॉग में छाँट सकता है। डिजिटल दुनिया में, यह कार्य किसी टेक्स्ट से एक वाक्यांश लेने और उसे डेटाबेस में एक विशिष्ट, पूर्व-अनुमोदित अवधारणा (concept) से मिलाने का है, जैसे कि कोई चिकित्सा निदान कोड या ऐतिहासिक शब्द। ज्ञान को व्यवस्थित करने के लिए यह प्रक्रिया आवश्यक है, लेकिन इसमें एक छिपा हुआ जोखिम भी है। जब मॉडल को एक ऐसा वाक्यांश मिलता है जो वास्तव में किसी मौजूदा अवधारणा से मेल नहीं खाता, तो वह अक्सर हार मानने से इनकार कर देता है। "इसका कोई मिलान नहीं है" कहने के बजाय, वह आत्मविश्वास के साथ उसे सबसे मिलते-जुलते विकल्प से जोड़ने का प्रयास करता है, जिससे एक गलत संबंध बन जाता है। यह व्यवहार, जिसे 'ओवर-अलाइनमेंट' कहा जाता है, डेटाबेस को ऐसी त्रुटियों से दूषित कर सकता है जो दिखने में सही लगती हैं लेकिन मौलिक रूप से गलत होती हैं।
शोधकर्ताओं को लंबे समय से संदेह था कि केवल मॉडल को सही उत्तर देने से इस समस्या को ठीक किया जा सकता है। तर्क सीधा था: यदि मॉडल भ्रमित है, तो उसे सही विकल्प दिखाने से वह अनुमान लगाना बंद कर देना चाहिए। हालांकि, एक नया अध्ययन इस धारणा को चुनौती देता है, और यह खुलासा करता है कि जानकारी कैसे प्रस्तुत की जाती है, यह उतना ही महत्वपूर्ण है जितना कि स्वयं जानकारी। विशेषज्ञों द्वारा सहमति दिए गए उन शब्दों के साथ मॉडल्स का परीक्षण करते हुए, जिन्होंने कोई समकक्ष नहीं पाया था, टीम ने पाया कि आर्टिफिशियल इंटेलिजेंस को रोकने की कुंजी सूचना की संरचना में निहित है।
अध्ययन की शुरुआत इस बात की पुष्टि करके हुई कि यह त्रुटि व्यापक और जिद्दी है। शोधकर्ताओं ने प्राचीन चीनी गणित के 181 शब्दों के सेट पर चार अलग-अलग लार्ज लैंग्वेज मॉडल्स का परीक्षण किया। इस क्षेत्र में, विशेषज्ञों ने पुष्टि की थी कि इन विशिष्ट शब्दों का लक्षित डेटाबेस में कोई वैध मिलान नहीं था। इसके बावजूद, मॉडल्स किसी न किसी संबंध को जबरदस्ती बनाने के लिए बेहद उत्सुक थे। सबसे आत्मविश्वासी मॉडल्स ने इन मामलों में 94% से अधिक बार जबरदस्ती मिलान किया, जो अक्सर उच्च निश्चितता के साथ था। जब मॉडल्स गलत थे, तब भी वे शायद ही कभी अनिश्चितता स्वीकार करते थे; इसके बजाय, वे अपने गलत विकल्पों पर अड़े रहे। इसने पुष्टि की कि समस्या ज्ञान की कमी या निर्णय में क्षणिक चूक नहीं थी, बल्कि मिलान खोजने को यह पहचानने से प्राथमिकता देने की एक निरंतर प्रवृत्ति थी कि कब कोई मिलान मौजूद नहीं है।
यह समझने के लिए कि ऐसा क्यों होता है, शोधकर्ताओं ने सूचना प्रस्तुत करने के विभिन्न तरीकों का परीक्षण करने के लिए एक विशिष्ट मॉडल का उपयोग करते हुए एक नियंत्रित प्रयोग डिजाइन किया। उन्होंने चार अलग-अलग परिदृश्य बनाए। पहले में, मॉडल को बिना किसी सहायता के एक शब्द दिया गया। दूसरे में, मॉडल को वह शब्द और उसके साथ एक सीधा संकेत दिया गया जो एक विशिष्ट सही मैपिंग कोड की ओर इशारा करता था, जो एक "सही लेकिन सूचनात्मक रूप से विरल" (informationally sparse) बाधा का प्रतिनिधित्व करता था। तीसरे परिदृश्य में, मॉडल को संभावित उम्मीदवारों की एक सूची दिखाई गई जिसमें सही उत्तर शामिल था, लेकिन सूची इस तरह व्यवस्थित थी कि मॉडल विकल्पों की आपस में तुलना कर सके। चौथे परिदृश्य में, उन्होंने उसी सूची के क्रम को बदल दिया यह देखने के लिए कि क्या व्यवस्था मायने रखती है।
परिणाम चौंकाने वाले थे। केवल सही उत्तर को एक एकल संकेत के रूप में प्रदान करने से मॉडल के प्रदर्शन में सुधार तो हुआ, लेकिन यह पूर्णतः सफल नहीं रहा। मॉडल अभी भी गलत विकल्पों को खारिज करने में संघर्ष कर रहा था जब उन्हें एक एकल, अलग तथ्य के रूप में प्रस्तुत किया गया था। हालांकि, जब मॉडल को उम्मीदवारों की एक संरचित सूची दी गई जिसकी वह तुलना कर सके, तो उसकी सटीकता काफी बढ़ गई। प्राचीन गणित के क्षेत्र में, इस संरचित दृष्टिकोण ने एकल-संकेत विधि की तुलना में सटीकता में लगभग 30 प्रतिशत अंकों का सुधार किया। क्लिनिकल डोमेन में भी सुधार उतना ही बड़ा था। महत्वपूर्ण रूप से, जब शोधकर्ताओं ने उसी सूची के क्रम को उलट दिया, तो प्रदर्शन गिर गया, जिससे सिद्ध हुआ कि सूचना की विशिष्ट व्यवस्था ही सफलता का आधार थी। मॉडल को यह समझने के लिए विकल्पों को अगल-बगल देखने की आवश्यकता थी कि उनमें से कोई भी विवरण के साथ सही ढंग से फिट नहीं बैठता है।
टीम ने यह भी जांचा कि क्या बेहतर खोज उपकरण (search tools) इस समस्या को हल कर सकते हैं। उन्होंने तीन अलग-अलग प्रणालियों का परीक्षण किया जिन्हें मॉडल के विचार के लिए सबसे प्रासंगिक उम्मीदवारों को खोजने के लिए डिज़ाइन किया गया था। हालांकि ये उपकरण बुनियादी संकेत विधि की तुलना में सही उम्मीदवारों को खोजने में बेहतर थे, फिर भी वे संरचित सूची दृष्टिकोण द्वारा प्राप्त उच्च सटीकता स्तरों तक पहुँचने में विफल रहे। इसने इस विचार को खारिज कर दिया कि समस्या केवल यह थी कि मॉडल सही उत्तर नहीं ढूंढ पा रहा था। मुद्दा 'रिट्रीवल' (retrieval) के बारे में नहीं था; यह इस बारे में था कि मॉडल सूचना प्राप्त करने के बाद उसे कैसे प्रोसेस करता है। संरचित सूची ने एक मचान (scaffold) के रूप में कार्य किया, जिससे मॉडल को विकल्पों के बीच समानता और अंतर को तौलने और यह महसूस करने में मदद मिली कि उनमें से कोई भी वास्तव में विवरण पर खरा नहीं उतरता।
यह निष्कर्ष इस बात की ओर संकेत करता है कि हम ज्ञान को व्यवस्थित करने के लिए आर्टिफिशियल इंटेलिजेंस पर निर्भर प्रणालियों का निर्माण कैसे करते हैं, इसमें एक मौलिक बदलाव की आवश्यकता है। केवल मॉडल को सही डेटा देना या सही शब्दों को खोजने के लिए शक्तिशाली खोज इंजनों पर भरोसा करना पर्याप्त नहीं है। सूचना को इस तरह प्रस्तुत किया जाना चाहिए जो तुलना और आलोचनात्मक मूल्यांकन को प्रोत्साहित करे। उम्मीदवारों को एक स्पष्ट, तुलनीय संरचना में व्यवस्थित करके, डेवलपर्स मॉडल को उसके अपने ज्ञान की सीमाओं को पहचानने में मदद कर सकते हैं। यह दृष्टिकोण न केवल सटीकता में सुधार करता है; यह सिस्टम को यह सिखाता है कि कब रुकना है और कहना है "मुझे नहीं पता," जो अक्सर एक ज्ञान प्रणाली के लिए सबसे महत्वपूर्ण निर्णय होता है। यह अध्ययन पुष्टि करता है कि प्रश्न की संरचना उतनी ही महत्वपूर्ण है जितना कि स्वयं उत्तर।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।