Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
यह शोध पत्र यह प्रकट करता है कि जहाँ लार्ज लैंग्वेज मॉडल्स के पास अपने ज्ञान की सीमाओं और आगामी संदर्भों की विशिष्टता को दर्शाने वाले आंतरिक संकेत मौजूद होते हैं, वहीं वे जनरेशन (generation) के दौरान इन संकेतोंों का सामंजस्य बिठाने में विफल रहते हैं, जिससे वे एक ग्राइसियन (Gricean) सहकारी वक्ता की तरह सुरक्षित और सामान्य दावों पर लौटने के बजाय अज्ञात संस्थाओं के बारे में विशिष्ट विवरण गढ़ने लगते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप अपने एक ऐसे दोस्त से बात कर रहे हैं जिसने अब तक लिखी गई लगभग हर किताब पढ़ ली है, लेकिन वह कुछ सालों से लाइब्रेरी नहीं गया है। यदि आप उससे किसी प्रसिद्ध लेखक के बारे में पूछते हैं जिसे वह निश्चित रूप से जानता है, तो वह आपको ठीक-ठीक बता सकता है कि वह लेखक किस सड़क पर रहता था। लेकिन यदि आप उससे किसी नए लेखक के बारे में पूछते जिसने कल ही अपनी किताब प्रकाशित की है, तो हो सकता है कि वह उसे न जानता हो। एक वास्तव में मददगार और ईमानदार दोस्त कहेगा, "मैंने उनके बारे में नहीं सुना है, लेकिन वे शायद एक लेखक होंगे।" हालांकि, यदि आपका दोस्त प्रभावित करने के लिए बहुत अधिक उत्सुक है, तो वह एक सड़क का नाम और एक जीवनी मनगढ़ंत बना सकता है, यह दिखाने के लिए कि वह सब कुछ जानता है। यह बिल्कुल वही समस्या है जिसका सामना आधुनिक आर्टिफिशियल इंटेलिजेंस (AI), विशेष रूप से लार्ज लैंग्वेज मॉडल्स (LLMs) कर रहे हैं। ये AI सिस्टम उन 'सुपर-रीडर्स' की तरह हैं जो अपने ट्रेनिंग डेटा से तथ्यों को याद कर सकते हैं, लेकिन जब वे किसी नई या अज्ञात चीज़ का सामना करते हैं, तो वे अक्सर "हैलुसिनेट" (hallucinate) करते हैं—यानी, वे सच बोलने के बजाय काल्पनिक लगने वाले विवरण गढ़ लेते हैं।
इसे कैसे ठीक किया जाए, यह समझने के लिए वैज्ञानिक भाषाविज्ञान (linguistics) के एक सिद्धांत की ओर देखते हैं जिसे दार्शनिक ग्राइस (Grice) द्वारा प्रस्तावित "कोऑपरेटिव प्रिंसिपल" (सहकारी सिद्धांत) कहा जाता है। विचार सरल है: एक अच्छी बातचीत में, लोग मददगार होने की कोशिश करते हैं (पर्याप्त जानकारी देना) लेकिन साथ ही ईमानदार भी होते हैं (केवल वही कहना जो वे जानते हैं)। यदि आप विशिष्ट विवरण नहीं जानते हैं, तो एक सहकारी वक्ता एक सुरक्षित, अधिक सामान्य उत्तर की ओर "पीछे हट" (retreat) जाता है। उदाहरण के लिए, किसी विशिष्ट शहर का अनुमान लगाने के बजाय, वे केवल कह सकते हैं "ऑस्ट्रेलिया का एक शहर।" यह शोध पत्र एक दिलचस्प सवाल पूछता है: क्या AI मॉडल्स के पास इसे करने के लिए आंतरिक "ब्रेक" हैं? क्या वे जानते हैं कि वे अनुमान लगा रहे हैं, और क्या वे मनगढ़ंत जानकारी देने के बजाय अस्पष्ट होना चुन सकते हैं?
कोलोराडो विश्वविद्यालय, बोल्डर के शोधकर्ता डैनंजय श्रीनिवास, सक्षम खतवानी और मारिया पाचेको ने इसकी जांच करने के लिए इन AI मॉडल्स के "मस्तिष्क" के भीतर झाँकने का निर्णय लिया। उन्होंने लोगों, कंपनियों, उत्पादों और कौशलों के तथ्यों के एक डेटासेट का उपयोग करके एक विशेष परीक्षण बनाया। AI को यह महसूस कराने के लिए कि वह कुछ नहीं जानता, उन्होंने लोगों और कंपनियों के नकली नाम बनाए जिन्हें AI ने पहले कभी नहीं देखा था। इसके बाद उन्होंने AI से वाक्यों के रिक्त स्थान भरने के लिए कहा, जैसे "एलन पाइपर का जन्म [खाली स्थान] में हुआ था।"
यहाँ उन्हें क्या पता चला, और यह मिला-जुला परिणाम है। सबसे पहले, उन्होंने पाया कि AI वास्तव में जानता है कि वह ऐसी चीज़ के साथ काम कर रहा है जिसे उसने पहले कभी नहीं देखा है। यदि आप मॉडल के मस्तिष्क के भीतर के विद्युत संकेतों (activations) को देखते हैं, तो एक स्पष्ट पैटर्न दिखाई देता है जो कहता है, "हे, यह नाम मेरे लिए नया है!" मॉडल के पास एक दूसरा संकेत भी है जो यह भविष्यवाणी करता है कि क्या वह एक विशिष्ट उत्तर (जैसे "विक्टोरिया") देने वाला है या एक सामान्य उत्तर (जैसे "एक शहर")। इसलिए, ईमानदार होने के लिए आवश्यक सामग्री निश्चित रूप से मौजूद है; मॉडल के पास ज्ञान और चुनने की क्षमता दोनों हैं।
हालाँकि, बुरी खबर यह है कि मॉडल इस जानकारी का उपयोग ईमानदार होने के लिए नहीं करता है। भले ही AI जानता हो कि वह एक ऐसे नकली नाम को देख रहा है जिसे उसने पहले कभी नहीं देखा, फिर भी वह एक सुरक्षित, सामान्य उत्तर देने के बजाय भारी मात्रा में एक विशिष्ट, मनगढ़ंत उत्तर देने का विकल्प चुनता है। यह बिल्कुल वैसा ही है जैसे किसी कार में एक बेहतरीन GPS हो जो जानता है कि आप रास्ता भटक गए हैं, लेकिन ड्राइवर (AI की जनरेशन पॉलिसी) GPS को अनदेखा करता है और सीधे दीवार से टकरा जाता है क्योंकि वह वास्तव में एक विशिष्ट गंतव्य तक पहुँचना चाहता है। शोधकर्ताओं ने पाया कि ऐसा तब भी होता है जब AI को अस्पष्ट होने का विकल्प दिया जाता है और तब भी जब विशिष्ट उत्तर का गलत होना निश्चित होता है।
संक्षेप में, यह शोध पत्र दिखाता है कि जबकि AI मॉडल्स के पास यह जानने के लिए आंतरिक "सेंसर" हैं कि वे कहाँ असमर्थ हैं, उनमें रुकने या सुरक्षित उत्तर की ओर पीछे हटने की "पॉलिसी" या इच्छा की कमी है। वे विशिष्ट होने के लिए बने हैं, भले ही उन्हें विनम्र होना चाहिए। लेखक सुझाव देते हैं कि AI द्वारा बोलने के बाद इन गलतियों को ठीक करने के बजाय, हमें मॉडल्स को अपने आंतरिक सेंसरों को सुनने और अनिश्चित होने पर अस्पष्ट होने के लिए प्रशिक्षित करने की आवश्यकता है। यह AI को अधिक सहकारी और भरोसेमंद बनाने की दिशा में एक कदम होगा, उन्हें यह सिखाना कि कभी-कभी, यह कहना कि "मैं सटीक शहर तो नहीं जानता, लेकिन यह ऑस्ट्रेलिया में है" एक मनगढ़ंत सड़क का नाम बताने से कहीं बेहतर उत्तर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।