Evaluating Communicative Belief Updates in Large Language Models via Implicature Recognition and Cancellation
यह शोध पत्र इम्प्लिकचर कैंसिलेशन (implicature cancellation) के लिए पहला विशेषज्ञ-एनोटेटेड डेटासेट प्रस्तुत करता है ताकि अनकहे विश्वासों को पहचानने और अपडेट करने की लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन किया जा सके, जो यह प्रकट करता है कि वर्तमान एलएलएम (LLMs) इन व्यावहारिक तर्क कार्यों में मानव प्रदर्शन से पीछे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप 'शारड्स' (charades) का एक खेल खेल रहे हैं, लेकिन इसमें शब्दों को अभिनय करके दिखाने के बजाय, आप एक ऐसी बातचीत कर रहे हैं जहाँ सबसे महत्वपूर्ण हिस्सा वह है जो आप नहीं कहते। मानव भाषा की दुनिया में, हम लगातार एक साझा वास्तविकता, एक "साझा आधार" (common ground) पर बातचीत करते हैं जहाँ हम दोनों इस बात पर सहमत होते हैं कि क्या सच है। हम यह केवल तथ्यों को बताकर नहीं करते, बल्कि संकेतों को छोड़कर, या इम्प्लिकचर (implicature - निहितार्थ) के माध्यम से करते हैं। यदि मैं कहता हूँ, "कुछ कुकीज़ खत्म हो गई हैं," तो मैं संकेत दे रहा हूँ (बिना सीधे कहे) कि सभी कुकीज़ खत्म नहीं हुई हैं। आप इसे तुरंत समझ जाते हैं क्योंकि आपका मस्तिष्क पंक्तियों के बीच के अर्थ को पढ़ने में माहिर है। लेकिन कभी-कभी, मैं अपना मन बदल सकता हूँ और कह सकता हूँ, "दरअसल, मुझे लगता है कि वे सभी खत्म हो गई हैं।" इसे कैंसिलेशन (cancellation - निरस्तीकरण) कहा जाता है, जहाँ मैं उस संकेत को वापस ले लेता हूँ जो मैंने अभी दिया था। सूक्ष्म, अनकहे संकेतों के आधार पर हमारे साझा विश्वासों को तुरंत अपडेट करने की यह क्षमता ही वह गोंद है जो मानव बातचीत को आपस में जोड़े रखती है।
अब, एक सुपर-स्मार्ट रोबोट को यह खेल खेलने के लिए प्रशिक्षित करने की कल्पना करें। हमने विशाल एआई मॉडल बनाए हैं जिन्हें लार्ज लैंग्वेज मॉडल्स (LLMs) कहा जाता है जो कविता लिख सकते हैं, गणित की समस्याओं को हल कर सकते हैं, और मनुष्यों की तरह चैट कर सकते हैं। लेकिन क्या वे संकेतों और उनके वापस लिए जाने के इस अदृश्य नृत्य को वास्तव में समझते हैं? क्या उन्हें समझ आता है जब बातचीत बदल जाती है, या वे केवल पहले देखी गई चीज़ों के आधार पर अनुमान लगा रहे होते हैं? यह वह बड़ा सवाल है जो शोधकर्ता पूछ रहे हैं। यदि एआई इन सूक्ष्म, अनकहे अपडेट्स को नहीं संभाल सकता, तो उसे हमारे साथ वास्तविक, सहज बातचीत करने में संघर्ष करना होगा, और वह अक्सर बात का सार समझने में चूक जाएगा या भ्रमित हो जाएगा जब हम अपना मन बदलते हैं।
इस शोध पत्र में, शोधकर्ताओं ने इन एआई मॉडल्स को परखने का निर्णय लिया। उन्होंने एक बिल्कुल नया खेल का मैदान बनाया जिसे IMPLICATUREX कहा गया, जो 271 सावधानीपूर्वक तैयार किए गए संवाद अंशों का एक डेटासेट है। इसे लघु-फिल्मों की एक श्रृंखला के रूप में समझें जहाँ एक पात्र एक संकेत देता है, और फिर तुरंत उसे वापस ले लेता है। उन्होंने मानव स्वयंसेवकों और विभिन्न एआई मॉडल्स दोनों को ये क्लिप देखने के लिए कहा और पूछा: "क्या संकेत दिया गया था? क्या संकेत को वापस लेना सफल रहा? क्या पात्र का विश्वास बदला?"
परिणाम एआई के लिए एक वास्तविकता की जाँच (reality check) की तरह थे। जबकि सबसे स्मार्ट एआई मॉडल सरल, पाठ्य-शैली वाले संकेतों (जैसे "कुछ बनाम सभी" वाला कुकी उदाहरण) को पहचानने में आश्चर्यजनक रूप से अच्छे थे, वे तब बुरी तरह लड़खड़ा गए जब बातचीत उलझी हुई और वास्तविक हो गई। जब संकेत प्राकृतिक, रोज़मर्रा की बातचीत से आए—जैसे दो दोस्त किसी पार्टी या शौक के बारे में बात कर रहे हों—तो एआई मॉडल अक्सर संकेत को समझने में ही विफल रहे, या वे संकेत को वापस लेने (retraction) को पूरी तरह से मिस कर गए। वास्तव में, सबसे स्वाभाविक परिदृश्यों में, एआई का प्रदर्शन रैंडम अनुमान लगाने (random guessing) से थोड़ा ही बेहतर था।
शोधकर्ताओं ने यह पता लगाने के लिए कुछ चालाकी भरे नियंत्रण प्रयोग (control experiments) भी चलाए कि एआई संघर्ष क्यों कर रहा है। उन्होंने पाया कि जब एआई एक संकेत को सही पहचान लेता था, तो वह हमेशा बातचीत को समझने के कारण नहीं होता था; कभी-कभी, वह केवल एक "पूर्व विश्वास" (prior belief) पर निर्भर होता था, जैसे कि एक छात्र जिसने प्रश्न पढ़े बिना ही उत्तर कुंजी को रट लिया हो। उदाहरण के लिए, यदि एआई ने "कुछ" शब्द देखा, तो वह बिना बाकी वाक्य को सुने ही स्वचालित रूप से "सभी नहीं" मान लेता था। इसके अलावा, जब एआई को एक संकेत को वापस लेने के बाद अपने विश्वासों को अपडेट करने के लिए कहा गया, तो वह अपने मूल अनुमान पर टिके रहने में बहुत बेहतर था बजाय इसके कि वह अपना मन बदले। ऐसा लगता है जैसे एआई जिद्दी है, वह अपनी समझ को अपडेट करने के लिए आवश्यक मानसिक कसरत करने के बजाय पुरानी जानकारी को अनदेखा करना पसंद करता है।
अंततः, यह अध्ययन बताता है कि हालांकि हमारे एआई मॉडल मानव भाषण की नकल करने में बेहतर हो रहे हैं, लेकिन वे बातचीत में मानव सोच की कला में अभी भी पीछे हैं। वे स्क्रिप्ट का पालन कर सकते हैं, लेकिन वे उस अनकहे, बदलते विश्वासों के मामले में हमसे पीछे हैं जो वास्तविक संचार को प्रभावी बनाते हैं। यह शोध पत्र यह दावा नहीं करता कि एआई टूटा हुआ है, बल्कि यह सुझाव देता है कि जब तक ये मॉडल एक प्राकृतिक बातचीत में संकेत को रद्द करने की बारीकियों को नहीं संभाल सकते, तब तक वे वास्तविक संवादात्मक साथी बनने के लिए तैयार नहीं हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।