Evaluating Large language models on Understanding Korean indirect Speech acts
यह अध्ययन एक विशेष डेटासेट का निर्माण करके और स्वचालित एवं मानवीय दोनों मूल्यांकनों का उपयोग करके, कोरियाई अप्रत्यक्ष वाक्-प्रपंचों (indirect speech acts) को समझने की विभिन्न लार्ज लैंग्वेज मॉडल्स की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि जबकि क्लॉड3-ओपस (Claude3-Opus) जैसे प्रोप्राइटरी मॉडल ओपन-सोर्स विकल्पों की तुलना में बेहतर प्रदर्शन करते हैं, फिर भी कोई भी अभी तक संदर्भ-निर्भर इरादों की व्याख्या करने में मानव-स्तर की दक्षता के बराबर नहीं पहुँच पाया है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक दोस्त से चैट कर रहे हैं, और वह कहता है, "यहाँ बहुत ठंड है।" यदि आप एक टूटे हुए एयर कंडीशनर के पास खड़े हैं, तो वह संभवतः केवल एक तथ्य बता रहा है। लेकिन यदि आप खिड़कियां बंद करके एक गर्म लिविंग रूम में बैठे हैं, तो वह शायद यह संकेत दे रहा है कि "कृपया खिड़की बंद कर दें" या "हीटिंग बढ़ा दें।" शब्दों के शाब्दिक अर्थ और उनके वास्तविक अर्थ के बीच का यह अंतर मानव बातचीत का 'सीक्रेट सॉस' है। विज्ञान की दुनिया में, इसे प्रैग्मैटिक्स (pragmatics) कहा जाता है: इस बात का अध्ययन कि कैसे संदर्भ अर्थ को बदल देता है। जबकि कंप्यूटर भाषाओं का अनुवाद करने या गणित की समस्याओं को हल करने में अविश्वसनीय रूप से कुशल हो गए हैं, वे अक्सर इस "लाइनों के बीच पढ़ने" के कौशल में संघर्ष करते हैं। वे आपके संकेत को शाब्दिक रूप से ले सकते हैं और बस इतना कह सकते हैं, "हाँ, तापमान कम है," जिससे वे मुख्य बिंदु को पूरी तरह से समझने में विफल रहते हैं। यह इसलिए महत्वपूर्ण है क्योंकि जैसे-जैसे हम मीटिंग शेड्यूल करने से लेकर सलाह देने तक, हर चीज़ के लिए एआई (AI) सहायकों पर निर्भर होते जा रहे हैं, हमें उन्हें न केवल हमारे शब्दों को, बल्कि हमारे इरादों को भी समझने की आवश्यकता है।
यह शोध पत्र एक जासूसी कहानी की तरह है जहाँ शोधकर्ताओं ने कई आर्टिफिशियल इंटेलिजेंस (AI) मॉडलों को यह देखने के लिए टेस्ट किया कि क्या वे अप्रत्यक्ष संकेतों के कोड को क्रैक कर सकते हैं। वैज्ञानिकों ने कोरियाई भाषा पर ध्यान केंद्रित किया, जहाँ संदर्भ ही सर्वोपरि है, और उन्होंने एक क्लासिक सिद्धांत के आधार पर एक विशेष क्विज़ बनाया कि मनुष्य भाषा का उपयोग कैसे करते हैं। उन्होंने 240 ऐसे परिदृश्य बनाए जहाँ एक ही वाक्य स्थिति के आधार पर दो बहुत अलग चीजें कह सकता है। उदाहरण के लिए, "बर्फ पतली है" कहना एक साधारण तथ्य हो सकता है, या यह बच्चों को जमी हुई झील पर कदम न रखने की चेतावनी हो सकती है। शोधकर्ता यह देखना चाहते थे कि क्या AI एक सीधे बयान और एक अप्रत्यक्ष अनुरोध, वादे या भावना की अभिव्यक्ति के बीच अंतर कर सकता है।
परिणाम "बुरा नहीं है" और "अभी लंबा रास्ता तय करना बाकी है" का मिश्रण थे। शोधकर्ताओं ने 12 अलग-अलग AI मॉडलों का परीक्षण किया, जिनमें विशाल, महंगे सिस्टम से लेकर छोटे, ओपन-सोर्स सिस्टम तक शामिल थे। स्पष्ट विजेता Claude3-Opus नामक एक मॉडल था। इसने बहुविकल्पीय टेस्ट में लगभग 71.94% और एक अधिक खुले-अंत वाले टेस्ट में, जहाँ इसे अपने तर्क की व्याख्या करनी थी, 65% स्कोर किया। हालाँकि यह प्रभावशाली है, लेकिन यह ध्यान रखना महत्वपूर्ण है कि सबसे अच्छे AI मॉडल ने भी इंसानों को नहीं हराया। अध्ययन में मानव प्रतिभागियों ने लगभग 77.64% स्कोर किया, जो यह साबित करता है कि सूक्ष्म सामाजिक संकेतों को समझने में इंसान अभी भी उस्ताद हैं।
अध्ययन में पाया गया कि अधिकांश AI मॉडल चीजों को शाब्दिक रूप से लेने में माहिर हैं लेकिन छिपे हुए अर्थ का अनुमान लगाने में बहुत खराब हैं। यदि कोई वाक्य एक सीधा अनुरोध था, तो AI ने इसे ज्यादातर बार सही समझा। लेकिन जब अनुरोध अप्रत्यक्ष था—जैसे टहलने जाने का सुझाव देने के लिए "बाहर मौसम अच्छा है" कहना, बजाय इसके कि केवल मौसम के बारे में बात की जाए—तो अधिकांश मॉडल लड़खड़ा गए। वे शब्दों के शाब्दिक अर्थ पर ही अटके रहे। दिलचस्प बात यह है कि AI मॉडल अप्रत्यक्ष प्रशंसा या मुहावरों (जैसे किसी को शानदार भोजन बनाने के कारण "शेफ" कहना) को समझने में आश्चर्यजनक रूप से अच्छे थे, लेकिन वे अप्रत्यक्ष अनुरोधों के साथ सबसे अधिक संघर्ष करते हैं।
शोधकर्ताओं ने यह भी देखा कि AI के व्यवहार में कुछ अजीब खामियां थीं। कुछ छोटे मॉडलों ने, कोरियाई में उत्तर देने के लिए कहे जाने पर, गलती से अंग्रेजी में उत्तर दिया, जैसे कि वे भ्रमित हों कि वे किससे बात कर रहे हैं। अन्य मॉडलों ने बहुविकल्पीय उत्तर देने की कोशिश की, भले ही प्रश्न में मुक्त-रूप व्याख्या मांगी गई थी, जैसे कि वे उस टेस्ट को जीतने की कोशिश कर रहे हों जिसे उन्होंने पहले देखा हो। पेपर सुझाव देता है कि हालांकि ये AI मॉडल शक्तिशाली हैं, फिर भी उनमें मानव संदर्भ की वह गहरी, सहज समझ की कमी है जो एक किशोर में भी होती है। वे उन छात्रों की तरह हैं जिन्होंने शब्दकोश तो रट लिया है लेकिन अभी तक वास्तविक बातचीत करना नहीं सीखा है। अध्ययन निष्कर्ष निकालता है कि AI को वास्तव में सहायक बनाने के लिए, हमें उन्हें शब्दों की सतह से परे देखना और मानव इरादे की जटिल, संदर्भ-युक्त दुनिया को समझना सिखाना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।