WUGNECTIVES: Novel Entity Inferences of Language Models from Discourse Connectives
यह शोधपत्र WUGNECTIVES को प्रस्तुत करता है, जो एक ऐसा डेटासेट है जिसे यह मूल्यांकन करने के लिए डिज़ाइन किया गया है कि भाषा मॉडल विमर्श संयोजकों (discourse connectives) से नवीन संस्थाओं के गुणों का अनुमान कैसे लगाते हैं, जो यह प्रकट करता है कि जबकि ट्यूनिंग तर्क प्रदर्शन में सुधार करती है, मॉडल लगातार समझौतात्मक (concessive) संयोजकों के साथ संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को दुनिया को समझना सिखा रहे हैं। आमतौर पर, हम रोबोटों का परीक्षण उन्हें वास्तविक चीजों के बारे में तथ्य देकर करते हैं (जैसे "दुबई गर्म है" और "न्यूयॉर्क बर्फीला है") और उनसे सही जोड़ने वाले शब्द को चुनने के लिए कहते हैं, जैसे "क्योंकि" या "हालांकि"। यदि वे सही चुनते हैं, तो हम मान लेते हैं कि वे दुनिया को समझते हैं।
WUGNECTIVES इस पटकथा को उलट देता है। यह पूछने के बजाय कि, "क्या आप दुनिया को इतनी अच्छी तरह जानते हैं कि सही शब्द चुन सकें?" शोधकर्ताओं ने पूछा, "यदि आप सही शब्द जानते हैं, तो क्या आप पता लगा सकते हैं कि दुनिया कैसी दिखती है?"
इसे करने के लिए, उन्होंने WUGNECTIVES (मनोविज्ञान में बच्चों के भाषा सीखने के परीक्षण के लिए उपयोग किए जाने वाले "Wug" शब्द का एक खेल) नामक एक परीक्षण बनाया।
प्रयोग: "एलियन" टेस्ट
शोधकर्ताओं ने AI मॉडलों को नकली, बनावटी चीजों (जिन्हें "नॉन्स वर्ड्स" कहा जाता है) के बारे में वाक्य दिए जो AI ने पहले कभी नहीं सुने थे।
- सेटअप: एक वाक्य की कल्पना करें जैसे: "मैं डैक्स (Daxes) की तुलना में वुग्स (Wugs) को पसंद करता हूँ क्योंकि मुझे बर्फीली सर्दियाँ नापसंद हैं।"
- चुनौती: AI को पता ही नहीं है कि "वुग" या "डैक्स" क्या है। वे पूरी तरह से अजनबी हैं।
- कार्य: AI को जोड़ने वाले शब्द (क्योंकि) का उपयोग करके वुग के गुण का अनुमान लगाना होगा।
- तर्क: यदि मुझे बर्फ नापसंद है, और मैं वुग्स को पसंद करता हूँ क्योंकि मुझे बर्फ नापसंद है, तो वुग्स में बर्फीली सर्दियाँ नहीं होनी चाहिए।
- परीक्षण: शोधकर्ताओं ने AI से पूछा: "क्या वुग्स बर्फीले हैं?" सही उत्तर है "नहीं।"
उन्होंने इसे 41 अलग-अलग जोड़ने वाले शब्दों (जैसे क्योंकि, हालांकि, के बाद, उदाहरण के लिए) और 17 अलग-अलग AI मॉडलों का उपयोग करके 8,880 विभिन्न वाक्यों के साथ किया।
परिणाम: "जादुई शब्द" बनाम "जादुई दीवार"
शोधकर्ताओं ने पाया कि AI मॉडल कुछ प्रकार के तर्क में आश्चर्यजनक रूप से अच्छे थे, लेकिन दूसरों के साथ वे एक दीवार से टकरा गए।
1. "समय यात्री" (टेम्पोरल कनेक्टिव्स)
जब जोड़ने वाले शब्द समय के बारे में थे (जैसे पहले, बाद में, फिर), तो AI ने बहुत अच्छा काम किया।
- उपमा: यह एक ट्रेन के शेड्यूल की तरह है। यदि ट्रेन बस के पहले निकलती है, तो AI जानता है कि ट्रेन पहले आती है। AI नकली चीजों के लिए भी घटनाओं के क्रम को आसानी से समझ सकता था।
2. "कारण और प्रभाव" के जासूस (कंटीन्जेंसी कनेक्टिव्स)
जब शब्द कारण और प्रभाव के बारे में थे (जैसे क्योंकि, इसलिए, अतः), तो AI काफी अच्छा था।
- उपमा: यदि आप कहते हैं, "मैं गीला हूँ क्योंकि बारिश हुई थी," तो AI समझता है कि बारिश से गीलापन आता है। वह "मैं गीला हूँ क्योंकि डैक्स पर बारिश हुई" जैसी नकली चीजों पर भी इस तर्क को लागू कर सकता था।
3. "लेकिन" की दीवार (कन्सेसिव कनेक्टिव्स)
यहीं पर AI बुरी तरह विफल रहा। जब जोड़ने वाले शब्द विरोधाभास या "आश्चर्य" व्यक्त करते थे (जैसे हालांकि, भले ही, लेकिन), तो AI भ्रमित हो गया।
- समस्या: यदि आप कहते हैं, "हालांकि मुझे बर्फीली सर्दियाँ नापसंद हैं, मैं वुग्स को पसंद करता हूँ," तो AI को यह समझना चाहिए कि वुग्स बर्फीले होने चाहिए (क्योंकि वक्ता को बर्फ नापसंद है फिर भी वह उन्हें पसंद करता है)।
- परिणाम: AI मॉडल लगातार गलत अनुमान लगाते रहे, जो अक्सर एक बोर्ड पर तीर फेंकने वाले बंदर के प्रदर्शन से भी बेहतर नहीं था। वे "नापसंद" वाले हिस्से पर अटक गए और तर्क को पलटने के लिए "लेकिन" वाले हिस्से को प्रोसेस करने में असमर्थ रहे।
- उपमा: यह एक ऐसे रोबोट की तरह है जो समझता है कि "यदि A, तो B," लेकिन जब आप कहते हैं, "भले ही A सत्य है, फिर भी मैं B चाहता हूँ," तो वह पूरी तरह टूट जाता है। "भले ही" वाला तर्क एक मौलिक अंध बिंदु (blind spot) है।
क्या बड़े दिमागों ने मदद की?
शोधकर्ताओं ने विभिन्न आकारों (छोटे से लेकर विशाल तक) और विभिन्न प्रशिक्षण शैलियों के मॉडलों का परीक्षण किया:
- आकार: मॉडल को बड़ा बनाने से वास्तव में कोई मदद नहीं मिली। एक विशाल मॉडल भी छोटे मॉडल की तरह ही "हालांकि" के साथ संघर्ष करता था।
- इंस्ट्रक्शन ट्यूनिंग: मॉडल को निर्देश का पालन करना सिखाना (जैसे "हाँ या ना में उत्तर दें") भी इस समस्या को ठीक नहीं कर सका।
- रीज़निंग ट्यूनिंग: उम्मीद की एक किरण दिखी। एक विशिष्ट प्रकार का मॉडल (जिसे गणित की समस्या हल करने वाले इंसान की तरह "चरण-दर-चरण सोचने" के लिए प्रशिक्षित किया गया था) थोड़ा बेहतर प्रदर्शन कर सका। यही एकमात्र मॉडल था जो कभी-कभी कोड को क्रैक कर सका, हालांकि वह अभी भी "हालांकि" वाले शब्दों के साथ संघर्ष करता रहा।
"वास्तविक दुनिया" की जाँच
अंत में, शोधकर्ताओं ने इस परीक्षण को फिर से चलाया, लेकिन इस बार नकली शब्दों (जैसे "मैंगो" और "केल") के बजाय वास्तविक चीजों का उपयोग किया।
- परिणाम: AI बहुत बेहतर हो गया।
- क्यों? क्योंकि AI अपने प्रशिक्षण डेटा से पहले से ही जानता था कि "मैंगो एक फल है" और "मुझे पत्तेदार सब्जियां नापसंद हैं।" उसे तर्क के माध्यम से सोचने की आवश्यकता नहीं थी; उसने बस उत्तर को याद कर लिया।
- निष्कर्ष: इससे यह सिद्ध हुआ कि नकली शब्दों के साथ AI की विफलता शब्दों के बारे में "मूर्ख" होने के कारण नहीं थी, बल्कि इसलिए थी क्योंकि वह नए संदर्भ में "हालांकि" जैसे शब्दों के कार्य को समझने के लिए आवश्यक तार्किक तर्क करने में वास्तव में असमर्थ था।
सारांश
शोधपत्र यह निष्कर्ष निकालता है कि जबकि AI मॉडल उन जोड़ने वाले शब्दों का उपयोग करने में बहुत अच्छे हैं जब वे तथ्यों को पहले से जानते हैं, वे नए तथ्यों को सीखने के लिए उन्हीं शब्दों का उपयोग करने में बहुत खराब हैं। वे एक रेसिपी का पालन कर सकते हैं, लेकिन वे एक नया व्यंजन आविष्कार नहीं कर सकते। विशेष रूप से, वे "विरोधाभास" (जैसे हालांकि) के जटिल तर्क को समझने में अक्षम लगते हैं, जो मानव भाषा को वास्तव में समझने के लिए एक प्रमुख बाधा बनी हुई है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।