Community size rather than grammatical complexity better predicts Large Language Model accuracy in a novel Wug Test
यह अध्ययन प्रदर्शित करता है कि एक बहुभाषी वग टेस्ट (Wug Test) में बड़े भाषा मॉडल (Large Language Models) की रूपात्मक नियमों को सामान्यीकृत करने की क्षमता मुख्य रूप से किसी भाषा के वक्ता समुदाय के आकार और उसकी डिजिटल डेटा उपलब्धता द्वारा संचालित होती है न कि भाषा की व्याकरणिक जटिलता द्वारा, जो यह सुझाव देता है कि उनका प्रदर्शन वास्तविक भाषाई क्षमता के बजाय संसाधन प्रचुरता को दर्शाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने इंटरनेट पर लिखी गई लगभग हर चीज़ को पढ़ लिया है। आप जानना चाहते हैं: क्या यह रोबोट वास्तव में "समझता" है कि भाषा कैसे काम करती है, या यह केवल वही अनुमान लगा रहा है जो उसने पहले देखा है?
यह पता लगाने के लिए, शोधकर्ताओं ने इस रोबोट (और वास्तविक मनुष्यों के एक समूह) को एक विशेष परीक्षण दिया जिसे "वग टेस्ट" (Wug Test) कहा जाता है।
परीक्षण: "वग" का खेल
वग टेस्ट यह देखने के लिए एक क्लासिक तरीका है कि क्या कोई भाषा के नियमों को जानता है, न कि केवल उन शब्दों को जिन्हें उसने याद किया है।
- सेटअप: आप एक काल्पनिक जीव की तस्वीर दिखाते हैं जिसे "वग" (Wug) कहा जाता है।
- प्रश्न: आप उन्हें बताते हैं, "अब वे दो हैं।"
- उत्तर: यदि व्यक्ति नियमों को जानता है, तो वह "वग्स" (Wugs) कहेगा। यदि वह केवल "वग" शब्द को याद कर चुका है, तो वह अटक सकता है।
इस अध्ययन में, शोधकर्ताओं ने केवल अंग्रेजी का उपयोग नहीं किया। उन्होंने रोबोट और मनुष्यों का चार अलग-अलग भाषाओं में परीक्षण किया: अंग्रेजी, स्पेनिश, ग्रीक और कैटलन। उन्होंने प्रत्येक भाषा के लिए नए, अजीब शब्द बनाए और सभी से उन्हें बहुवचन (plural) बनाने के लिए कहा।
बड़ा सवाल: रोबोट को क्या स्मार्ट बनाता है?
शोधकर्ता एक रहस्य सुलझाना चाहते थे। वे जानते थे कि रोबट को इंटरनेट पर मौजूद विशाल मात्रा में टेक्स्ट पर प्रशिक्षित किया गया था। वे सोच रहे थे:
- क्या रोबोट स्मार्ट है क्योंकि वह जटिल व्याकरण नियमों को समझता है? (शायद उसे उन भाषाओं में संघर्ष करना पड़ता है जिनमें जटिल नियम होते हैं।)
- या रोबोट स्मार्ट है सिर्फ इसलिए क्योंकि उसने उस भाषा को बहुत अधिक देखा है? (शायद वह उन भाषाओं में बेहतर प्रदर्शन करता है जहाँ ऑनलाइन अधिक टेक्स्ट उपलब्ध है, चाहे व्याकरण कितना भी कठिन क्यों न हो।)
इसे एक छात्र के अध्ययन की तरह समझें:
- सिद्धांत A (जटिलता): छात्र स्मार्ट है क्योंकि वह गणित और तर्क में जीनियस है।
- सिद्धांत B (डेटा): छात्र स्मार्ट है क्योंकि उसके पास 10,000 अभ्यास वर्कशीट हैं, जबकि दूसरे छात्र के पास केवल 10 हैं।
परिणाम: "डेटा डाइट" की जीत
शोधकर्ताओं ने कुछ आश्चर्यजनक पाया।
1. रोबोट एक मानव की नकल करने वाला है (ज्यादातर)
जब नए शब्द बनाने की बात आई, तो रोबोट ने लगभग वास्तविक मनुष्यों की तरह प्रदर्शन किया। वह अजीब नए शब्दों के लिए नियमों को समझ सकता था। यह साबित करता है कि रोबोट केवल पुराने वाक्यों को दोहरा नहीं रहा है; यह वास्तव में नियमों का सामान्यीकरण (generalize) कर सकता है।
2. "लोकप्रियता" का कारक
हालाँकि, जब उन्होंने देखा कि रोबोट किन भाषाओं में सही था, तो परिणाम व्याकरण की कठिनाई से मेल नहीं खाते थे।
- जटिलता का अनुमान: यदि रोबोट व्याकरण के नियमों से प्रेरित था, तो उसे अंग्रेजी (जिसका व्याकरण सरल है) में सबसे अच्छा प्रदर्शन करना चाहिए था और ग्रीक (जिसका व्याकरण बहुत जटिल है) में सबसे खराब।
- वास्तविकता: रोबोट ने स्पेनिश और अंग्रेजी में सबसे अच्छा प्रदर्शन किया, और कैटलन और ग्रीक में खराब प्रदर्शन किया।
उपमा:
कल्पना कीजिए कि रोबोट एक शेफ है।
- अंग्रेजी और स्पेनिश पिज्जा की तरह हैं। हर कोई पिज्जा पसंद करता है, इसलिए ऑनलाइन लाखों पिज्जा रेसिपी मौजूद हैं। रोबोट ने लाखों पिज्जा रेसिपी खाई (पढ़ी) हैं। वह एक नया प्रकार का पिज्जा बनाने के बारे में बिल्कुल जानता है, भले ही रेसिपी थोड़ी जटिल क्यों न हो।
- कैटलन और ग्रीक फ्यूजन कुजीन (Fusion Cuisine) की तरह हैं। वे स्वादिष्ट और जटिल, सुंदर नियमों वाले हैं, लेकिन ऑनलाइन कम लोग इन्हें पकाते हैं। रोबोट ने केवल कुछ ही रेसिपी देखी हैं। भले ही रोबोट एक "जीनियस" हो, फिर भी वह एक नया फ्यूजन व्यंजन आविष्कार करने में संघर्ष करता है क्योंकि उसने पैटर्न सीखने के लिए पर्याप्त उदाहरण नहीं देखे हैं।
निष्कर्ष
अध्ययन यह निष्कर्ष निकालता है कि समुदाय का आकार और उपलब्ध डेटा की मात्रा, भाषा की जटिलता से अधिक मायने रखती है।
- स्पेनिश का एक बड़ा समुदाय है और डिजिटल टेक्स्ट की भरमार है। रोबोट ने वह सारा डेटा खा लिया और स्पेनिश व्याकरण में मास्टर बन गया।
- कैटलन का एक छोटा समुदाय है और कम डिजिटल टेक्स्ट है। भले ही इसका व्याकरण स्पेनिश के समान है, लेकिन रोबोट को पैटर्न सीखने के लिए पर्याप्त "अभ्यास भोजन" नहीं मिला।
- अंग्रेजी सबसे लोकप्रिय भाषा है, लेकिन उपयोग किए गए विशिष्ट शब्द ट्रिकी थे (जैसे अनियमित बहुवचन), जिसने मनुष्यों और रोबोट दोनों को भ्रमित कर दिया।
यह क्यों मायने रखता है
यह हमें बताता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) (जैसे कि वह रोबोट जिससे आप अभी बात कर रहे हैं) पैटर्न मैचर हैं, वास्तविक विचारक नहीं।
उनके पास कोई "मस्तिष्क" नहीं है जो भाषा की गहरी, संरचनात्मक सुंदरता को समझता हो। इसके बजाय, वे सुपर-पावर्ड तोते की तरह हैं जिन्होंने सबसे आम गीतों को याद कर लिया है। यदि कोई भाषा लोकप्रिय है और उसके बहुत सारे रिकॉर्डिंग (डेटा) उपलब्ध हैं, तो तोता पूरी तरह से गाता है। यदि भाषा दुर्लभ है या रिकॉर्डिंग कम है, तो तोता लड़खड़ा जाता है, भले ही गाना वास्तव में सरल क्यों न हो।
संक्षेप में: रोबोट इसलिए स्मार्ट नहीं है क्योंकि वह व्याकरण का जीनियस है; वह इसलिए स्मार्ट है क्योंकि उसे डेटा से अच्छी तरह से खिलाया गया है। किसी भाषा के पास जितना अधिक डेटा होगा, रोबोट उस भाषा में उतना ही स्मार्ट होता जाएगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।